Крепостта на Иванко е охранявала най-важния път, свързващ Тракийската долина с териториите на бесите в Средните Родопи. През средните векове пътят също е играл ключова роля. Затова на този непристъпен зъбер, точно на излаза на Въча от планината, византийците изграждат крепост с дебели стени. Византия винаги се е стремяла да контролира това място и през по-голямата част от съществуването си го е постигала. С контрола си над Иванковата и Голямата Кричимска крепост, те са владеели северните склонове на планината и част от Тракийската долина. Сега запазени са останали само част от дебелата крепостна стена и основите на отбранителните кули в най-високата част на крепостта.