Во время правления архиепископа Конрада I (1106- 1147) Хоэнверфен был расширен и укреплен. В дальнейшем он перестраивался в XV в. В 1526 г., после кретьянской осады, замок был захвачен и разрушен. Фортификации позднее восстанавливали сами же крестьяне – в наказание за поддержку бунтовщиков.

В 1535 г. были сооружены новые башни и перестроены внешние стены крепости. В 1560 г. возле замкового дворца появилась мощная круглая башня Фалльтурм, а внутренний двор замка приобретает нынешний вид. Еще через три года по приказу князя-архиепископа Ио-хана Куен-Белази вокруг форпоста воздвигаются бастионы. Сам архиерей жил в двухэтажном дворце (XVI в.), а молился в замковой часовне Св. Сигизмунда. Это романское сооружение в 1565-1566 гг. было перестроено в готическом стиле. До наших дней в декорированной мрамором часовне можно увидеть алтарь (1650) с замечательной скульптурой Девы Марии (1480).

В 1608 г. замок реконструируют. Тогда же появляется башня, где размещалась батарея пушек и цистерна для воды. С того времени и до сегодняшнего дня замок практически не изменился.

Зальцбургские архиепископы использовали крепость не только для отдыха и обороны, но и в качестве тюрьмы. Здесь отбывали заключение архиепископ Адальберт III (l 198), граф Альберт фон Фризах (1253), губернатор Штирии Зигмунд (1525) и архиепископ Вольф Дитрих фон Ратенау (с 1611 г.). Согласно легенде, последний написал в своей камере слова «Lieb’ ist Leides Anfang» («Любовь есть начало страдания»). Но самым знаменитым узником Хоэнверфена был крестьянин Иосиф Штайнвендер из села Ласаберг. 22 года в кандалах в темнице замка он провел за… подозрение в лютеранстве. Бедняге пришлось пойти на хитрость: в заключении он «онемел» – и вышел на свободу.

В эпоху наполеоновских войн, когда княжество Зальцбург утратило свою независимость, появились предложения разрушить старую крепость. В защиту

Хоэнверфена выступил кайзер Франц II, желая превратить укрепление в «замок мечты». Тем не менее, всю меблировку крепости продали с аукциона в 1822 г., а в следующем году начались первые реставрационные работы. В конце XIX в. у твердыни несколько раз менялись хозяева. Большой вред замку причинил пожар 1931 г. С 1938 г. восстановленный Хоэнверфен снова перешел в собственность земли Зальцбург. С того времени и до 1987 г. укрепление использовали как… тренировочный лагерь для полицейских. С 1987 г. началась музейная карьера крепости.