За многолетнюю историю резиденция королей неоднократно меняла облик. В настоящее время достаточно сложно определить, где именно был возведен первый в этих местах королевский замок Белы IV. Возможно, здание замка находилось неподалеку от церкви Матьяша.

Дворец императора Священной Римской империи Сигизмунда Люксембургского был выстроен там же, где находится здание королевской резиденции в наши дни.

Великолепный дворец Габсбургов появился на этом месте в XVIII в., а впоследствии был перестроен (XIX в.). Здание было разрушено в ходе Второй мировой войны, а впоследствии реконструировано. В ходе восстановительных работ археологами были обнаружены руины дворца XV в. в готическом стиле, а также остатки оборонительных сооружений.

Сегодня на место раскопок допускаются посетители.