Еще с 1690 года на этом месте была расположена королевская резиденция, при этом дворец, который сегодня здесь расположен, был построен по приказанию принцессы Шарлоты Амалии между 1731 и 1733 годами. Шарлота Амалия, которая так и не вышла замуж, очень любила этот дворец, поэтому и назвали его в ее честь.

Последующей перестройке дворец подвергся в XIX веке, после нее барочный стиль дворца сменил Ренессанс. Большинство членов датской королевской семьи останавливались в этом дворце. Фредерик VIII жил в нем со своей женой — принцессой Луизой, которая жила в нем до самой смерти в 1926 году. Сегодня во дворце в память об этой великолепной семейной паре установлен обелиск.

В настоящее время на территории дворца расположен Датский рыболовецкий институт. Для посещения открыты только его великолепные сады. Большая часть дворцового парка была восстановлена только в 1990-х годах, но отдельные части парка все же сохранились в том виде, как они выглядели в XVII веке. В 1826 году здесь появился огород, овощи с которого направлялись непосредственно на дворцовую кухню. В парке можно встретить и достаточно древние деревья, из них самыми старыми (причем во всей Дании) считаются две лиственницы, которые расположены позади дворца.