Первые упоминания о Дундаге встречаются в исторических источниках в 1245 г. В Дундаге находится восстановленный замок Ливонского ордена XIII столетия, в котором сегодня открыто туристическое бюро. Семь гербов, изображения которых вырезаны на замке, принадлежали его владельцам. В лютеранской церкви, находящейся неподалеку, можно увидеть запрестольный образ, созданный Янисом Розенталсом (1866-1916 гг.).
В Дундаге находится причудливая скульптура крокодила огромных размеров, которая стоит на углу улиц Talsu и Dinsberga. Считается, что ее воздвигли здесь в память об охотнике на крокодилов Арвидсе Блументалсе (1925-2006 гг.). В период Второй мировой войны он переехал в Австралию. Полагают, что он является прототипом главного героя киноленты «Крокодил Данди».