Главный исторический музей Харлема действует с 1995 года и размещается в здании бывшего Госпиталя святой Елизаветы, которое было выстроено в 1610 г., в период массового появления приютов для оказания помощи больным и беднякам. О прошлом здания напоминает изображение инвалида над входом, вырезанное в камне (1612 г.). Внутри здания находится небольшой дворик. Напротив бывшего госпиталя расположен Музей Франса Халса.