Название Ольянтайтамбо произошло от имени военачальника инков Ольянты, влюбленного в дочь Пачакутека, девятого Инки. Жители колоритного городка хранят древние традиции: они до сих пор обрабатывают землю плугом. 

Город известен тем, что инки одержали в нем величайшую победу над испанцами, но в 1537 г. испанцы, все же, захватили город.

На мощеных улицах этого города люди живут с XIII в. Вначале он назывался Коско-Алью и делился на отдельные дворы с одним входом. Наверх, к крепости Аракама Айлью, на территории которой расположены Зал правителя или Маньякарай, Храм Солнца, купальни дочери правителя, а также камень, который использовался для наблюдения за Солнцем, ведет ряд каменных вырубленных оборонительных террас.

Храм Солнца, хотя и недостроенный, представляет прекрасный образец инкского искусства каменной кладки. Шесть розовых монолитов, которые сияют в лучах восходящего солнца, идеально подогнаны друг к другу. В качестве раствора применяли расплавленную бронзу.

На стенах до сих пор остались символические изображения пумы.