Изначально Байтаун был небольшим селением. Он получил статус города в 1855 году, после чего стал называться Оттавой.

В восточной стороне от Парламентского холма, за каналом Ридо, в каменном здании, построенном в 1827 году находится музей Байтаун. Это одно из мест, где можно узнать все об истории города.

В 1826 году в данном здании полковник Джон Бай разместил штаб.

Во время строительства канала Ридо здание Байтаун использовалось для хранения денег и военного оборудования.

В настоящее время на первом этаже открыта выставка, посвященная строительству канала Ридо.