Поселение у Ааре возникло на удобной переправе; в районе Ольтена известны археологические следы доисторического и римского времени. Средневековый город развивался вокруг моста и рынка. Сохранившуюся Городскую башню построили в 1521 году как колокольню прежней городской церкви. Пожары и перестройки меняли ткань Старого города, но связь с рекой и путями сообщения оставалась определяющей. Решающий поворот произошёл в XIX веке, когда железная дорога сделала Ольтен пересечением линий между севером, востоком, западом и югом страны. Железнодорожные мастерские и рабочие места изменили население, городскую экономику и архитектуру, а станция стала частью повседневного облика города. Городские районы расширялись вместе с линиями, железнодорожными службами, мастерскими и складами. В XX веке Ольтен стал не только транспортным, но и культурным центром региона: музеи, литературные традиции и общественная жизнь сосредоточились вокруг компактного ядра. Сегодня город сохраняет практичность пересадки, одновременно предлагая историю Ааре, моста и железной дороги в пределах короткой пешей прогулки.