Крепость Каяни начали строить в 1604 году на острове речного порога, чтобы защищать восточную границу Шведского королевства и контролировать торговый путь. В 1651 году генерал-губернатор Пер Браге основал рядом город. Во время Великой Северной войны русские войска осадили крепость; после капитуляции в 1716 году её взорвали, и она осталась руиной. В XIX веке Каяни развивался благодаря торговле смолой, которую из лесов Кайнуу доставляли лодками к Оулу. Построенный канал позволял обходить опасный порог. Элиас Лённрот служил окружным врачом в 1833-1853 годах и отсюда совершал поездки за рунами, вошедшими в «Калевалу». Дорога улучшилась в 1825 году, железная дорога пришла в 1904-м. В XX веке важнейшим работодателем стала лесная и бумажная промышленность Kajaani Oy; её производство определяло город до закрытия бумажного комбината в 2008 году. Объединение с сельской общиной произошло в 1977 году, с Вуолийоки - в 2007-м. Современный Каяни переориентировался на образование, технологии, культуру и услуги, сохранив реку главным элементом городского ландшафта.