Гулбене вырос из поселения Вецгулбене, которое получило новое значение с развитием железнодорожных линий Видземе. В 1903 году построили узкоколейную дорогу Стукмани-Валка, связавшую лесные и сельскохозяйственные районы; позднее Гулбене стал важным пересадочным узлом. Ширококолейная линия и станционные сооружения укрепили роль города в торговле и перевозках. После войн и смены транспортной политики большинство старых узкоколеек исчезло, но участок Гулбене-Алуксне сохранился и продолжил работать как местная и туристическая линия. Сегодня поезд Банийтис проходит около тридцати трёх километров через поля, леса и небольшие станции, сохраняя память о прежней транспортной системе. Депо поддерживает исторические локомотивы, вагоны и образовательные программы. Сам Гулбене остаётся региональным центром, где железнодорожная история не законсервирована в витрине, а продолжает служить маршрутом для жителей и путешественников.