До нынешних кварталов здесь существовал торговый город побережья суахили, обращённый к морским путям Восточной Африки и Индийского океана. Постепенно к местным строительным традициям добавились арабские, индийские и европейские влияния. Дома возводили из кораллового камня и мангровой древесины, а внутренние дворы и резные двери приспосабливали к плотной городской жизни. Большая часть знаковых зданий Каменного города относится к XVIII и XIX векам. Старый форт появился на месте более ранней португальской церкви; позже султан Баргаш построил церемониальный Дом чудес. Порт был одним из центров работорговли Восточной Африки. На месте последнего невольничьего рынка возвели англиканский собор, связанный с памятью о борьбе против этого промысла. Старинные базарные улицы, прибрежные особняки и религиозные здания до сих пор служат частью живого города. В 2000 году Каменный город внесли в список Всемирного наследия ЮНЕСКО. Охрана касается не одного дворца, а всей городской ткани, включая проходы, рынки и береговую линию.