凯利古堡位于怡保市40公里外处，是一座未完成的古堡。古堡由威廉凯利史密斯于1915年策划和兴建，城堡气势非凡，六层高楼巍峨耸立，罗马式立柱及摩里西斯式拱门豪华靓丽，内部设有庄严的圆柱及奢华的酒窖，古堡里甚至设置了马来西亚第一部电梯。
但是，这座城堡却并没有建成。第一次世界大战后，威廉下令在古堡附近兴建一座印度庙，并以隧道贯穿两座建筑。但是却在建筑完成之前，威廉就去世了，工程因此搁置。自此，古堡沦为鬼屋，流传各种诡异传说，直到近年，当地政府清理后开放给有胆量的游客去探险。古堡中有很多秘室和秘密地道，而通往古堡的道路顺着地形轮廓呈现出迷宫式的通路，使这个地方更增添神秘和浪漫的色彩。百年来，这座城堡始终巍然屹立着，虽然外观明显受到岁月的洗礼，但是却难掩其高贵气质，尤其是内部，除了某些角落偶尔被昆虫霸占外，基本上仍是完好无损的。据说城堡里有许多密室和隧道，而由怡保通往这座城堡的道路，又犹如迷宫般十分混乱，更增添了它的几许神秘色彩。走在城堡的长廊间，偶尔投射在墙上的影子，更让人有阴森的感觉。从一个房间通往到另一个房间，常会有一种被监视的感觉，传说那是凯利史密斯的鬼魂，他因为舍不得这座城堡，所以久久不愿离去。因此，游览凯利古堡，也是充满刺激感的。