会峰寨分为三层，从眼前的北门（看着很低，其实已快到山顶）进去，沿左侧悬崖小路走到南侧可上到第二层（第二、第三层都只能从南侧上去），但第二层从正面（北侧）是下不来的，必须原路返回或从东侧绕下去（我就是由三层下来后走到二层北侧又返回去才出的北门回来的）。三层建在峰顶，平面很小，有座明代建造的始祖庙，供奉着真武大帝，镇北方，主风雨。从西侧观看会峰寨，三个层次非常明显，峰顶石峰耸立，有点张家界五指峰的味道。二层最南侧有设有一个哨楼，为圆筒状，是旧时当地居民瞭望四周敌情而建。