万历十九年（1591），第24代土司彭元锦在他袭宣慰使之职后的第四年，创建了彭氏宗祠。（谢华：《湘西土司辑略》，52～54页，北京，中华书局，1959。）

彭氏祠堂位于司城中心，在新修的老司城公署的中央，从宗祠大门直到正街有一条200多米长的官道，要经过四个平台和五段石阶梯三十余个石级，逐步高升显出一种威严的气派。《永顺宣慰使司彭氏祠堂碑》载：“爰集众议，期终先志，庙貌一新，得奉列像祀焉。而显考怀北亦像木合祀，用识孝思于不匮。其他祭田祭器，伏腊奉祀，悉如定制。”（《永顺宣慰使司彭氏祠堂碑》，文林郎知四川重庆府江津县事武陵洞街陈一能天全甫撰，皇明万历十九年岁次辛未仲春吉旦，此碑藏于永顺老司城。）

祠内供十八代土司的牌位，有精美的木雕像，各具神态，栩栩如生，由此祠堂也被当地人称为“土王祠”，宗祠内还收藏了历代土司制定的三纲五常法谱。祠堂门口有一对石鼓，每只至少重五千斤以上，相传是土家族古代英雄从离此百多里的五官坪一只一只提到司城来的。祠堂前还有三棵古老的桂花树，据说是土司时代栽植的，现在这些桂花树依然葱茏，每当八月桂花盛开时节，司城处处桂花飘香。在彭氏宗祠的前面，有一块空地，名曰“摆手堂”，其侧有“摆手堂”的木结构建筑。