在金壇市區縣直街東。王府坐東朝西,原門前的照壁旗杆已毀,門屋亦經改建。前進正廳平面長方形,三間七架樑,樑上有太平天國龍鳳彩繪。廳後為二層樓房,亦3間。樓右附屬建築已毀壞。
由於當時太平天國處於戰爭時期,王府系拆用舊建築翻蓋的。戴王黃呈忠原為李世賢部將,曾轉戰於浙北、皖南一帶。
現紀念館仿清式磚木結構,四全遼佈局,三面環水,景色宜人。正門匾額為書法大師舒同先生所書,一對“獅子滾繡球”昆石各蹲大門左右兩側。
步入門檻,可見一個長方形庭院,對面是紀念堂。段玉裁半身雕像正居堂內,樑上有一鎦金橫匾:“樸學宗師”,為著名書法家沙孟海題寫。側前後柱上有兩副楹聯,一由週祖謨行先生書寫:“説字解經功超許鄭,審音辨韻名震乾嘉”。一由趙樸初先生撰寫:”九經陶鑄資羣彥,一字源流奠萬“兩側的陳列室展出了段玉裁的菱,以及後世研究段學的論著。