勝歸山石質精良堅細,自宋元時起,百姓就開宕取石,破壞了山體風貌,歷代官府屢禁而不能止。
明嘉靖二十七年(1548),胡宗憲任餘姚知縣,即捐俸銀贖買勝歸山歸官,開鑿山石之風得以禁止。
十年之後,胡宗憲調任浙江總督。當時倭患頻仍,胡宗憲為抗擊倭寇,轉戰東南沿海,其間多次往返於餘姚,屯兵於勝歸山中。後人為紀念胡宗憲任職餘姚的業績和抗擊倭寇的戰功,特於嘉靖四十年在勝歸山南坡雕鑿胡宗憲官服像,稱之為“胡公巖”。
自此巖雕大興,歷時三百九十餘年。形成浙江省少見的摩崖巖雕群。胡公巖週圍均是佛像,有袒胸露肚、捧腹大笑的彌陀佛,有手執破芭蕉扇瘋態可掬的濟公像。胡公巖上方是觀音大士象,曲腳盤坐蓮花寶座上,座下是浪濤翻滾的南海,有巨鰲遊弋。東側有赤腳踏寶蓮臺的釋迦牟尼立像,以及橫眉豎眼的多尊羅漢立像,各高5米左右。這些造像形態生動,神姿各異,造形巧妙,可見工藝之精湛。
勝歸山舊有劉將軍廟,祀東晉將軍劉牢之。到明嘉靖年間,在廟前增建復初書院。至明萬曆前期,有僧人將廟改建為靈巖禪院,俗稱勝歸山廟。近年重修更名為靈巖禪寺。
勝歸山在姚城北部,原稱聖龜山,東晉隆安二年(398),將軍劉牢之剿滅孫恩起義部隊後,歸屯此山。以同音故,改稱勝歸山。