北宋初年，有一“徐”姓后生，家住朱云山下（現(xiàn)在浦江縣浦南街道朱云村祠屋塘水庫里面），以砍柴度日。
一天，他從清水池里抓到一條山黃鱔，長好幾尺，粗像酒杯口，聽說山黃鱔可以滋補養(yǎng)身，就馬上煮來吃掉。
幾個月后，身體果真長胖了，力氣也大了許多。只不過頭長的還是原來大小。因在吃山黃鱔時，把鱔頭給狗吃了，所以，狗頭大起來，狗身依舊如原。
此后生力大無比，經(jīng)名師傳授武藝，二十三歲時中武舉人，后到京都趕考，名列前矛，但頭小身大，不配為將。考官問為何會生得如此？他就把吃山黃鱔的事一五一十地講了一遍。考官想了一會兒說：“你回去把那只家狗殺掉，連狗的頭都吃下去，一定能使你的頭變大。”徐某回家照辦，后來頭果然變大了。主考官很滿意，就保他為京城武尉。徐武尉忠心保國，體貼民情，后又榮升至尚書。
有一回，一位同朝好友提出，到徐尚書家游玩，但徐尚書做官清，離家廿余載，家宅無錢建設(shè)，感到為難，只好謝絕。
嗣后，徐尚書告老還鄉(xiāng)，萬歲下旨把在京的府宅建到他的家鄉(xiāng)。因從京都遷移而來，所以叫做移大宅，但“移”和“余”在浦江方言中是同音字，于是改“移大宅”為“余大宅”，如今的潘宅余大宅村（浦江縣浦南街道境內(nèi)）就是這樣演變而來的。
現(xiàn)在的余大宅祠堂就是原來的府宅，祠堂大門前有對聯(lián)：
麗水源流遠；
尚書門第高。