王阳明是明代著名的思想家、文学家、哲学家和军事家，陆王心学之集大成者，精通儒家、道家、佛家。历任刑部主事、贵州龙场驿丞、庐陵知县、右佥都御史、南赣巡抚、两广总督等职，晚年官至南京兵部尚书、都察院左都御史。谥文成，故后人又称王文成公。

正德十六年（1521）十二月，王阳明因平定宁王朱宸濠谋叛之功，封为“新建伯”，于次年的嘉靖元年在绍兴府山阴县西北隅光相坊择地兴建“伯府第”。“新建伯”是衔头，“新建”是县名，地处南昌城之西北。“伯府第”一建就建造了五年，直到1527年王阳明离开浙江去广西时才正式完工。

由于“伯府第”气势非凡，以致早在明清时期，绍兴与余姚两地的民间就流传着一个说法，叫做“吕府十三厅，不及伯府一个厅”。

吕府，是指明代嘉靖间礼部尚书吕夲的府第。吕夲在嘉靖的中后期，靠严嵩崛起，进入内阁担任大学士。此人道德败坏，喜好贪污，拥有巨额财富。后来他回到家乡余姚新建府邸。吕府东起万安桥，西迄谢公桥，南起新河弄，北至大有仓，总占地面积约48亩。

相传吕府由吕夲的13位出仕弟子各捐建一厅而成，都依三条纵轴线和五条横轴线布置。中央纵轴线依次为轿厅、永恩堂、中厅、后厅、座楼(轿厅、后厅早年已毁，现残存阶条石)。东、西两轴线依中轴线对称排列，各依次有牌楼、前厅、中厅、后厅、后楼(现东轴残存中厅六间，后厅七间，后楼两间；西轴残存中厅两间，后楼六间)。吕府建筑群除第五条横轴线上是楼房外，其余均为平房。

如此宏大的吕府居然不抵王阳明府邸一个厅，可见王阳明府邸的豪奢程度。

王阳明的新建伯府占地十八亩，其中“伯府大厅”全用楠木构成，高大宽敞，器宇轩昂。“伯府第”正门前有一方长35米，宽25米的“碧霞池”，池上有桥名为天泉桥。天泉证道就是在这里发生的。一个不过是点缀池塘的桥，就如此规模，其他的就可想而知了。

王阳明建造“伯府第”本是朝廷的恩赐，土地当然由政府划拨，无需出钱购买，其中主要建筑的资金亦由朝廷来出。王阳明功高赏厚，凭着雄厚的财力，当然要在建造府第之时，乘机扩大建筑面积。这扩建部分当然得自己掏腰包。那么，王阳明的资金是怎么来的呢？

王阳明家族在浙江的确经营多年。并未积累多少财富。当时王阳明的官俸收是两千余石禄米，按实际市场折合一千零六十二两八钱八分银子。显然，这些钱，连他府邸全部使用顶级的楠木的钱都不够。

钱的来源只有一个：

1519年，原本较为平静的大明朝东南地区突然掀起了一阵骚动。封地位于江西南昌的宁王朱宸濠突然掀起了一场大规模叛乱，以号称十万大军的力量攻入长江中下游地区。他企图夺取重镇安庆，图谋南方的政治中心南京。然而这场叛乱，在王阳明的统帅下仅仅坚持了43天便被附近省份调来的官军轻易扑灭。

宁王府里堆积如山的财宝，部分上缴国库，部分用作将士们的赏赐，还有部分当作变产官银代江西受灾百姓缴纳欠赋；此外，作为胜方的最高指挥官王阳明，截留点战败者的财宝以作今后归隐之用，亦属合理之举措。