这座寺院大约建造于东晋时期，当时建寺需要很多钱，僧侣们向朝廷官员和社会名流募捐，但所得资助很有限。

青年画家顾恺之知道此事后，就挺身而出，说他愿捐钱百万。许多人都不相信，认为他这是吹牛。顾恺之却胸有成竹，他要和尚们在大殿上修起了一堵白墙，然后他关起了寺门，在墙壁上精心绘了一幅佛教著名人物“维摩诘居士”像。在画像即将点睛之时，顾恺之让和尚请人来观画捐款。

许多有钱的人闻讯都来观看，第一天观看的人每人捐十万铜钱，第二天观看的人每人捐五万铜钱，第三天观看的人随意捐。

等画像画完后，就打开大门让广大百姓来观看。每天寺院里都挤满了人，大家纷纷捐款，没过多久就捐了百万铜钱。

因为在南朝时，统治者们都崇奉佛教，妄想长生，所以寺庙发展得很快，因此“南朝四百八十寺”并非作者的夸张。