广德寺位于遂宁城西1.5公里的卧龙山麓，是川中佛教胜地，系唐开元以来著名古刹，被誉为“西来第一禅林”。全寺占地47666.67平方米，古建筑面积8350平方米。寺依山而建，方向300o，座西北朝东南。主要建筑沿中轴线分布，自麓至顶，揭殿九重：圆觉桥、哼哈殿、圣旨坊和碑亭、天王殿、大雄殿、毗卢殿、法堂、三官殿、佛顶阁；中轴线之东有千佛楼、燃灯殿、千手观音殿等；中轴线之西有观音殿、轮藏殿、善济塔、玉佛殿等。大小殿舍二十余幢，主次分明，左右对称，有唐宋建筑布局风格。

广德寺，原名石佛寺。唐代宗大历二年（767），东川节度使杜济礼请克幽（无住）禅师来遂住持，开山阐教。寺大历年间名保唐寺。代宗大历十三年（778）六月，敕令大规模修建庙宇，赐名“禅林寺”，赐无住禅师紫衣，号“克幽禅师”，令颜真卿书寺匾额。德宗建中初，赐名“善济院”。贞元三年（787）克幽坐化圆寂，其徒原善为师装龛建塔。武宗会昌五年（845）诏令全国灭佛毁寺，“禅林寺”成瓦砾废墟。宣宗大中元年（847），克幽再传弟子法全募化重建。刺史王简重建“舍利塔”（俗名肉身塔）。昭宗天复三年（903）四月，敕赐“再兴禅林寺”名。

五代寺制大体仍旧。

北宋真宗大中祥符四年（1011）正月，敕赐寺名为“广利禅寺”，又赐“敕赐广利禅寺观音珠宝印”一颗（今存寺内）。哲宗元佑年间，开始改建“舍利塔”，安岳县知县赵嗣业撰有塔记并书篆。徽宗崇宁二年（1103）赐克幽（无住）禅师谥号“慈应大师”，塔名“善济”。当年正月初八塔落成（即今善济塔），遂州转运判官谢瑾撰有《遂州广利禅寺善济塔记》。南宋孝宗乾道九年（1173）十月，敕赐克幽禅师为“圆觉慧应慈感大师”。淳熙元年（1174），敕令尚书省参知政事四川宣抚使郑闻到寺建圣旨坊，竖刻碑文于山中（即今之宋代九龙碑），上镌有唐宋七次敕封的年代。

元代战争不休，殿阁局部遭到毁损。

明太祖洪武元年（1368）开始重建，至宣德年间历六十余年而寺庙规模初备。英宗正统至宪宗成化年间扩建。成化年间，于圆觉桥北建金刚殿（即今哼哈殿），壮列八字山门，又于金刚殿和天王阁之间建翼形之“圣旨坊”（即今圣旨坊），东西作二亭以护碑志。至此，广德寺成现今格局。武宗正德八年（1513）赐名“广德寺”。明代的广德寺，僧众千余，寺宇宏伟，甲于西蜀，主领川、滇、黔三省三百余山。明末战乱纷纷，寺庙毁坏，僧人无存。

清康熙时外省僧众来遂定居，重新培修扩建。佛教的临济正宗、曹洞宗、临济岔派各占殿堂一部分，形成三堂共管广德寺的局面。各堂自置田产，自建庙宇，以师传徒，各自继承。东法堂于百子殿侧建藏经楼，上法堂于三官殿上建佛顶阁，西法堂于大悲阁前建玉佛殿。