万历二十八年（1600年）夏末暴雨泛滥，丹江和淅水同时暴涨，将下寺山门、鼓楼、殿堂、屋宇淹没，四大天王、韦驮及十八罗汉佛像也随之消失。

崇祯十七年（1644年）12月李自成、张献忠率军经淅川李官桥镇，意图围攻襄阳。军队驻扎在顺阳川，香严寺僧侣见势而逃，上寺禅院被义军烧毁。

康熙三年（1664年）宕山远禅师率众僧在上寺建大雄宝殿三楹、释伽牟尼像一尊（高三丈三尺）、韦驮神像一尊（一丈六尺），为木刻金饰。

整个淅川香严寺院掩映在茂密的山林之中，翠竹、古树和泉水环绕，山清水秀，鸟语花香，景色迷人。淅川香严寺东竹林内竖立着两座洁白的大理石塔，高15米，6角、7级，为雕琢精细的仿楼阁式建筑，与绿竹相衬，若天然图画。淅川香严寺院内外还分布有多处名胜奇景，诸如珍珠泉、双石洞、龙泉、水帘洞、瀑布（又名“白布朝阳”）、花果山、一柏担八榆、一柏一石一庙、一步三眼井、一步三道门等。1986年，香严寺被列为河南省重点文物保护单位。

双石洞，距寺院1000米之遥的绝壁之上有两个形状相似的石洞，洞内有精细的雕像。双石洞由香严寺僧卑云愚叟创于宣和元年（1119年），宣和年间的僧人如壁和如琳师兄二人在曾此洞修禅。水濂洞，双石洞下的羊洞山山腰处有一山泉呈数道飞流而下流过一处石崖，使石崖形成了精巧细腻的钟乳石，人称此处为水濂洞。孙膑看桃园，从水帘洞到青龙山，山腰处有一洞，叫孙膑洞。洞外有一个数百平方米的桃园，传说就是当年孙膑看的“蟠桃园”，每到春天，百棵桃树争相开花，人称此景为孙膑看桃园。

古树名木，香严寺现有各类古树268株，包括柏树、皂角、松树、紫薇、紫檀、桂花、银杏、桦栎等102个品种。属于唐、宋、元、明、清年代的分别有36株、48株、44株、78株、62株。其中有一些有趣的树名：

美女抱将军树：在香严寺东北角竹林中，有两棵树融为一体的树。主干桦栎树高大笔直，树干直冲云霄，像一名将军，另一棵树在热带地区有“南方小美女”的美称，此树紧紧地缠绕着大树，树皮外有一层层像人的头发一样的小毛根，扎在树皮里吸收着主干大树“将军”的营养，紧紧拥抱，同生同长。因此，人们把这两棵树称为美女抱将军。千年夫妻树：香严寺有两棵1300多年历史的银杏树，一棵在山门外，一棵在韦驮殿前，两树相距40米，两树树根在地下相连，枝叶在空中相连，好像一对千年恩爱的夫树。痒痒树：该树是一颗300年历史的紫薇树，树杆神经敏感似含羞草，触摸树枝便会颤抖。