经过此事，皇帝对徐阶另眼看待，深以为忠，进其为太子少保，兼支尚书俸禄，并超擢其子徐墦为“太常少卿”。
严嵩知悉帝宠已移，又开始装孙子，率儿子严世蕃一群子孙家人到徐阶家中，表示说：“老夫活得也差不多了，我死后，徐大人善待这些人！”
徐阶装得更像，立即还拜，表示自己受严相爷提拔，对他绝无二心。
严嵩一行人刚走，徐阶儿子徐墦进屋，对父亲说：“大人您这些年一直受严氏父子欺压，该出手时候一定要出手！”岂料，徐阶拍案大骂：“没有严相爷，我们徐氏父子哪里有今天，你这个忘恩负义的东西，死了狗都不吃你！”原来，严氏父子耳目众多，徐阶家人中就有几个严世蕃重金豢养的“间谍”。
徐阶的“表现”，立刻传到严氏父子耳中，从此老严对徐阶完全放松了应有的“警惕”。
嘉靖四十一年（1562年），身为御史的邹应龙忽上奏章，弹劾严世蕃贪污受贿等不法之事。但奏章当时未敢牵连严嵩，只讲他“植党蔽贤，溺爱恶子”。
历史上有些事，发端有时离奇近乎荒诞，邹御史之所以敢于忽然间挺身而出，并非直接受徐阶指使，而是缘于他所做的一梦：他梦见自己骑马出猎，看见东边有一高楼，土基宏壮，顶覆秸杆。邹应龙拉弓而射，大楼轰然坍倒。醒后，邹御史鼓励自己，这是我搬倒“东楼”（严世蕃）的吉兆啊，于是他奋笔疾书，立写弹文。
嘉靖帝对严嵩父子日久生厌，又有道士们一旁撺掇，便下诏逮严世蕃入大理狱，命严嵩致仕，但岁禄照发，留有情面。
发现皇帝对老父严嵩没有一棒子打死，严世蕃深知事情不像想象中那样不可挽救。他通过早先交结的内保太监，奏称道士蓝道行与邹应龙里外勾结，陷害大臣。嘉靖帝各打五十大板，命人逮捕蓝道士送入牢房审讯。严嵩嘱托刑部的心腹，严刑拷打蓝道行，最终目的让他诬攀徐阶为幕后指使。谁料，蓝道士挺“英勇”，坚决不承认受徐阶嘱指。由于严氏父子势力根深固结，最终蓝道行获罪被处死。
朝中独相十余年，严嵩党羽力量确实大。但是，如果不处理严世蕃，又无法向皇帝交待，法司最后就“裁定”严世蕃受贿八百两白银，上案于御前。
廷议后，判决流放严世蕃于雷州，其两个儿子及心腹罗龙文等人分戍边地。
嘉靖帝念严嵩旧情，特宥严世蕃一个儿子为民，回老家伺候严嵩起居。
严嵩离朝后，没人再与自己谈玄论道，加之蓝道行又被处决，年已半花的嘉靖帝追念老严过去二十多年的赞襄之功，悒悒不乐。于是，他把已经升任首辅的徐阶叫来，表示自己要退居二线，当太上皇，准备在西内一心拜道。徐阶极陈不可，谏劝皇帝不要搁挑子。
“好，既然如此，你们一定要与朕同辅玄修，努力崇道，日后再有谁敢上疏劾奏追论严嵩、严世蕃父子，朕一定下令把他们与邹应龙一同送斩！”嘉靖帝声色俱厉。
远在江西南昌的严嵩闻此，知道帝意仍有念旧之情，就趁嘉靖帝生日，在铁柱宫使道士建醮为皇帝祈祷，亲自撰写《祈鹤文》献上。皇帝优诏答之。见有回信，严嵩登老二上肚脐，上疏乞求皇帝准许自己被流放的子孙回南昌能给自己养老。对此，嘉靖帝没有答应。
事已至此，严世蕃也不消停，惹事不断。他被明廷下令流放雷州，但是，刚刚行至半道，他便擅自回返，在南昌大兴土木，修建豪华别墅。更危险的是，他常常酒后宣言：“哪天我得以重起，一定要拿下徐老头的人头，邹应龙也跑不掉！”
徐阶得闻，忽起斩草除根之心。
严嵩听见儿子如此放话，叹息对左右讲：“此儿误我太多。圣恩隆厚，我得善归。此儿虽被遣戍，遇赦也可得归。今忽忽大言，惹怒圣上与徐阶，我严氏家族，横尸都门那天，想必不远矣！”
合该有事。袁州推官郭谏臣因公事路过严嵩府宅，看见一千多工匠正大修府邸。严府仆人作监工，望见郭推官根本不起身见礼。郭谏臣大怒，上状于御史林润。这位巡察御史先前劾奏过严嵩党徒，很怕日后严嵩父子重起遭到报复，见此状大喜，立刻添油加醋，上奏严世蕃在江西阴聚徒众，诽谤朝议，图谋不轨。同时，他还奏称小严聚数千人（一下把数目扩大几倍）以修宅为名，阴谋造反。
疏上，嘉靖帝大怒，命林润诏逮严世蕃等人入主京审讯。
林润得令即行，一面下令捕人，一面又上奏疏，半真半假，把严世蕃一案渲染得活灵活现：
第52章
恋耽美