开元十四年（726）四月初四，中书令张说的府邸突然被禁卫军包围，他本人和家属也被捕下狱。原因是包括宇文融在内的监察部正副部长三人联名弹劾张说，罪名是危害国家安全和收受贿赂，并且生活奢靡。其中最为严重也最能刺激玄宗敏感神经的是：该犯竟然私聘术士夜观星象。[39]
皇帝陛下龙颜大怒。
其实，张说早就该料到会有这一天，因为监察部这三个正副部长都是他的死对头。御史台被敌对势力控制，当然是非常严重的事。而且当时就有人提醒他：宇文融理财有圣上支持，不可以太得罪。张说却不屑一顾地说：那种鼠辈干得了什么？于是依然故我地继续处处与宇文融作对。[40]
结果怎么样呢？自己变成了过街老鼠。
说起来张说也是自作自受，因为他得罪的并不单单是宇文融一个人，而是一大批。几个月前，张说排除异己，包揽了封禅大典的所有事务，以至于得到封赏的全是他的人。这就犯了众怒，宇文融也才利用时机狠狠捅了他一刀。
幸运的是，一个宦官救了张说。
救张说的就是传说为李白捧靴的高力士。当时唐玄宗派高力士到狱中看个究竟，高力士回来禀告说：张说蓬头垢面坐在草上惶恐待罪，家人都用瓦罐吃饭喝水。
玄宗不禁心软。
高力士又说：张说是忠于陛下的，而且有功。
玄宗当然清楚这一点。案件审理的结果也表明，私聘术士夜观星象确有其事，却是下属所为，张说并不知情，顶多负有领导责任。于是玄宗将张说从御史台放出，仅仅免去他担任了三年两个月的中书令职务，其他待遇照旧。[41]
宇文融的政治生命却更短。他在扳倒张说三年后的开元十七年（729）六月任“同中书门下平章事”，又在九月被贬为刺史，担任相职只有九十九天，史称“百日宰相”。
原因，当然也是犯了众怒。
宇文融离开朝廷，帝国的财政立马就成了问题。于是玄宗皇帝愤怒地问那些反对派：你们总说宇文融不好，朕依了诸位，结果没钱用了，请问卿等有什么办法？
当然没有。或者说，反对派只有一个办法，那就是继续攻击宇文融，以此证明自己的正确。于是，宇文融的问题被不断揭发，先是受贿，后是贪污。这个倒霉的家伙也被一贬再贬，最后死在了流放的路上。[42]
一个异类就这样被干掉了，现在轮到另一个。
另一个异类叫王毛仲。他是高丽人，也是唐玄宗当王子时府上的家奴，由于粉碎太平公主集团有功，成了玄宗皇帝禁卫军的首领。后来又由于治军有方，竟被授予开府仪同三司的荣衔，与姚崇和宋璟的政治待遇相同。
那时的王毛仲真可谓备受恩宠。就连他嫁女儿，皇帝陛下都要亲自过问，问他有什么事情需要帮忙。
王毛仲说：万事齐备，只欠宾客。
唐玄宗问：张说之流，岂不是一叫就到吗？
王毛仲答：也有请不到的。
唐玄宗笑：你说的是宋璟吧？朕来请他。
第二天，宋璟果然到场，尽管只喝了半杯酒。[43]
王毛仲却赚足了面子。
小人得志便猖狂，王毛仲也不例外。他目空一切，尤其看不起宦官。也许在他看来，宦官男不男女不女，根本就不能算人，又岂能与他这大将军相提并论，平起平坐？
结果，王毛仲栽在了宦官手里。
开元十八年（730）某日，王毛仲生了儿子。唐玄宗派高力士前往祝贺，并且封那婴儿五品官衔。力士回宫后，皇帝陛下兴致勃勃地问：怎么样？毛仲很高兴吧？
高力士答：王毛仲说，这样的孩子不够三品吗？
玄宗大怒。
其实，王毛仲此言是要羞辱高力士，也是发泄对宦官受宠的不满，因为高力士的官阶正是三品。所以，他要把孩子抱出来给高力士看，意思是我这身体健全的儿子才五品，你这个连命根子都没了的家伙又凭什么三品？
唐玄宗却理解为王毛仲泄愤，因为不久前王毛仲索要兵部尚书的职位被皇帝拒绝。于是高力士趁机说：北门奴才气焰太盛，又早就结成了团伙，恐怕不是长久之计。
北门就是玄武门，那可是经常发生政变的地方。唐玄宗将王毛仲等家奴安排为北门禁军的将领，就是要让他们当看门狗。但是，走狗如果对主人呲牙咧嘴，则非杀不可。于是皇帝在剥夺了王毛仲的兵权之后，又将他赐死。[44]
张说却很乖巧。他在被免去中书令职务十个月后，就以尚书省副长官（尚书右丞相）的身份退休，专心致志从事学术研究，成果有《大衍历》和《开元礼》等等。宋璟也远离了是非中心，退休住在洛阳。他们两人都寿终正寝。
朝廷也变得安静起来。
实际上张说罢相之后，朝堂之上就乏善可陈。这固然因为人才难得，同时也因为玄宗厌恶党争。因此他宁肯宰相的能力差一些，威望低一点，也不能让他们成了气候。
可惜树欲静而风不止，斗争与否也无关乎能力。此后多年，宰相班子就像走马灯，却没有一个是团结的。皇帝按下葫芦起了瓢，不胜其烦。直到开元二十一年（733）三月，中书令萧嵩推荐韩休搭班子，大家才觉得可以松一口气。
然而他们又错了。
萧嵩其实并不了解韩休。他推荐韩休，只不过认为韩休为人柔和，却没想到此人外柔内刚。当时，玄宗皇帝要流放一个县尉，新任宰相韩休却说：该犯并非大奸大恶，陛下应该抓大放小。金吾大将军某某贪赃枉法，民怨沸腾，问题更为严重。臣请先处分某将军，再处分那个县尉。
玄宗不同意。
韩休说：陛下只拍苍蝇不打老虎，臣不敢奉诏。
玄宗只好同意。
这件事让所有人对韩休都刮目相看，就连退居二线的宋璟都说：没想到韩休竟能如此，这是仁者之勇啊！[45]
玄宗也对韩休肃然起敬，甚至忌惮。据说，皇帝只要稍微放纵一下自己，就会左顾右盼说：韩休知道吗？更为夸张的说法是：话音刚落，韩休的意见书就送达了御前。
不能随心所欲的皇帝只好对着镜子叹气。
身边人说：自从韩休拜相，陛下就瘦了许多，也没有过过一天舒心的日子，为什么不罢免他？
玄宗说：朕是瘦了，百姓可就胖了。萧嵩顺着朕，可是退朝之后朕睡不着。韩休虽然喜欢顶撞，可是朕睡得香。朕用韩休，不是为了自己，是为了江山社稷啊！[46]
这时的唐玄宗，还真不糊涂。
萧嵩却忍无可忍。他实在受不了韩休这刺儿头，也受不了他在朝堂上的得理不饶人，于是向皇帝申请退休。
玄宗说：朕又没烦你，为什么要走？
萧嵩说：现在走人，还来得及。等到陛下烦了，臣恐怕连脑袋都保不住。说完，泪流满面。
玄宗皇帝明白了。他的办法跟以前一样：宰相不和就同时罢免。于是，萧嵩改任尚书省的副长官，韩休则改任工部尚书。新宰相一个是京兆尹裴耀卿，任门下省副长官；还有一个则是张说的接班人张九龄，任中书省副长官。[47]
新的一幕也即将开始，虽然需要前奏。