开元八年（720）正月，宋璟突然被免去宰相职务，跟姚崇一样以“开府仪同三司”的荣衔成为国策顾问。他在相位上停留的时间也跟姚崇差不太多，实际上只有三年。[28]
以此为标志，短暂而难忘的贤臣时代宣告结束。
这是一个君臣共治的时代。双方都在小心翼翼地进行磨合和探索，试图在强有力的君主和他的辅臣之间建立一种健康的关系。因此，这也是一个克制的时代。玄宗谨慎而明智地运用着皇权；宰相勤劳国事，同时防止国家进行劳民伤财和野心勃勃的冒险行动，有如帝国的定海神针。[29]
难怪姚崇和宋璟虽为名相，执政期间却并没有多少惊天动地的作为。因为他们的治国方略和时代特征就是这样十六个字：四夷来寇，驱之而已；百姓富饶，税之而已。[30]
宋璟却还是下台了。
导致他下台的原因在司法和财政。也许是为了保证社会的安定和政权的稳固，宋璟对罪犯们没完没了的申诉极为反感和厌恶，竟将积压案件全部交给监察部门处理，并且交代政策：认罪服法的宽大处理，继续上诉的统统关起来。
结果民怨沸腾，就连艺人也看不下去。当时天旱，一个优伶在表演节目时便扮作旱魔在皇帝面前手舞足蹈。
玄宗问：你这家伙怎么跑出来了？
扮作旱魔的艺人答：奉宰相之命。
玄宗问：此话怎讲？
艺人答：三百多苦主被宰相关押，旱魔能不出来？
玄宗很以为然。[31]
不过，直接让宋璟倒台的是货币问题。我们知道，中华帝国是没有银行的，货币在理论上只能由官方发行。然而由于商业的发达，官铸的铜钱根本不够使用。而且随着货币需求量的迅速增长，它们的质量也变得低劣，还不如民间私铸的铜钱。政府也只好允许私钱流通，以免贸易呆滞。
宋璟和他的搭档却试图一劳永逸地解决这个问题。他们奏请恢复私铸铜钱判处死刑的禁令，并派专使前往私铸最为盛行的地区治理整顿。结果，专使的雷厉风行导致了物价的大幅度波动，民不聊生，怨声载道，舆论哗然。
两位宰相只好为他们灾难性的失败埋单。[32]
问题没有得到解决，短板却暴露出来，那就是帝国的多数官员都不善理财，而且没有兴趣。实际上，自从汉武帝独尊儒术并建立起文官制度，话语权就掌握在儒生手里。在他们的评价体系中，占第一位的是所谓道德文章，其次才是管理才能；而在管理才能中，理财又最为他们鄙视，甚至被看作小人的伎俩和行径。不被骂作卑劣，已是万幸。
可惜帝国不能只靠道德文章来维持。国家机器的正常运转要用钱，王公贵族的穷奢极欲要用钱，雄心勃勃的对外扩张更要用钱。钱，不由天降，不由地生。没人理财，皇帝靠什么过日子，官员靠什么领工资，天下靠什么致太平？
于是，汉有桑弘羊，宋有王安石，唐有宇文融。
宇文融是在宋璟退场刚好一年后浮出水面的，当时官职不过正八品上的监察御史，提出的方案是查户口。这并非没有道理。由于种种原因，一些农民离乡背井不在原籍，有的定居外地成为逃户，有的流离失所成为流民。前者造成国家财政流失，后者成为社会不安定因素。因此，无论从经济还是政治的角度，将他们重新纳入户籍管理都十分必要。
玄宗批准了宇文融的方案，并任命他作为特使专门处理此案。宇文融也不负厚望。经过不断努力和调整政策（比如允许主动申报的逃户免税六年），这项工作大获成功。三年半以后，八十多万农户和相应的田亩被登记在册，相当于帝国总人口的百分之十二。皇帝对此十分满意，宇文融则被任命为监察部的副部长，后来又兼任财政部副部长。[33]
然而反对的声音也不绝于耳。
反对有经济和政治两方面的原因。实际上，移民他乡的农户之前得以逃税，是因为依附于当地土豪。这些土豪往往是帝国的官员或他们的家族。因此，宇文融的行动就损害了暴发户的利益，何况那些地产商还有着官方背景。
政治的原因则在宇文融和他的团队享有特权。由于是皇帝的特派员，他们在帝国的官僚体系之外自行其是，形成了一个不受国家机器控制的特殊群体。宇文融也毫不客气地以钦差大臣自居，每到一处都要召集男女老少宣示圣旨，给予种种优惠政策，心满意足地听他们感恩戴德痛哭流涕。
于是，当宇文融和他的团队巡视天下时，他们就变成了流动的中央政府。各级地方官员畏惧其特权，大小政务都要先报告宇文融，再报告中书省。就连判处死刑的罪犯，没有宇文融点头核准，地方官也不敢擅自行刑。[34]
这就完全打乱了正常的行政管理秩序，也对帝国的官僚集团构成了威胁，以至于他们不得不群起而攻之。而且从理论上讲，这也是在捍卫国家制度和人格尊严。毕竟，中央集权的帝国不该政出多门，州县长官也不该听命于特使。
反对派的领袖是张说。
张说是在宇文融担任特使之后半年重归相位的，起先担任的职务也是兵部尚书、同中书门下三品，一年半以后成为首相，任中书令。他的卷土重来一般被认为标志着玄宗执政理念和基本国策的调整，因为张说是姚崇的死对头。
姚崇不喜欢张说是有原因的。作为武则天的重臣，他跟狄仁杰一样主张务实，讨厌舞文弄墨和夸夸其谈。何况张说还难免口是心非之嫌，旧史就认为当年如果不是宋璟等人提出警告，张说未必不会作伪证。据说，张说甚至还想私下里修改有关历史记载，只不过遭到了史官的拒绝。[35]
玄宗看中的，却恰恰是张说的文才，甚至称他为“当朝师表，一代词宗”。用这样一个适合担任精神文明建设办公室主任或者作协主席的人做首相，只能说明皇帝开始由求真务实变为好大喜功。没错，制定礼仪需要当朝师表，粉饰太平需要一代词宗，张说自有张说的作用。[36]
何况张说也并非只务虚不务实，裁军二十万和改革兵制就是他的手笔。当时，玄宗不敢相信可以减少兵员，张说却回答说：臣久在疆场，熟悉边务，很清楚将帅们的扩军不是为了备战，而是为了自肥。更何况，兵不在多而在精，将不在勇而在谋。陛下如不放心，臣愿以全族性命担保。
结果，边防军由六十万变成四十万，裁减三分之一。[37]
更大的动作，则是将政事堂改为中书门下。
这可并不仅仅只是更名，而是要改制。因为更名之后用印也要变。原来用政事堂之印，现在用中书门下之印。政事堂是会议，加印之后的文件只能算会议纪要；中书门下却是机构，形成的便是政府公文。一样吗？不一样吧！
其他方面当然也都发生了变化。以前，宰相们不过坐而论道，开会的地点也先在门下省，后在中书省。现在则不但有了正规的官署，还有了五个下属办事机构。借用现代政治术语，就是国务会议变成了国务院。与之相适应，原来的集体负责制也会变成个人负责制，甚至首相的独断专行。[38]
后来一位宰相能独专朝政十几年，原因之一在此。
当然，这并不该张说负责，因为集权化正是姚崇时代就已经开始的趋势和政策。但可以肯定，张说既然要提高宰相地位，加强宰相权力，便容不得别人节外生枝。何况作为科举官僚和文坛领袖，他也看不起宇文融这样靠世袭特权进入官场的北周皇室后裔，以及其他那些没有学问和文采的务实派官员。总之，他们的矛盾不可调和，只看谁胜谁负了。