在张九龄被罢免之后，大臣们为了保全自己，不敢再向李隆基直谏了
李隆基回到长安之后，想要提拔曾经在河西做出了一些政绩的朔方节度使牛仙客为尚书，张九龄再次表示反对，说道：“不可以，所谓尚书，古代称之为纳言，不应当如此轻率地授予官职，自我朝以来，只有德高望重、名扬天下之人才能够担任。牛仙客只不过是河西地区的一个命官，一下就将他提拔为国家的重臣，恐怕这会有羞于朝廷。”李隆基说：“那么就给他封爵赐邑吧。”
张九龄又进行劝阻：“不可以。封爵是为了更好地激励有功劳的人的，作为一个边将的牛仙客充实仓库、修理器械，也只不过是做了他应当做的正常政务罢了，陛下想要对他的勤于政绩进行奖赏，赏赐给他一些金帛就可以了，如果裂土封爵赐邑，恐怕就有点儿不合适了吧。”李隆基听了之后，没有再说一句话。
在张九龄离开之后，李林甫又进谗言道：“牛仙客有着宰相之才，岂止是一个尚书，张九龄的书生气太重了，一点儿也不识大体。”第二天，李隆基再一次提到这件事情，张九龄依旧坚持自己原来的意见，李隆基非常生气，板着脸说道：“难道什么事情都必须由你说了算吗？”张九龄连忙跪在地上，叩首谢罪说道：“陛下不以臣愚忠，让臣担任宰相之职，事情存在不妥的地方，我不敢不将实话说出来。”
尽管李隆基听张九龄的解释，心中的怒气稍稍消了一点儿，但是他依旧说道：“你反对牛仙客担任尚书之职，是嫌弃他出身寒微吗？那么，你又出生在什么样的门第中呢？”张九龄回答说：“我出生在十分偏僻的贫穷人家，根本比不上牛仙客生在中原繁荣的地方。但是，我进人台阁，典司诸命已经有很多年了，而牛仙客仅仅是边地的一名小吏，不认识几个字，如果委以这样的重任，恐怕最终会让众人感到非常失望的。”
下了早朝之后，李林甫又向李隆基进谗言道：“只要他具有才能就行了，为什么一定要学识很高呢？天子想要提拔与重用一个人，这有何不可呢？”让张九龄更加难以招架的是，李林甫与武惠妃勾结在一起，共同对自己进行诋毁与中伤。武惠妃非常受李隆基的宠爱，但是，当朝太子却不是她的儿子，而是李瑛，太子以及鄂王、光王都由于亲生母亲失去唐玄宗的宠爱而有些怨言。
所以，经常聚在一起发发牢骚，李林甫知道之后，觉得有可乘之机，于是就与武惠妃串通起来，想要将太子废掉，于是，武惠妃就跑到李隆基的面前去哭诉，李隆基听了这些话之后，大怒不已，马上将宰相召来，想要将太子、鄂王以及光王废掉，但是，张九龄却说：“陛下登基已经将近三十年，太子与各位王爷基本上没有离开陛下左右，天天接受圣训。”
“天下所有的人都为陛下享国长久、子孙昌盛而庆祝，如今，您的这三个儿子已经长大成人，从未听说有什么大的过错，为什么陛下要听信那些流言凿语而将他们废黜呢？太子的确立与废黜，必须得谨慎。倘若陛下果真要那样做，那么，臣不敢奉语行事。”张九龄的这番话说得相当具有深意，使得李隆基也开始犹豫不决，拿不定主意了，张九龄回到府邸后没多久，武惠妃就派遣宫奴牛贵儿前来要挟，说道：“有废一定会有立，如果你能够支持立李理为太子，那么你的相位就可以长久地保持下去了。”
但是，张九龄并不吃这一套，反而怒斥牛贵儿：“官阉怎么能够参与国家政务，不要再与我进行饶舌了！"而李林甫则在私底下对唐太宗曾经宠信的宦官们说：“这原本就是陛下的家务事根本不需要去向外人询问。”尽管在张九龄的极力阻止下，李瑛的太子之位保住了，但是李林甫却与武惠妃内外进行相结，日夜不停地在李隆基面前对张进行诋毁，使得皇上对张更加疏远。
李林甫是一个阿谀奉承、趋炎附势的高手，但却也是一个目不识丁的无赖，牛仙客也是胸无点墨，李林甫却很喜欢他，将他视为自己的知己与心腹，还有一个名叫萧灵的人，同样是一个不认识多少字的白丁，曾经将“伏腊”读成“伏猎”，但是，李林甫同样欣赏他，非要提升他担任户部侍郎之职。严挺之对此非常生气，张九龄也因为这件事情而把萧灵贬出了京城，使其担任岐州刺史之职。因此，李林甫对张九龄与严挺之非常怨恨。
没过多久，担任蔚州刺史之职的王元琐犯了贪赃之罪，严挺之曾经想尽办法去营救他，所以，李林甫就以此向李隆基进谗言说道：“严挺之因为私情而对王元瑛有所偏担，应当治罪。”李隆基转而向张九龄进行询问，张九龄回答：“王元瑛所纳的妻子是严挺之曾经休掉的妻子，他们之间不可能存在私情。”但是，李隆基却认为张九龄这么说是在为严挺之进行辩护，非常生气地说道：“尽管他们已经离异了，但是还是存在私情的。”
于是，异常愤怒的李隆基就将新账老账一块算了，把张九龄贬为右丞相，庄耀卿为左丞相，禁止参与政事。张九龄素来以忠心、正直而闻名，在张九龄被罢免之后，朝廷的大臣们都为了保全自己，不敢再向李隆基直谏了，李林甫为了将直谏的言路堵塞住，甚至将中书、门下两省的左右拾遗以及左右补阙等谏官召集起来，用手指着大殿门外面的那八匹立仗石马说道：“这立仗马每天都规规矩矩地站在这里，就能够吃到三品上等草料；倘若它们叫唤一声，就会被贬斥拉走，到那个时候，它们想要后悔也晚了。”但是，朝廷中偏偏就有人不愿意做那“立仗马”。
杜进向唐玄宗上书言事，书到了中书省那里就被扣了下来，第二天，杜进就被贬到了下邦去做县令，周子谅对牛仙客进行弹劾，说他根本就不具备宰相的才能，只是占着宰相的位置却不做宰相应当做的事情。不过，李隆基并没有接受他的意见，反而在李林甫的谗言之下命令左右侍卫在朝廷上当着各位大臣的面，将周子谅狠狠地打了一顿，周子谅被打得当场就昏了过去，后来，就被流放到了边境。
而李林甫给李隆基上奏，说周当初是张九龄推荐的人，所以张九龄也应当受到惩罚，于是，李隆基就下令将张九龄贬为荆州长史，从京师中赶了出来，从此之后，李林甫独揽朝政大权，唐王朝的从开明走向了黑暗，社会也从昌盛走向了衰败。由于李林甫为非作歹，将唐王朝弄得乌烟瘴气，他指使部下向李隆基进谗言说，太子、鄂王以及光王想要将武惠妃母子二人害死，最终导致这三位喜爱学习、有真实才华的皇子无辜被杀。
为此，天下的人都为之扼腕痛惜，李林甫陷害具有卓越功勋的著名将领王忠制，将曾经揭发他的赵奉章杀害，对佞臣酷吏杨慎矜以及吉温等加以重用，李林甫的“顺我者昌，逆我者亡”的手段，导致唐朝的一天比一天差。到了天宝十一年（公元723年），李林甫把持朝政已经有十九年了，导致原本处于鼎盛时期的唐王朝迅速地走向了衰落，终于招来了一场关乎唐王朝生死存亡的叛乱——“安史之乱”。
说起安禄山等人的崛起，也和李林甫有着很大的关系，安禄山非常狡猾，十分擅长揣度别人的心思，并且作战的时候也相当骁勇，所以，当他在幽州刺史张守珪部担任互市牙郎之职的时候，因为张守珪很赏识他，就将他收为养子，并且开始重用他。开元二十四年（公元735年），张守珪派遣已经被提升为平卢讨击使、左骁卫将军之职的安禄山征讨奚族与契丹。
安禄山仗着自己勇猛，贸然前进，结果被打得惨败而归，按照当时的法令，应当斩首示众，在将行刑的时候，安禄山就对着张守珪大声喊道：“大人不是想要将奚、契丹灭掉吗？为何要将我安禄山杀掉？”对于他的骁勇，张守珪十分赏识，就想要保全他的性命，将他送到了京师，让朝廷进行定夺。
那个时候，担任宰相之职的张九龄用军法来定他的罪，拿起笔批复道：“以前正直诛杀庄贾，孙武斩杀官嫔，都是按照军法来定罪的，如果张守珪按照军令行事，那么，安禄山的死罪就不应该免除。”李隆基对安禄山的才能也非常爱惜，就下令将他的官职免除，命令他用白衣人的身份接着做将领。
但是，张九龄也是一个固执之人，他进谏说道：“因为安禄山违背了军令，导致部队与城池都有损失，按照法令必须诛杀，更何况，臣对他的面相进行观察，发现他面带反相，如果不将他杀了，恐怕以后一定会成为朝廷的大患。”李隆基心中对张九龄很不满，说道：“卿可不能像王夷甫识别石勒那样，枉害了忠良之臣，”说完之后，他竟然立即下令赦免了安禄山，使得他逃脱了法令的制裁。