玄宗听了很高兴，立即起驾返回长安。但他并未免除所过地方租税，而且也造成了农收被影响，张九龄后来又对此事进行进谏。
唐玄宗由此愈恶张九龄，而亲近李林甫。
后来，玄宗听说边将牛仙客领朔方节度使有政绩，欲加“实封”。张九龄不赞成，对李林甫说：“应该封赏立大功的名臣名将，在边将中稍优秀些，难道就要考虑加封吗？我要与公一起去跟皇帝争一争。”约李林甫一起去。
李林甫当面表示同意，但张九龄在皇上面前，力争时只是傻笑，不置一词。私下里又将张九龄廷争的话偷偷告诉牛仙客。牛仙客受他的煽动，面见皇上，哭求辞官。
玄宗又欲擢仙客为相。张九龄认为仙客“目不知书”，不能当宰相。
李林甫退而奏言玄宗说：“但有才识，何必辞学，天子用人，何有不可？”又奏“仙客宰相才也”，“九龄文吏，拘古义，失大体”。
玄宗耳软，赞赏李林甫识大局，顾大体，日益疏远张九龄。
随后发生的一件事，使李林甫刁难二相的阴谋得逞。
户部侍郎萧灵，原由李林甫引荐。此人不学无术，竟对中书侍郎严挺之读“伏腊”为“伏猎”。严挺之又问一遍，萧灵还是读“腊”为“猎”。严挺之深为遗憾，堂堂侍郎官居然不认“腊”字。严在闲谈中，讲给了张九龄听，萧灵被张九龄贬了官。李林甫知道后，暗自怨恨严挺之。
而严挺之一贯鄙薄李林甫。“非公事，不私选其门”。就此把柄，林甫寻衅诬奏严捷之徇私。挺之获罪，张九龄出面为之辩解。
玄宗早疏远了九龄，因而怀疑九龄拉帮结伙，罢了他与裴耀卿二人的左右丞相之职，专听信李林甫。
张九龄，裴耀卿二人，被称为唐玄宗时期的二贤相。李林甫虽同为宰相，但他才能不及人，不是设法提高自己的能力，赶超他们，而要把他们拉低跟自己一般平或更低，实在不行就加以人身攻击，毁灭才能的载体，这是中国数千年来奸佞小人惯用的伎俩。
但李林甫登相位不久，由于张九龄“以才鉴见推”，在文学上为皇上所依重，林甫虽恨他，仍由意事之，不敢违逆。侍中裴耀卿与九龄善，林甫恨乌及屋，连裴侍中也倍加痛恨。心里这样想这样恨，但表面上你看不出来，他善于伪装和忍耐，夹着尾巴，玩弄善身之术：“媚事左右，迎合上意，以固其宠”。
当时，玄宗在位已久，渐肆奢欲，怠于政事。每逢议事，张、裴二相常与皇上力争，朝政矛盾日益暴露。
在张、裴二相敢于面折廷争的情况下，李林甫则唯唯诺诺，巧顺帝意。为了掌握皇帝的动静与想法，他设法打通皇帝左右人的关节，一奴一妾都成了他的耳目。
“每奏请，必先饷遣左右”，包括皇帝的饔夫御婢皆所款厚，中官妃家，皆厚结托。这样，皇帝的举止言行，“皆预知之，故出言进奏，动必称旨”，讨得玄宗欢心。
二贤相被罢免后，朝堂上已经是李林甫一人独大。内宦高力士早已经被李林甫收买，皇帝的一举一动皆在其眼中。他此时在大唐已经是真正的“一人之下，万人之上”，权利达到了为官的巅峰。
而凌雪阁背后掌控之人，正是大内总管高力士，而现在高力士被李林甫所收买，凌雪阁也实际上成了为这位奸相服务的工具。
而至于曹雪寒为何会在凌雪阁现身，原因也很简单，七岁那年，也就是六年前被张良娣手下的死士带出皇宫之后，便是活不见人，死不见尸了，玄宗因此震怒，通令全国，凡寻得曹雪寒下落者，赏金万两、官升sān_jí。可最终，不过是找到了那两名死士的尸体，仅此而已。不过玄宗并未撤销巡查之令，仍命各州县全力寻访，不得有误。就连高力士和李林甫，也是严令手下全力查访，务必找到曹雪寒。
而曹雪寒却用变身术，躲过了追查不说，更借凌雪阁搜寻孤儿，训练杀手之机，混入了凌雪阁中。目的，就是为了日后在凌雪阁中现身，而后，制造李林甫勾结后妃，谋害皇嗣的罪名，一举铲除神策，以解天策后顾之忧。并造成天策救出皇嗣，功在社稷的结果，创造天策，够得到玄宗多一份信任的契机。
说起天策府与神策军，也是颇多纠结。由于两支军队的使命各自不同，而且受到高层的影响，很有些宿敌的味道。
天策府是唐太宗李世民建立的。
武德四年（公元621年），李世民以右领军大都督的身份，带领大军攻下洛阳，击败王世充、窦建德联军。李世民因战功显赫而名声大振，唐高祖命他掌握东部平原文、武两方面的大权，封李世民为天策上将，并且允许他在洛阳开府——天策府。雄心勃勃的李世民立即组成了一个大约五十人的随从集团，这便是天策的由来。
天策人数并不算多，但个个都是精兵。其宗旨是：“苟利国家，不求富贵”。他们身着厚甲重铠，是大唐帝国的最后一道防线。所有天策士兵都以自身身份为荣，能加入的也大多是功臣之后，对大唐皇室忠心耿耿，凡事皆以国家利益为重。
武则天时期，女帝由于惧怕忠于皇室的力量，对天策大加打压，天策府逐渐变成了半江湖，半官府的存在。一直到玄宗继位这样的情况才改善过来，但半江湖的性质依然保留了下来。虽然加入江湖多年，但是天策内部还保持早期的军队编制