开元二十一年（）裴光庭去世，这位武三思的女儿，就请求宦官高力士推荐林甫当侍中，但当时玄宗已决定用韩休。高力士把此消息泄漏给武氏，李林甫趁机向韩休献殷勤。后来，韩休任宰相后。在玄宗面前推荐李林甫说他有宰相的才能。不久，李林甫当了黄门侍郎。开元二十三年，（）五月，李林甫被任命为礼部尚书，同中书门下三品，并加赐银青少禄大夫，登上相位，同时为相的有侍中裴耀卿和中书令张九龄。

起初，唐玄宗欲以李林甫为相，曾咨询过张九龄，张九龄回答说：“宰相的位子关系到国家安危，陛下用李林甫为相，恐将来危及国家安危。”玄宗不听张九龄的意见。李林甫虽怀恨在心，但张九龄是诗人，以其文学才华为玄宗所倚重。

李林甫无奈，只好对他曲意逢迎，以待时机整治他。李林甫为了实现政治上的野心，继续与宦官、妃嫔往来，他每次在奏请玄宗事之前，都要通过妃嫔，先摸清玄宗的旨意，所以每次奏对，都能称玄宗的心。开元十四年（）十月，玄宗想提前从东都洛阳返回长安，召集宰相商议。裴耀卿、张九龄建议说：“农夫的秋收未完，望陛下以农事为重，到冬天才可返回长安。”李林甫早摸到了玄宗的意图，待裴、张离开后，留下来对玄宗说：“长安、洛阳是陛下的东西二宫，车驾往来，何必要等待时令？即使妨碍农民秋收，陛下可以单独赦免车驾路过地区的租赋就行了。我请皇上诏示百官，即日动身西还。”玄宗听后大喜，第二天便浩浩荡荡起驾西行。张九龄为人正直，遇事不论巨细皆力争之，渐渐不为玄宗所喜欢。

开元二十四年（）十月，玄宗以朔方节度使牛仙客勤于工作，并有政绩，欲以其为尚书，张九龄以为不可，他说：“封赏大臣要等待有名臣大功，牛仙客是个边境小吏，不能担此重任。”李林甫趁机上奏说：“牛仙客任官勤恳，是难得的相才，张九龄是一个书生，不识大体。天子用人，有什么事情不可以做的？”第二天，牛仙客便受爵陇西县公，食封三百户。而张九龄固执如初。玄宗十分不高兴，说：“事皆由卿邪！”从此，李林甫在玄宗面前，日夜说九龄的坏话，玄宗逐渐疏远张九龄。

这一年十一月，武惠妃哭泣着对玄宗说：“太子暗中勾结党羽，将害妾母子，并且有害陛下之心。”玄宗大怒，欲废太子。张九龄苦谏，并说：“陛下必欲为此，臣不敢奉诏。”玄宗十分不满。李林甫开初不说话，退下来对玄宗说：“这是天子家里的私事，外人何必参预呢？”不久，李林甫推荐萧炅为户部侍郎。萧炅平素不好学，曾将“伏腊”读为“伏猎”。中书侍郎严挺之对张九龄说：“省中岂容有伏猎侍郎！”，因此萧炅被出为岐州刺史。对此李林甫大为不满，十分怀恨张九龄和严挺之。残害张、严的机会终于被李林甫找到了。

严挺之的前妻改嫁于蔚州刺史王元琰，王元琰犯贪污罪下狱，严挺之为之说情，也受到牵连而获罪。张九龄为严挺之辩解，这引起了玄宗不满。李林甫立即上书，弹劾裴耀卿、张九龄为同党。于是玄宗免去了张、裴的相权，授予他们尚书左、右丞。与此同时，李林甫为中书令，牛仙客为工部尚书，同中书门下三品，开元二十五年（）监察御史周子谅上书弹劾牛仙客不学无术，被流放到攘州。李林甫趁势诬陷周子谅为张、严同党，是张所推举的人，于是，张九龄被贬为荆州刺史。李林甫当了中书令后，唐玄宗采纳了李林甫的意见，杀死了他的三个儿子。天下人为他们鸣不平。

大理少卿徐峤妄言上奏：“大理寺监狱杀气较盛，鸟雀不敢栖息。现在刑部处理死囚，每年总共才五十八人，而乌鹊在狱中做窝，无人犯法，刑法搁置。”群臣纷纷上表称贺。于是，玄宗将功绩归于宰辅，下诏赐李林甫为晋国公，牛仙客为豳国公。

开元二十六年（），李林甫兼领陇右节度使和河西节度使。从此，李林甫独柄权衡，涉足武备，总管满朝文武选事，处一人之下，万万人之上的地位。

李林甫为人阴险狡猾，诛杀残忍，脸上喜怒无常，对上一味奉承，对不合他意的人，则设计害之，决不心慈手软。所以，当时人称他：“口有蜜，腹有剑。”天宝元年（）三月，兵部侍郎卢绚垂鞭按辔，从勤政殿下经过。