崔子陵開元十四年四月，宇文融和李林甫等人彈劾張說，張說被罷相，張九齡也受牽連，張九齡改任太常少卿。崔子陵知道歷史的定數(shù)無法改變，李林甫這個小人遲早要登上相位，所以向李隆基遞交了辭呈，希望罷官歸隱。李隆基沒有批準，只是授予了他特進、同中書門下平章事的二品閑職，也讓他有了更多的時間可以在家里陪著家人。
這一天府里來了兩個客人一大一小、一男一女，男的是楊麗的三哥楊玄璬，現(xiàn)任河南府土曹。小女孩是楊麗二哥前任蜀州司戶楊玄琰的女兒楊玉奴，因楊玄琰在蜀州病逝，所以才來洛陽投奔三叔楊玄璬。到了洛陽之后，楊玄璬特意帶著楊玉奴來看望姑父崔子陵。雖然楊麗只是崔子陵的小妾，但崔子陵來自于現(xiàn)代，并無嫡庶觀念，熱情的招待了兩人。尤其是這個小姑娘長的眉清目秀甚是可愛，崔子陵拿出了許多糖果招待這位妻侄女。當聽說小姑娘父母雙亡、無依無靠之時，當即又拿出數(shù)千兩銀子交給楊玄璬讓他好好撫養(yǎng)這個相貌十分好看、又乖巧懂事的侄女。此刻讓他沒想到的是這個楊玉奴就后世被廣為流傳的四大美人之一的楊玉環(huán)！
開元二十年，侍中裴光庭病逝。裴光庭死后，武慧兒就成了寡婦，她為了保持自己在朝中的影響力就向高力士提出請求，希望他能推薦李林甫接任宰相，高力士卻未敢答應。唐玄宗因中書令蕭嵩的舉薦，任命尚書右丞韓休為侍中。高力士將這個消息泄露給了武慧兒，讓李林甫提前告訴韓休。韓休拜相后，與蕭嵩不和，卻對李林甫非常感激，便推薦李林甫，認為他有宰相之才。武惠妃也暗中相助，李林甫因此被授為黃門侍郎。
開元二十一年，李林甫被拜為禮部尚書、同中書門下三品，加銀青光祿大夫，與侍中裴耀卿、中書令張九齡一同擔任宰相，后又歷任戶部尚書、兵部尚書。當時，太子李瑛、鄂王李瑤、光王李琚皆因母親失寵而有所怨言，被駙馬都尉楊洄告知給了武惠妃，武惠妃又向玄宗哭訴。玄宗大怒，與宰相商議，欲廢黜三子。張九齡極力勸阻，表示不敢奉詔執(zhí)行。李林甫當面一言不發(fā)，退朝后卻私下對宦官道：“此乃天子家事，何必與外人商議?！?p> 以前李林甫與武慧兒私會都是在暗中進行，因為他既怕被裴光庭知道，也怕被崔子陵知道，畢竟這兩人都是他得罪不起的?？涩F(xiàn)在不同了，他在朝中已經成為了宰相，而且內還有武惠妃撐腰，再加上武慧兒名正言順的丈夫裴光庭已經死了，他再也不用顧忌什么了！
這天他到裴府找武慧兒，由于他經常到裴府來，裴府的下人自然也沒人阻攔。當他走到武慧兒寢室外面之時，就聽見里面有竊竊私語的聲音。出于好奇他并沒有推門而入，而是偷偷的躲在窗戶外面打量里面的動靜。他用手指將窗綾紙點了個小洞向里觀瞧，這一看不要緊，當時就氣的七竅生煙。原來是崔子陵與武慧兒兩人衣衫不整的躺在一起，不用想也知道剛剛做過什么。尤其是武慧兒在崔子陵面前的那種低眉順眼的姿態(tài)，堅直與和自己在一起時判若兩人，不由的讓李林甫醋意大發(fā)！本來還打算過來與武慧兒溫存一番的李林甫知道，這武慧兒剛剛才與崔子陵有過魚水之歡，等崔子陵走后，就算是自己不嫌棄，她肯定也沒什么精力與意愿再與自己溫存，所以只好悻悻然的離開了！
走在路上李林甫就在想，要想真正獨占武慧兒，只能是先除掉崔子陵，否則以武慧兒在崔子陵面前的表現(xiàn)來看，在武慧兒心中崔子陵的份量肯定比自己重的多！
回到府里之后，李林甫開始讓人搜集崔子陵當初與太平公主交往的證據(jù)。因為他知道要想扳倒崔子陵，必定得為他戴上謀逆的大罪，否則以博陵崔氏的名望，并不容易輕易扳倒。
雖然事隔多年，李林甫仍探聽到了在先天政變之前，崔子陵與太平公主曾在城南的清涼寺偷偷相會過。就算他們之間偷偷私會只是為了私情，但被說成是密謀也十分可信，何況當初薛稷僅僅是因為知情不報就被賜死了呢。畢竟謀逆對于任何帝王而言都是不能容忍的，就連至親骨肉也不行！