段秀實大驚失色，質問羅希：“欽差大臣胸有成竹，此行的目的就是要對付李太守。李太守剛到任不久，禦史台就來治罪，究竟有何罪責？”羅希說道：“看來你與李適之是一夥的，他已經畏罪自殺，你就跟我去一趟禦史台吧。”
李適之死後，李林甫長出一口氣，他讓羅希審理段秀實的案子，羅希審理後向他報告，他讓羅希呈報楊慎矜。楊慎矜看了段秀實的卷宗，沒有犯罪證據，構不成罪責。羅希說道：“段秀實和李適之有勾結，李相爺要處理他。”楊慎矜感到為難，想了良久，以附和上司不堅持法典之罪，將他貶到安西都護府擔任七品校尉。報告給李林甫，見段秀實的職位降了四個檔次，而且發配到邊疆。雖然沒有一棍子打死，但是這個懲罰還是很重的。他不便再提出意見，點頭同意了，與免除戶部尚書裴寬、京兆尹韓朝宗等人的職務和推薦蕭隱之為刑部尚書的奏折一起上奏唐玄宗。唐玄宗批準了，並任命楊慎矜兼戶部侍郎，主管戶部工作。楊慎矜一人占據禦史台、戶部和吏部三個重要位置。
這使得李林甫如坐針氈，整天思考的就一個問題，怎樣搞掉楊慎矜。回到家裏，夜不能入寢，他實實在在的感覺到楊慎矜對他的威脅了。李岫十分擔心，陪伴在他身邊。李林甫說道：“為父睡不安枕啊，慎矜主管禦史台兼領吏部和戶部的事務。三個重要部門的工作都做得很出色，深得皇上的信任。最令我擔心的是，慎矜過於敬業，三個部門的工作做得有條有理，皇上十分滿意，經常單獨詔見他。我已經懷疑皇上在物色宰相人選，正在考察楊慎矜，要讓他來取代我。”
李岫說道：“父親已經做了十多年的首席宰相了，楊慎矜是您的親信，讓給他總比其他人奪去了強。”“胡說八道。”李林甫說道：“如果讓我一手提拔起來的人搶了我的位置，那才不值呢？不管皇上有沒有換相的意圖，必須防範。”
李林甫走進戶部大樓，楊慎矜正在埋頭查看資料，正在審核戶部下屬部門上報的情況。戶部是朝廷管錢的部門，朝廷的開支、收入都由他掌管。而且他還兼任諸道鑄錢使，不但要主持戶部的工作，還負責貨幣發行工作。還有禦史台和吏部的工作，可說是大忙人。
李林甫推門直入，楊慎矜以為是戶部官員，沒有抬頭，專心致誌的盯著文件資料。“楊大人如此用心，早晚要進入宰相府啊。”
聽到李林甫的聲音，楊慎矜猛然抬頭，看到站在門邊的李林甫正笑眯眯的看著他，立即起身，跪在李林甫的腳下伏地說道：“慎矜參見相爺，請相爺指導工作。提出要求。”行下級晉見上級之禮。李林甫笑嘻嘻的說道：“楊大從怎麼行此大禮啊？快快請起，你工作太出色了，皇上在我麵前誇獎你呢？”
楊慎矜對李林甫十分敬佩，還想與他拉得更近，對他說道：“李丞相是我的老師，慎矜總是以老師為榜樣，工作做得好，是老師教導有方。還要請您在皇上麵前多多美言。如果得到升遷，老師的臉上也有光啊。”
楊慎矜完全不懂李林甫此行的用意，認為他是來檢查他的工作的，盡量巴結。李林甫本來就有疑心，楊慎矜的態度使他的疑心加大，此時他的內心恨不得馬上撤銷他的職務，然而他的臉麵上始終掛著笑容。
拍著他的肩膀說道：“楊大人忠於職守，兢兢業業，皇上甚是喜歡，如果朝中大臣都象楊大人這樣能幹，我這個宰相就沒事可做了。”
這一段時間，皇上經常召見楊慎矜，對他的工作充分肯定，十分相信他，使他有些飄飄然。跟著說道：“這都是皇上英明，丞相領導有方，我們這些做大臣的理應為皇上分憂，為朝廷賣力，用以謀得國家太平，百姓康樂，使天下百姓安居樂業平安無事，永保大唐盛世。”楊慎矜的態度雖然恭敬，但言語之中充滿信心。李林甫最疾恨的就是別人的自信。他的內心百折千回，要算計楊慎矜，外表上裝模作樣，臉帶微笑，顯得十分親熱。楊慎矜還以為他一直將他做為心腹，一點提防都沒有。
回到家中，李林甫在院子裏散步，他低著頭，出步緩慢，時而搖頭晃腦，時而咬牙切齒，麵部表情一陣陰一陣陽。
他的長子將作少匠李岫走到他的麵前說道：“您這樣日夜操勞，太辛苦了。”“唉，”李林甫歎氣說道：“伴君如伴虎，現在已經騎上了虎背，不操勞不行啊。”
李岫說道：“您這樣整天與人作對，得罪的人太多，將來不好收場啊，有些事不能做得太絕。現在這院子就不太安寧了，如果沒有護衛，恐怕早已出事了。而且您隻顧順從皇上的心意，與太子作對。一旦皇上晏駕，太子登基，我們李府就要遭殃了。您還是應該與太子搞好關係，該作讓步的就退一步，您已經老了，可以培同皇上，有皇上保護你。但是這大唐的將來是太子的，到那時候，我們將來怎麼辦？”
李林甫瞪了李岫一眼說道：“這些事我不是沒想過，但眼前的事太多，隻有先將眼下的事弄好了，才能計劃將來。”轉身向書房走去。李岫為了自己的未來，緊跟在他的身後。