天寶五年春，正月十三日，詔以隴右節度使皇甫惟明兼河西節度使，入朝任鴻瀘卿。施行之下傳至洮郡，鹹直公主於京中傳來消息，可能與已不利，李揚更是小心從事，任何事務皆不敢張口，隻做了個啞巴司馬。
過幾日，楊釗又至書中安慰道：“妹婿不必小心，過幾日便好。”果然二十三日，又傳消息，至尊因皇甫惟明與韋堅結朋黨密謀他事，下製書責韋堅謀求上位官職，存有野心，貶為縉雲太守；皇甫惟明為挑撥離間君臣之間的關係，貶為播川太守。一時朝中大嘩，人人皆是寒栗。
李揚回想楊釗之書中所說，便是歎了一聲，私於妻楊氏小荷道：“朝中風雲莫測，實是心寒。”便生了歸隱之意。
月底，留於長安宅中的劉五遣人送書，將此事說透，原因也簡單，不過是權勢相爭罷了。太子享與李林甫暗中不睦，本來他是想立壽王而陛下改為忠王，這便恐日後有不利，便日日想廢之。這皇甫惟明、韋堅又與太子善，加之皇甫惟明入朝後曾勸至尊，‘林甫專權，恐為大唐之禍，不如改為刑部尚書韋堅代之。’早已收買至尊身邊左右的李林甫隔日聞之，心中大惡。遂今禦史中丞楊慎矜密查其所動向，以圖把柄。十五之夜，太子行遊，私會韋堅，而韋堅又不愛自身，轉而密會皇甫惟明於景龍觀。楊慎矜次日上書至尊，言其為太子親戚之人，不該與邊將狎混。二人之間行跡鬼魅，是否存有不當。至尊疑之，李林甫又使禦史中丞王鉷上奏道，陛下，曆來邊將與國戚交通，不外乎謀權二字。但韋堅為太子親，這恐怕是否對陛下有不利之圖。李隆基這才大怒，朝責韋堅與皇甫惟明為逆，令兵部銓曹案中之能手京兆府法曹吉溫審其事。韋堅、皇甫惟明知事關太子，便咬牙不屈李林甫之意，吉溫也是束手。但至尊心中早已有了別樣的想法，大抵是敲打太子，便是下製書戒百官，貶二人（摘改自資治通卷二百一十五）。
這讓李揚心中更感恐慌，疾書於國公宅呈李林甫道：“政見不同，可攏之。此事天下人知，恐損嶽父大人聲譽！”。李林甫未回，但李岫卻是回書道：“子仁如表字，心為仁，但朝中之事，恐不是你我之人所能左右，也非是和氣一團之像。子仁，稍安勿燥。”
李揚接書，半響未言，輕輕的拍於案上，用手指猛然扣住死死團成一團，扔於角落之間。
隴右、河西不可一日無主政之人，二月，製下授朔方、河東節度使王忠嗣兼隴右、河西二節度使，一人執四節，軍傾天下！
三月王方鎮入主鄯郡，李揚拜之，皆是舊識談說甚歡，言之安心為官，至尊心中常念子仁之語，這讓李揚心中湧出一些暖意。
月末，妾室李氏柳葉兒房中冬梅聞喜，小荷以奴婢不得亂老爺之血脈為由，今其墮胎。血崩之下，冬梅差些喪命，但身子已損，不能再孕。知其事後，冬梅精神便是恍惚，常有瘋癲之舉動，安史之亂時走失再無音信，這今小荷心中自責不已，遂放開禁製。此後秋娘、夏蓮、春桃、春月、梅子皆是生子女，卻未立妾，以家中之人得以善終。
四月，契丹、奚平叛，至尊封故去燕國公李娑固為昭信王，其婿薊郡公李楷洛為恭仁王，各為二族之主，以楷洛子李光弼為左清率府中郎將兼安北都護，充赤水軍使。又下製書於洮郡，因李揚之妾李氏婦道貞德，為昭信王之後，特再為清和縣君。洮州都督府司馬李揚遷中書舍人押刑部事，複為清徐縣開國男。
未及楊釗來書笑稱，皆是貴妃之功，回京勿忘來拜。
接製書後，李揚宅中頓時起伏，妾室楊太真飛揚起來，仗貴妃勢處處壓眾妾一頭。事及正妻之利益，被小荷正以家法方是好了些。是夜敘與李揚，婉轉承歡討了歡心，又諂朵兒之壞。李揚不知情，依言二日辰責張氏，朵兒氣不過，尋太真理論反被其嗆之。朵兒一怒之下，掌摑其臉，太真不甘受辱與之破口，驚動眾女。小荷又執家法將此事壓下，而不與李揚說過，但二女之間怨氣卻是濃生，至死時後輩依言分葬於李揚之左右二穴中，雲中之人皆稱二妒美人塚。尤其今人稱道的是，朵兒這邊起一樹頭朝左，太真那邊起一樹頭朝右，真是讓人歎道不已。