高熲的夫人死了，這本是他的家事。獨孤皇後裝作很關心的樣子對文帝說：“高仆射年歲已高，死掉了夫人，皇上你應該幫他再娶一位。”文帝將皇後的話轉告高熲，高熲婉言謝絕說：“我現在歲數大了，退朝以後，隻是坐在書齋裏讀讀佛經罷了。皇上您很愛惜我，至於娶妻之事，我還沒有這個打算。”事情說過也就算了。可是不久，高熲的一個愛妾生了男孩，消息傳到宮內，文帝很是高興，但皇後卻不然，她表現出很生氣的樣子。文帝不了解皇後的心意，就問她為什麼不高興？皇後說：
“你還信任高熲嗎？你要為他娶妻，他卻心存愛妾，當麵欺騙你。現在他的欺詐已經敗露，怎麼還能夠信任他呢！”從此文帝對高熲就更加疏遠了。這無疑影響了高熲的政治地位。但高熲是一個耿直並且胸襟豁達的人，他沒有因為被疏遠，就明哲保身了。
到了開皇十八年（598年），文帝想出兵遼東，高熲在分析了形勢後，堅決反對出戰。但文帝堅持要打，並派高熲為事實上主帥，楊諒為名義上主帥，高熲隻好服從。在作戰的過程中，高熲出於負責的態度，對楊諒的主張往往不予采納，把這個皇子氣得要命。楊諒恨透了高熲，回京後在皇後麵前告他的狀，說萬幸沒被高熲殺掉。文帝沒有調查分析，就對高熲有了成見。後來，涼州總管王世積有個親信犯了法，逃到王世積那兒，王世積沒收留他，結果這個人被捕受了罰。這個親信懷恨在心，反而誣告王世積謀反，王世積便被處決了。據說，在審理王世積案時，涉及到了一些宮中的事，而且這些事是從高熲那裏得到的。結果事情越鬧越大。當朝大臣賀若弼等人聯合為高熲申辯，文帝因為上次的事不但不聽大臣們的辯解，反而將他們與高熲一起予以法辦。高熲被免官，帶了個齊公的虛銜回家閑居。之後，投井下石的事情便接踵而至。齊公國內的官員報告說：“高熲的兒子對高熲說：‘司馬懿假托有病，不上朝，結果取得了天下。您現在與他遭遇相似，怎麼知道不是一件好事呢？’”於是高熲就被抓了起來。接著又有人報告說，有個和尚對高熲說：“明年皇帝要死。”有一個尼姑對高熲說：“開皇十七、十八年，皇帝有大災難，十九年無論如何過不去。”這就更不得了了。這時甚至有人建議文帝將高熲殺掉。文帝怕遭到反對，不敢這樣做，便將高熲削職為民。可高熲為人胸襟開闊，他不但不怨恨，反而感到很高興，覺得自己的官職已經做得太大了，如果再做下去難免會被砍頭。當然，有人說高熲有這樣的想法是他母親的見識，在他剛做宰相時他的母親便告誡他：“你的富貴已經到頭了，剩下的就是砍頭了。”但我們分析高熲的才能與為人，極有可能是高熲已經意識到了自己的處境不再是當初輔佐文帝時的境況了，自己對文帝可能沒有什麼用處了，所以借機全身而退反而是上策。自始至終，我們沒有看出高熲對於文帝的不滿與怨恨。如果不是出於對楊堅的忠誠，又怎麼會是這種態度呢？一個開國元勳，並且曾經救楊堅於危難之際，立下了汗馬功勞的人，能做到這點，真是難得呀！
高熲不隻是對楊堅十分忠誠，對煬帝楊廣也是克盡臣道，見有不對的地方，就直言不諱。比如在煬帝喜歡音樂這件事情上，高熲就堅決反對。煬帝想要向突厥人炫耀，他命令宇文愷製作可以容納幾千人的大帳。等到初七這天，煬帝來到設於城東的大帳，備好儀仗侍衛，宴請啟民可汗及其部屬，宴間演出散樂。各方部落的胡人都驚異歡悅，爭著進獻牛羊駝馬幾千萬頭。煬帝便賜給啟民可汗帛二千萬段，啟民的部屬按等級都有不同的賞賜。煬帝又賜給啟民可汗輅車與坐騎，鼓樂幡旗等儀仗，特許他朝拜時不必唱名，其地位在諸侯王以上。煬帝還下令征召全國的散樂藝人。身為太常卿的高熲（煬帝即位後啟用高熲為太常卿）勸阻，煬帝根本不聽他的。
高熲退下來後對太常丞李懿說：“北周的天元帝（注：即宣帝宇文贇，在位時窮奢極欲。）因為好樂而亡國，殷鑒並不遠，怎麼可以再重複呢？”高熲又認為煬帝對啟民可汗的待遇過厚，對太府卿何稠說：“這個胡虜很清楚中國的虛實，山川的險易，恐怕會成為後患。”他又對觀王楊雄說：“近來朝廷太無綱紀了。”禮部尚書宇文私下對高熲說：“天元帝的奢侈，以今天的情況與之比較，也不算太過分吧？”這些話都被人報告了煬帝。