楊堅很生氣，狠狠的批評了大臣們，同時對楊勇加以指責。慢慢的，隨著楊堅對楊勇不滿的升級，朝臣們嗅出了一點不好的味道，這太子，怕是要換人了。可是換誰呢？老大倒了，人們的目光自然就轉向了老二楊廣的身上。
身在揚州的楊廣每年都會回一次長安，加之其也有一些關係不錯的朋友在朝中任職，因此對這個消息也是很快便收到了。當時的楊廣很猶豫，一方麵他對於現在的生活狀況很是滿意，另一方麵成為一言定萬人生死的皇帝確實也非常有吸引力。就在他不知如何是好的時候，手下的愛將張衡說話了，說了很短但是很有道理的一句話：“您聽到了這個消息，太子想必也聽到了，您認為他會放過你嗎？”
一語驚醒夢中人，楊廣這才發現自己早已是騎虎難下了。楊勇若是平穩的由太子成為皇帝，按照他們的血緣關係（都是一母所生），自己肯定是性命無憂的，但若中間出了狀況，或他們幾兄弟相互爭搶，再或是老大楊勇放手一搏弑父篡位，那他的命運就可想而知了，曆史已經給出了我們太多過程不一結果卻驚人相似的答案。
此時不動，更待何時。做出決定的楊廣沒有一絲婆婆媽媽的猶豫，在略做準備之後，便踏上了去往長安的馬車，向著他心中的理想飛奔而去。一路上，這些年來早已消磨一空的雄心壯誌如同放電影般在他的腦海中反複播放，自己到底想要什麼樣的生活？經過一番苦思，楊廣得出了結論：是建功立業，我要當皇帝，要成為功勳澤及萬代的千古一帝。
楊廣回到了長安，然而此時的長安早已不是當年伐陳時的那個長安，此時的長安城牆早已雜草叢生，有一種搖搖欲墜的感覺。
“你太疑心病，問東又問西，問個問題急的你，緊張兮兮。”徐懷鈺的這首《疑心病》充分向人們展現出了隋文帝楊堅在開皇二十年（600）的心理狀態，他確實如歌中所唱，有了很嚴重的疑心病。
時光飛逝，歲月無情，此時距楊堅登基稱帝已經過去了整整二十年，他已由一個正當壯年頭腦清晰的北周大將軍變為了一個白發斑斑倔強固執的小老頭。楊堅老了，獨孤氏也老了，世上沒有不老的男男女女，隻是男人隨著年齡的增加話是越來越少，而女人則隨著年齡的增加話是越來越多，同時增多的還有流淚的次數。若是說老年男女有什麼共同點的話，那就是疑心病會越來越重。
放到尋常百姓家中，一個人有了疑心病，不外乎就是今天懷疑東家老王是不是偷了自己一把米，明天懷疑西家老李是不是拿了自己一塊磚，沒什麼大不了事情，街坊鄰居們看了也就當看了場笑話，為枯燥乏味的生活解解悶。可是楊堅不同，他是皇帝，他疑心的可不是誰偷了他家的大米，而是懷疑誰要搶他的江山。
老年皇帝大都有疑心病，自古以來便是這樣。可是楊堅不是一般的皇帝，他是靠著謀反從而成功上位的皇帝，往往這種皇帝的疑心病更重一些，“以小人之心度君子之腹”說的就是他這樣的一類人。他靠著篡位當了皇帝，總是覺得別人也像他那樣總是惦記著自己屁股底下的位子。加之開皇六年（586）八月，同為關隴集團勳貴的舒國公劉昉和另外兩位國公，確實趁著酒勁說了些謀朝篡位之類的大逆不道的話語，這就使楊堅更加肯定了自己對現今局勢的看法：大隋內部有著一批狼子野心的右傾力量，他們無時無刻不在準備著顛覆現有政權，建立起以他們為代表的法西斯專政，國家危險了，極有可能出現曆史的倒退，甚至會由好不容易發展到的封建社會退化回奴隸社會。
楊堅很害怕，他天天在想，到底誰是右傾分子呢？
看看廣平王楊雄，“恩，像，長的就是一張造反的臉。”
再看看宰相蘇威，“恩，更像，油腔滑調的，非奸即盜。”