就在辛棄疾苦苦勸告韓侂胄不要輕易興兵的當口，禍事終於發生了，而且竟是當初陸遊的擔憂：宋寧宗開禧元年（1205）三月，全國上下都在加緊備戰之際，朝廷忽然將兵刃揮向了忙碌在最前線的辛棄疾，一個通值郎因不法事被嚴肅查處。作為他的推薦人，辛棄疾被迫擔負“謬舉”（即錯誤推薦）的責任，連降兩級成為朝散大夫，返回臨安思過。六月，韓侂胄再次一紙調令，把辛棄疾發往他曾經生活戰鬥過的老地方——隆興府。
辛棄疾徹底憤怒了，但不是因為朝廷對自己忽冷忽熱的態度：他經營鎮江不過15個月，各項計劃都還停留在籌備階段；工作尚未鋪開就隨便將前線官員調離，根本就是不負責任的官僚行徑，更直接導致辛棄疾在鎮江的全部心血化作流水。他真的不明白，讓朝廷真心實意地相信一個“歸正人”，究竟是有多難的事情？
憤怒很快化作流言，流言很快變成事實。還沒等辛棄疾調整好情緒前往隆興府就職，就又有言官跳出來，指責他好色、斂財、濫施酷刑。小醜似的辱罵既令人憤慨，更讓辛棄疾難以忍受。這樣的指責幾乎伴隨了他30年，卻害得他失去了近20年的大好時光！他再也不想解釋什麼，也不願再寄希望於任何人。他已然看得真真切切，高臥在臨安城的那位韓相公，不過是個玩弄權術的小人；他從來都沒有真心想要收複中原，隻想利用辛棄疾這麵旗幟招攬人心。現在人心聚齊了，韓相公的聲威正逼近頂點，成了淩駕於丞相之上的“平章軍國事”。失去利用價值的辛棄疾卻還在阻撓大宋開戰。既然如此，這個燙手山芋留著還有什麼用呢？丟掉算了！
七月初五，罷官製書傳來，照例把衝佑觀奉祠外的官職剝得幹幹淨淨。辛棄疾懶得看那篇對自己大放厥詞的東西，當即收拾衣裝返回瓢泉。歸鄉路上，義憤填膺之餘，他專門填詞痛罵亂國的韓侂胄，說他“鄭賈正應求死鼠，葉公豈是真好龍”。這一次，辛棄疾真的是被傷透心了。
傷心的結果，就是心死如燈滅。
同樣看出韓侂胄騙局的還有水心先生葉適。葉適是堅定的主戰派，韓侂胄上台後就任命他為工部侍郎。葉適起初滿心歡喜，卻發現韓氏備戰幾同兒戲，完全不考慮後果。於是他極力勸阻朝廷開戰，甚至拒絕為趙擴起草開戰詔書，結果同樣遭到了韓侂胄的冷落。這些事都盡收辛棄疾的眼底，幹脆鐵了心住在瓢泉，再也不管北伐的事情，連半年後朝廷再次命他回紹興當安撫使的任命，辛棄疾也不予考慮。
宋寧宗開禧二年（1206）四月，大宋不宣而戰，全線襲擊金國邊防，猝不及防的金軍被打得暉頭轉向，被迫節節敗退。五月，趙擴正式下詔，宣布討伐金國。邸報傳來，江南上下歡欣鼓舞，振臂歡呼。韓侂胄也揚揚得意，以為勝券在握。
然而正在這時，局勢突然發生逆轉。金人本就兵強馬壯，虎視南朝，大宋大張旗鼓準備戰事的行為根本逃不過他們的眼睛，因此早就做好了準備。初期遇挫不久，金人就有條不紊地開始回擊宋軍。而大宋這邊，朝廷急功近利，韓侂胄又壓根兒不懂軍事，一旦兵敗就當場撤換將領，犯下大忌；加之四川方麵的將領突然叛變，宋軍不久就陷入被動之中。金軍則越戰越勇，相繼攻克真州（儀征）、揚州等地，把宋軍逼入絕境，最終大敗而還，全數退回江南。