曾國藩聞畢頓憂，沉思半天才說：“然則當南遷乎？”曾國藩認為清王朝並不會完全被推翻，有可能與中國曆史上多次出現的政權南遷、南北分治、維持“半壁江山”的王朝一樣。
趙烈文明確回答說：“恐遂陸沉，未必能效晉、宋也。”他認為，清政府已不可能像東晉、南宋那樣南遷偏安一隅，恐將徹底滅亡。
曾國藩反駁說：“本朝君德正，或不至此。”
趙烈文接著回答道：“君德正矣，而國勢之隆，食報已不為不厚。國初創業太易，誅戮太重，所以有天下者太巧。天道難知，善惡不相掩，後君之德澤，未足恃也。”趙烈文在談話中否定了清王朝“得天下”的道德合法性。清軍因明亡於李闖、吳三桂因紅顏一怒大開城門而入關，所以“創業太易”；入關後為震懾人數遠遠多於自己的漢人而大開殺戒，如“揚州十日”、“嘉定三屠”，所以“誅戮太重”，這兩點決定了清王朝統治缺乏“合法性”。而清王朝後來的君王康、乾、嘉的“君德”固然十分純正，但善與惡並不互相掩蓋彌補，何況“天道”已給他們帶來了文治武功的“盛世”作為十分豐厚的報答，因此這些後來君主們的“德澤”並不能抵消清王朝“開國”時的無道，仍不足補償其統治的合法性匱缺。
趙烈文從清王朝得天下的偶然性和殘暴性這兩點否定其統治的合法性，頗具政治眼光。對於趙烈文這番鞭辟入裏的言論，曾國藩又陷入了深深的沉思，似有所悟。
大江東去，老去了多少英雄。曾國藩、趙烈文分別於1872和1894年去世。曆史驚人準確地見證了趙烈文的預言，氣數已盡的清王朝終於在1911年土崩瓦解，距1867年預言它不出五十年就徹底垮台正好44年；而且，接踵而來的也是趙烈文所預言的長期“方州無主，人自為政”，即軍閥割據的混亂局麵。
人事有代謝，江山留勝跡。趙烈文當年所住過的趙園尚存，位於江蘇常熟市古城區西南隅的明代錢氏“小輞川”遺址。清嘉慶、道光間，吳峻基築水壺園，又名水吾園。同治、光緒年間為趙烈文退養故裏之後購得並增建，人稱“趙園”、“趙吾園”，為江南古典名園之一。