經曆了差不多一年的等待，秦王嬴政親眼目睹了回到河南領地的呂不韋勢力急速膨脹，心甘情願為呂氏舍命效勞的賓客、謀士多得不計其數。各國聽說文信侯已經就國，都派來使者探望，爭相請他當相國，來來往往使者絡繹不絕。秦王擔心他為其他國家效力，成為秦國的禍害。
深藏不露、善於運用策略的秦王嬴政終於下決心除掉這一禍根，此時也顧不得他是不是自己的親生父親！一天，呂不韋正在封地的邸宅內與眾賓客討論，忽然仆人報告：秦王從國都派來的傳令使者已經到了府門前了。呂不韋趕緊到門前迎接，雙手接過三尺竹簡，除掉封泥，隻見簡上寫道：
“君對秦有什麼功勞，卻被封戶十萬？君對秦有什麼親屬關係，卻有一個尚父稱號？秦對你已經夠豐厚了！叛逆，是由你開始的，寡人不忍心誅殺，聽君就國。君不自己悔過，反而去跟各個諸侯使者來往，這不是我原想寬恕你的意向。你馬上舉家遷到蜀郡，我送你一個郫城，可以給你養老用了。”呂不韋接書讀完，生氣說：“我傾家蕩產扶立先王，功勞還不歸我？太後先跟從我而得孕，王是我生的，難道還不親？王為何這麼辜負我！”
而當時秦王嬴政為何“不忍”將呂不韋處死，一是因為他“功大”,二是因為他與秦王嬴政有特殊的關係。但這詔書中，秦王一口把呂不韋的“功”和“親”都一概給推翻了，一個既無功又與秦王不沾親的人，怎有資格號稱“仲父”,又擁有洛陽十萬戶，這豈不是罪不可恕嗎！命令他遷蜀真是抬舉他了。
依照秦王嬴政的性格，如果要處理一個免官的大臣，根本不用說明什麼理由，更不用費盡心思大張旗鼓地宣布其罪狀，但對呂不韋卻特別地詔告天下：呂氏與秦廷“無功”、“無親”而霸占高位。這不正好從反麵反映出呂不韋對秦的貢獻和與秦王嬴政關係非同尋常嗎？要不然，他沒有必要極力否認。
風光一生的呂不韋最終清楚：自己的政治生命已經結束了，無法逆轉。既然由自己親手扶立的親生子對自己運用這樣的手段，一切挽救的辦法都已沒有用了。於是，他乖乖聽從秦王命令，按時帶領家屬風塵仆仆行向通往蜀地的艱難旅途。
從中原的黃土地，途經關中沃土，爬上崎嶇難走的蜀道山路，終於到達指定的流放地點。呂不韋在遭遇一次次厄運的挫敗後，早已銳氣喪盡，意誌磨光。一副孱弱的身軀，心中隻剩下一絲苟延生命的可憐欲望。他在數千裏爬山涉水的艱苦旅程中，往日邯鄲覓寶的成功，秦宮遊說的告捷，把持秦國相印的威風，以及在姬妾、王後帳中的甜蜜，一定會常存腦海。此時，往事煙散，他感到人生之無常。一個平凡的商人忽而成為不可一世的大國丞相，又忽而變成階下囚。誰又想像出這前後的變化不過是二十幾年的時間。當年，作為一個平凡商人，呂不韋盼望著攫取暴利，當曆盡艱辛，爬上秦國權力頂峰的時候，根本不會料到日後會淪落為欲求當一名平凡商人而不能的日子。
呂不韋歎惜著自己冤屈的命運，鬱鬱寡歡地在蜀地住下來。但他的厄運還沒有結束，秦王嬴政還沒有停止對他的監控。在呂不韋居住的地方，常常有官府派來的人秘密盯梢或公開盤察，使呂不韋如芒刺在背，生活不得安寧。
在中國曆史上，呂不韋論名氣，比不上那些功名顯赫的帝王，如秦始皇、漢武帝；也比不上一代賢相諸葛亮。在人們心目中，呂不韋是一個備受爭議的人物，甚至用一兩句話都很難把他說清楚。但是，如果把呂不韋放到他生活的戰國時代去考察，就會發現，呂不韋其實是一個對中國曆史的發展有貢獻的人。他的一生，有閃光點，也有陰暗麵，有功，也有過。