甘羅來到張唐家中，問道：“你和武安君白起相比，誰的功勞更大啊?”張唐回答：“白起當年南麵攻打楚國，北麵揚威燕趙兩國，所取得的勝利和為秦國獲得的城邑不計其數，我怎麼敢和他相比呢?”甘羅接著又問道：“當年的範雎和如今的丞相相比，誰又更獨斷專行呢?”張唐回答:“範雌不如呂丞相。”甘羅這才解說局勢道:“當年應侯範雎想攻打趙國，武安君白起不同意。結果離開鹹陽城七裏就被範雎派人殺死了。如今呂丞相請你去做燕國為相，你又不同意。你還不知道要死在哪裏呢！去趙國並不一定就會喪命，但是違背丞相，你卻是死定了。“
張唐聽了嚇出一身冷汗，立刻回答道:“我聽你的話，立即整裝出行。”
張唐出發後，甘羅又對呂不韋說:“張唐如果在趙國遇到麻煩的話，也不能為丞相完成出使燕國的任務。我想先去趙國為張唐作些鋪墊。”呂不韋便為他去向當時還是秦王的始皇帝進言：“從前的名相甘茂之後甘羅，雖然年少，卻是名門之後，諸侯對他的名字都有所耳聞。這次張唐本不願出使，經他勸說後便同意了。現在他還想替張唐去趟趙國，請您準許。”
始皇帝聽說之後，召見了甘羅，覺得這個人雖然年紀不大比自己還要小幾歲，但是靠譜。便讓他以秦國使者的身份前往趙國。甘羅剛到趙國，本來趙王看他是個孩子，很是輕視與不滿，甘羅用自己的智慧的膽識獲得了趙王的認可與欽佩。他憑借三寸不爛之舌直接空手套白狼的帶回來了五座城池。秦國得到了趙國的五城後，便與燕國斷絕了來住，遣返了燕太子。趙國隨後向燕國發動了戰事並大獲全勝，得到了上穀一帶的三十座城池，趙王為了向秦國表示感謝，又將其中的十分之一即三座城池白白地送給秦國。出使一次趙國，賺回八座城池，為秦國剩下了數以萬計的兵力。
此事之後，始皇帝對甘羅非常賞識，拜甘羅為上卿(雖無丞相之權，卻有丞相的一級的傣祿待遇)，並將當年己經收繳的甘茂的宅院田地全部賞還給甘羅。
關於甘羅的卒年不詳，由於甘羅在青史上的筆墨始於十二歲，終於十二歲。開始的太早太絢爛，然後就沒了下文，人們想看的傳奇一生亦或是江郎才盡沒有看到。結局成了迷。有人甚至為滿足自己的期望編出來這樣的結局，因為觸怒了始皇，踩王妃的腳，結果被殺。這個結局十有八九是假的，那麼甘羅究竟去哪兒了呢？他那麼年輕，為什麼始皇帝統一六國時完全沒有一點關於甘羅的記載。
一說，公元前237年，呂不韋死後，秦王為驅逐呂不韋的客卿下了一道逐客令，所有非秦國國籍的人一律離開秦國。而甘羅此後則不聞於秦。
一說，公元前234年，韓非在秦被“李斯、姚賈害之”，嗣後甘羅隱退。
甘氏譜牒則記載，甘羅離開秦國隱居於下蔡。
這些說法那種是最接近真實的不得而知，不過，甘羅應該是隱居了吧。或是因為政治失意，或是因為理想與現實不符。少年成名的他沒有榮寵一生，也沒有死。他還好好的活著，不過史書認為離開了官場的他就不值得寫了，後來隱居的甘羅想明白了許多事，他已經不再是那個對著趙王說：“你到我麵前來！”的甘羅，然而他才是甘羅。