而在其一生輔助劉邦稱帝的基業中，最出名的莫過於下邑奇謀了。據記載，前205年春，劉邦接連收降常山王張耳、河南王申陽、韓王昌、魏王豹和殷王卬五個諸侯，得兵56萬。同年四月，劉邦乘項羽集中力量攻打田榮之機，率兵伐楚。直搗楚都彭城。攻占彭城後，劉邦被這輕而易舉得到的勝利衝昏了頭腦，不但沒有采取恰當的政治、經濟措施，安撫此地，贏得人心，反而惡習複發，得意忘形之餘大肆收集財寶、美女，整日置酒宴會，結果給項羽回軍解救贏得了時機。項羽聞知彭城失陷，立即親率3萬精兵，從小路火速趕回，急救彭城。劉邦數十萬烏合之師難以協調指揮，連糧餉都籌備不齊，所以一經接戰，便遭慘敗，幾乎全軍覆沒。至此，許多諸侯王又望風轉舵，紛紛背漢向楚，劉邦丟下老父、妻子、兒女，隻帶張良籌數十騎狼狽出逃，軍事上再度遭受重大挫折，大好的形勢複又逆轉。
劉邦狼狽逃至下邑，驚魂未定，心灰意冷，萬念俱灰。他沮喪地對群臣說：“關東地區我不要了，誰能立功破楚，我就把關東平分給他。你們看誰行？”在此兵敗危亡之際，又是張良匠心獨運，為劉邦想出了一個利用矛盾、聯兵破楚的策略。他說：“九江王英布，是楚國的猛將，現在與項羽有了隔閡；彭城之戰，項羽令其相助，他卻按兵不動。項羽對他頗為怨恨，多次派使者責之以罪；彭越因項羽分封諸侯時，沒有受封，早對項羽懷有不滿，而且田榮反楚時曾聯絡彭越造反，為此項羽曾令肖公角攻伐他，結果未成。這二人可以利用。另外，漢王手下的將領，隻有韓信可以委托大事，獨當一麵。大王如果能用好這三個人，那麼楚可破也。”這就是著名的“下邑之謀”。
劉邦聽罷，認為這確是一個以弱製強的妙計，於是派舌辯名臣隋何前往九江，策反九江王英布；接著又遣使聯絡彭越；同時，再委派韓信率兵北擊燕、趙等地，發展壯大漢軍力量，迂回包抄楚軍。
“下邑之謀”雖然不是全麵的戰略計劃，但它構成了劉邦關於楚漢戰場計劃的重要內容。正是在張良的謀劃下，一個內外聯合共擊項羽的軍事聯盟終於形成，扭轉了楚漢戰爭的局勢，使劉邦由戰略防禦轉為戰略進攻。事實證明了張良“下邑之謀”的深謀遠慮，最後兵圍垓下打敗項羽，主要依靠的正是這三支軍事力量……而在劉邦打敗項羽，稱帝高祖之後，張良便多次托辭多病，閉門不出。隨著劉邦皇位的漸次穩固，張良逐步從“帝者師”退居“帝者賓”的地位，遵循著可有可無、時進時止的處事原則。在漢初劉邦翦滅異姓王的殘酷鬥爭中，張良極少參與謀劃。在西漢皇室的明爭暗鬥中，張良也恪守“疏不間親”的遺訓，深悟“狡兔死，走狗烹；飛鳥盡，良弓藏；敵國破，謀臣亡”的哲理，懼怕既得利益的複失，又害怕韓信等人的命運落到自己身上，遂自請告退，退隱黃袍山。
據記載，其在退隱黃袍山期間曾修建“良山道觀”，在道觀不遠處創辦“伐桂書院”，以授當地孩子文字。《仙傳抬遺》裏則記載其曾遇黃石公授書，讀後便能應機權變，輔佐漢高祖劉邦平定天下。還以此修之於身，能煉氣絕粒，輕身羽化。與綺裏季、東園公、甪裏先生、夏黃公，為雲霞之交。後解形於世，葬龍首原。赤眉軍起義，有人發其墓，但見黃石枕，化而飛去，不見其屍形衣冠，得《素書》一篇及《兵略》數章，被後世道門中人稱為“淩虛真人”，而其八世孫張道陵，亦是道界名人，被後人稱為張天師。