劉備急忙回軍來救，但將士的家屬都在呂布手上，軍心浮動，當他到達下邳時，隻剩下少量人馬。無奈之下，劉備回頭再與袁術交戰，結果又吃了敗仗。在軍糧耗盡、走投無路之際，劉備和張飛隻好暫時向呂布投降。此時，袁術食言，拒絕給呂布援助軍糧，呂布為此十分生氣，於是接受了劉備的投降。隨後呂布把劉備妻小還給了他，劉備收拾了殘兵敗卒後，駐兵小沛（今江蘇沛縣）。
劉備駐紮在小沛，立刻招兵買馬，積草屯糧，不久就將軍隊擴充到萬餘人。然而，呂布把劉備看成是眼中釘，覺得不除掉劉備會不得安寧。於是在建安三年（198），呂布再次和袁術合作攻擊劉備，劉備再一次大敗，無奈之下投奔了曹操。曹操親自率領大軍征討呂布，在下邳城擒殺呂布，然後回師許都，劉備帶張飛隨同入朝，曹操則任命張飛為中郎將。
屢立戰功刑殺禍身
不久，劉備又離開曹操，依附了袁紹，繼而又投靠了劉表。劉表去世，曹操進入荊州，劉備攜民渡江。曹操親率3000精騎晝夜趲行300裏，在當陽長阪（今湖北當陽縣東北）追上了劉備。劉備命張飛率20名騎兵斷後，阻擋追來的曹軍，自己扔下妻兒逃跑。張飛等劉備率眾過河後，就單人匹馬站立橋頭等待追兵。曹操追兵潮水般湧來，見張飛圓睜環眼，手操蛇矛，都不敢靠近。張飛見敵兵到來，就厲聲大喝：“我乃燕人張益德，誰敢與我決一死戰？”聲若巨雷。曹軍聞之，都嚇得魂飛天外，無一人敢上前交戰，於是退兵了事。
劉備平定江南地區後，任命張飛為宜都太守、征虜將軍，封新亭侯。後來，又調任南郡。
建安十九年（214），諸葛亮留關羽守荊州，帶張飛、趙雲分兵向西攻打劉璋。張飛一路平定沿途郡縣，進軍到江州城下。
巴郡太守嚴顏智勇雙全，他依仗險要的地勢，並嚴加守備，對抗張飛。張飛巧運計謀，大敗嚴顏，並將他擒獲。張飛大聲嗬斥嚴顏為何抵抗大軍拒不投降，嚴顏全無懼色，厲聲回叱張飛：“你們不講信義，侵奪我方州郡。我益州隻有斷頭將軍，沒有投降的將軍！”張飛聞言暴跳如雷，喝令左右將嚴顏推出斬首。嚴顏麵容不改，神色自若。張飛見狀不禁佩服嚴顏的勇氣，親自為他解開繩索，並把他當成座上賓，嚴顏於是投降了張飛。
張降服嚴顏之後，一路進軍順利，攻無不克，與劉備會師於成都。劉備封其為巴西太守。
215年，曹操大敗張魯後回師。命夏侯淵、張郃留守漢川。張郃率領大軍南下巴西，進軍宕渠、蒙頭、蕩石，與張飛對峙50餘日。張飛見長期對峙也不是取勝的辦法，便率精兵萬人，施計將張郃引入山道之中交戰，山道狹窄，張郃的軍隊前後不得相救，被殺得丟盔棄甲。張郃隻得棄馬，與僅僅10餘人從小路而逃，敗回南鄭。219年，劉備為漢中王，拜張飛為右將軍、假節。221年，張飛官拜車騎將軍，領司隸校尉，進封西鄉侯。
張飛性情暴躁，經常打罵士卒。劉備曾多次告誡張飛，說他這樣鞭打士卒，又讓他們在左右侍衛，就是在為自己製造禍端。但張飛不聽，依然我行我素。
221年六月，劉備為關羽報仇，兵征東吳。讓張飛率萬人從閬中會於江州。張飛尚未出發，他手下的將軍張達、範強就將其殺死，持其首級投奔了東吳。