幾年過去了，鄧當去世。張昭推薦呂蒙接替鄧當的職務，任別部司馬。孫權上台後，為了使部隊建置合理化，打算合並一些小的隊伍。呂蒙資曆不夠，力量小，也在被考慮合並之列。為了避免被人吞掉，呂蒙在孫權檢閱前，特意籌款為軍士置辦了一套全新裝束，力圖使隊伍看起來整齊劃一，士氣旺盛。孫權檢閱時，他又讓士兵在炎炎烈日下堅持操練，毫不鬆懈。孫權在此之前見到的隊伍還沒有這麼朝氣勃發的，呂蒙的部隊讓他耳目一新。於是認為呂蒙很有治軍才能，不僅沒將他的部隊撤並掉，反而還增加了呂蒙的兵力。
征討丹楊時，還特意命呂蒙隨同作戰。驍勇善戰的呂蒙豈肯放過表現的機會，戰鬥中，他的隊伍異常英勇，立下卓卓戰功。以功行賞，孫權封他為平北都尉，領廣德（東漢故障縣，治令浙江安吉縣；後分置廣德縣）長。
建安十三年（208），孫權為報殺父之仇，出兵進攻占據夏口的黃祖。呂蒙為前鋒，率軍攻打黃祖的水軍都督陳就。雙方一接觸，呂蒙即令前鋒退後，他親自衝出，揮刀直取陳就，陳就躲閃不及，命喪當場。都督被殺，水軍大亂，呂蒙乘勝追擊。黃祖聽說陳就已死，無心戀戰，棄城而逃。隨後吳軍水陸並進，黃祖敗死，孫權終於報了殺父之仇。這一戰，孫權高度評價了呂蒙的作用，他專門賞賜呂蒙錢幣數千萬，並升他為橫野中郎將。這一升職，使他步入江東重要將領之列。
同年，赤壁之戰爆發，呂蒙與甘寧、韓當、孫賁、陸遜等人一起，組成東吳前線主力。這一戰，孫劉聯軍勝得幹淨利落，呂蒙也在黃蓋之後率領自己的人馬衝殺。後來，周瑜與曹仁對峙於江陵，而甘寧則領軍去襲擊江陵上遊的夷陵（今湖北宜昌），結果被曹仁分兵圍困，形勢危急，於是甘寧向周瑜求助。然此時曹操雖領兵已回鄴城，但長江前線還有變數。眾將領都認為兵力少，不宜分散。呂蒙向周瑜建議：“留下淩統駐守，我與將軍前去救援。解夷陵之圍根本不需要太長時間；況且以淩統的能力，堅守十天毫無問題。”在救援路上遇到一個山口，呂蒙觀察地形後，認為圍困甘寧的曹軍被擊敗後可能從這裏逃走，如果在山口用樹木擋住道路，必然可奪來不少戰馬。周瑜對他的建議深表讚同。果然，交戰之下，曹仁的軍隊很快撤退，途中去路被堵，不得不棄馬步行。這樣一來，速度減慢不少。周瑜追擊，大獲全勝，不僅救出甘寧，還奪下南郡，撫定荊州大部。至此，呂蒙的才能得到了東吳高層的高度認可，同時也因為他為人友善、沉穩大度而頗受大家的尊重，樹立了較高的個人威信。回師之後，呂蒙被授偏將軍。
勵誌就學刮目相看
呂蒙雖然在實戰中展露了過人的才智，為人亦變得比以前更加謙遜，但卻腹內空空，沒有什麼學問，每次向上陳述大事，不願動筆，隻能口說。後來做了將領，有重要大事，常常自己口授，由別人代寫。有一次，孫權勸他和蔣欽兩人讀點書，來增長見識和才幹。呂蒙不以為然，又不好斷然拒絕，隻好推以軍中事務太忙，抽不出功夫讀書。孫權笑道：“我不過是讓你們廣泛涉獵典籍、了解曆史、增長見識罷了。你們說軍務繁忙，難道比我還忙嗎？光武帝劉秀在戎馬倥傯之際，仍然手不釋卷，曹操也自稱老而好學，你們哪能不自勉向上、勤奮學習呢？”呂蒙聽了這番話，深有感觸，於是勵誌就學，始終不懈。憑著他的聰明和毅力，通過廣泛學習，不但學問有所長進，察人論事也都更加高明了。
建安十五年（210），周瑜病逝，吳國名臣魯肅奉命去接替他的職務。赴任途中，魯肅途經呂蒙的駐地。魯肅是一代儒將，認為呂蒙乃一介武夫，隻是作戰勇敢，並無什麼才華，所以有點看不起呂蒙，所以根本沒有打算去看他。有人說呂將軍今非昔比，應該去會見他才是。魯肅不得已去見呂蒙，呂蒙設酒款待。酒到酣處，呂蒙問魯肅如何防備關羽，魯肅思慮未熟，以“隨機應變”搪塞。呂蒙便說：“如今東吳和西蜀雖然暫時結成同盟，但關羽是一個像熊虎一樣的危險人物，怎麼可以不預先定下對付他的計策呢？”於是，他詳盡地分析了當時的利害，研究關羽的為人，然後從實際出發，為魯肅設計了五種措施，均中肯切要。魯肅越聽越佩服，他不知不覺地離開席位，靠近呂蒙，親切地拍著他的背，讚歎道：“子明老弟，我一直認為你隻有武勇，沒想到你的學問才略也如此高明，你再也不是從前的吳下阿蒙了！”呂蒙大笑：“古人不是說‘士別三日，當刮目相看’嗎？”從此，魯肅與呂蒙結為好友，過從甚密。後來就連孫權也常常讚歎呂蒙的進步。