建武十一年（35）夏天，馬援受命後發步騎3000人，在臨洮大破先零羌。但其他部落的羌兵數萬人，仍在四處劫掠。馬援探知羌族各部的家屬輜重已移營於允吾穀（甘肅蘭州四北），於是便避開敵人，沿小道潛赴允吾襲其輜重。羌人倉惶退逃，馬援跟蹤追擊，羌人退至唐翼穀，集中兵力聚守北山。馬援陳軍山前，秘密分遣數百騎繞襲其後，乘夜放火，擊鼓叫噪，羌人驚潰，殲滅千餘，戰鬥中馬援中箭，貫穿小腿，但仍堅持指揮。這次作戰，馬援采取避實擊虛，迂回側襲等戰術，以3000兵馬擊敗數萬敵軍，收複了金城郡，建立了赫赫戰功。
但是，當時朝廷許多大臣認為金城破羌（青海樂都東南）之西，路遠多寇，提議放棄這些地方，馬援得知後，上書反對說：“破羌以西城多完牢，易可依固；其土地肥壤，灌溉流通。如令羌在湟中（湟水流域），則為害不休，不可棄也”。光武帝認為馬援說得對，遂詔命他為武威太守，駐守金城。
建武十三（37）年，武都（甘肅西和南）羌族參狼部與塞外諸部殺官反漢，劫掠地方。馬援率兵4000進擊。羌兵據守氐道（甘肅禮縣西北）山區。馬援以圍而不攻的手段，斷其水源糧食。羌兵迫於饑渴，大部逃出塞外，有萬餘人歸降。
馬援在隴西，攻撫兼施，所到之處，置長吏，修城廓，築塢侯（土堡），導水開田，勸以耕牧，郡中樂業。並把小部分羌人遷到水土肥沃的天水、隴西、扶風三郡居住。又派友好的羌族貴族遊說逃到塞處的羌民，勸他們消除舊怨，“和親”修好。武都羌族脫離公孫述來歸者，馬援奏準光武帝也都恢複他們首領的官職，給與印綬，經過數年的治理經營，金城郡中人民安居樂業。牲畜繁衍眾多，呈現出一派和平安定的景象。6年後，馬援被調入京城洛陽，封為虎賁中郎將。光武帝常召他去討論兵略，每當他講到眼前軍事策略或古人用兵的故事時。從光武帝到太子、大臣、侍衛、無不聽得津津有味。
建武十六年（40）二月，交趾郡（越南河內地區）女子征側及其妹征貳發動叛亂，攻陷交趾郡，九真（紅河口以南，沿北部灣至順化地區）、合浦（廣東廣州到廣西北海一帶）等郡皆有人響應，共略地65城，征側自立為王，都耄冷（越南安浪）。交趾刺吏及諸太守僅能自守，嶺南受到嚴重威脅。
建武十七年（41），劉秀任命馬援為伏波將軍，率領樓船將軍段地等南擊交趾。馬援進至合浦（廣西合浦東）後，乘船沿合浦、交趾兩郡海岸南下，至麋水（紅河）入海處，再下船沿河西北進，開山路千餘裏，建設二八年（42）春，馬援率軍到達浪泊，與敵大戰，攻破其軍，斬首幾千人。擊降一萬多人。馬援乘勝追擊，沿途數敗叛軍。追至禁溪（越南永富省安朗西），叛軍潰敗。次年正月，出斬征側、征貳姐妹，將首級運回洛陽。交趾平定後，馬援又率軍渡海南下，繼續消滅九真郡二征餘部，殲敵5000餘人，九真亦平。
馬援平定交趾和九真之後，朝廷封馬援為新息侯，食邑3000戶。
再立戰功馬革裹屍
馬援一生征戰，攻無不克，戰無不勝，為東漢王朝建立了汗馬功勞，但他並不因此而居功自傲，他擔心的隻是自己無功受祿，才德不能稱位，因而總想盡可能多地為國家出力。
一次馬援凱旋回京，公卿故人多前往迎接。平陵人孟冀也在其中，孟冀素來以足智多謀著稱，他在席間向馬援祝賀。馬援對他說：“我還盼望您說點有用的話呢，您反倒和別人一樣。過去的伏波將軍路博德開辟了七郡疆土，僅賜封地數百戶；我功勞微薄，卻封了一個縣的地方。功薄賞厚，怎能長久呢？請先生指教。”孟冀回答：“我是下愚之人，沒有這樣的智慧。”馬援又誠懇地說：“目前，匈奴和烏桓尚在北部滋事擾邊。我想向皇帝請纓，前往平複。男子漢死也要死在邊疆，用馬革裹屍還葬，哪能躺在床上，死在兒女手中呢？”孟冀點頭說：“真正的烈士，就該像您說的那樣。”