吳芮的軍隊分為金青赤白四大旗，由範齊雷、吳亭、崔連城、梅津四大將軍統帥；每旗下又分為山水虎狼四營，總共十六個大營，每營由一個千戶帶領。其中山字營主鎮守和機關，水字營主埋伏和接應，虎字營主正麵進攻，狼字營主探馬和偷襲。
金字旗將軍範齊雷真正帶領的隻有三個營，因為金虎營是吳芮的親兵營，直接聽令於吳芮。金字旗每個大營的人數比其他旗少，每個營都隻有兩千名士兵，但這些全部是常備軍，也是吳家軍最精銳的兵力。
青赤白三營兵力相當，戰時每個營至少征召五千士兵，平時各營隻有五百常備兵，另外每三個月輪換征召五百民兵入營訓練。
這樣，盡管平時吳芮的軍營裏最多不超過兩萬士兵，但是每三個月，吳芮就能多出六千藏於民間的兵力。這些民兵，雖然談不上多麼精銳，但是因為都有一定的軍事能力，到了戰時，重新征召和訓練所需要的時間就大大減少；而且，這樣藏兵於民還可以節省大量的財力，確實說得上是一舉兩得。
本來，按理朝廷是不能容許這麼一支相對獨立的軍隊存在的，而且始皇帝也不是不知道吳芮的這支軍隊，但是卻暫時不能把他怎麼樣。
一來，名義上這支軍隊是隸屬於始皇帝的，吳芮是盧江郡的郡尉，幫皇帝將兵乃是份內之事。
二來，這支軍隊的根基就是吳芮的“吳家軍”，直到現在軍中上上下下都還沒有作為“秦軍”的自覺，所有人都自稱“吳家軍”。
第三，當年大秦統一六國的時候，吳芮為免戰火波及南越，自動向始皇帝宣誓效忠，並出兵幫大秦平定了更南麵的嶺南諸地，使得大秦兵不血刃地占領了這一大片土地。
第四，在盧江郡，甚至是旁邊的南海郡、閩中郡的黔首百姓心目中，遠在鹹陽的皇帝其實隻不過是一個淺淺的印象而已，而吳芮吳二公子，才是把他們帶出火海的聖人。
第五，自始皇帝稱帝來，吳芮在盧江郡小心謹慎，從不行差踏錯，連吳府都一片簡樸，吳府家人更是訓練有素，從沒給人抓著過小辮子。反觀整個盧江郡，在他的治理之下，是日益繁盛安穩。
第六，盧江郡地形複雜，水土民風與中原大大相異，就算大秦派了兵過來，一旦指揮不當，全軍覆沒也不是不可能的。
始皇帝一直很清楚這些道理，他也曾經嚐試讓吳芮解散這支軍隊，但是這個風聲一經傳出，盧江郡、南海郡頓時盜賊四起，始皇帝大為頭疼，卻又不能從鹹陽遠遠地派兵前去，隻得讓盧江郡郡尉吳芮帶領現成的兵去剿匪。
事實上，朝廷派吳芮出兵的風聲一傳出，盜賊們就紛紛偃旗息鼓了。朝廷的問題順利解決，隻是這樣一來，這支吳家軍也就解散不了了，就連秦始皇也無可奈何。
這件事，其實是吳芮為保下吳家軍玩的一個小小花招。他在接到聖旨之後，一邊裝模作樣地安排士兵回鄉，一邊派了手下幾個百戶去找一些他已經平定過的山寨商量了一下。結果那些山寨都很自覺地放出作亂的風聲，並且下山踩了幾片地，燒了幾幢房子。
當然，這幾片地和幾幢房子都“恰好”在皇帝派出的眼線們住家附近，這些眼線們覺得自己的生命財產受到現實的威脅，當然會在給皇帝的信中添油加醋地描繪這些盜賊的“可怕”、“殘忍”，皇帝也自然就回覺得不能坐視不理了。
吳芮就這樣以強硬又給足皇帝臉麵的方法保全了吳家軍和整個盧江郡，甚至是南海郡、閩中郡。
他本人是一個實幹的人，能用一句話說清楚的絕不用兩句，能花五錢辦妥的絕不用六錢，甚至做他的手下必須都是精明能幹、以一當十。
因此即使以龍且的身手，在吳芮身邊做一名馬前小校，他也絲毫不覺得委屈。因為他知道，吳芮身邊絕沒有一個閑人，尤其是那些自吳芮起兵就跟在身邊的，個個都是精兵強將，每人身上都一定有一樣本領是別人學不來的。