公元前221年，秦始皇吞並六國，統一了中國。他廢除諸侯製，實施郡縣製，由此建立了中國曆史上第一個封建王朝。全國分設三十六郡，每個郡有幾個縣。吳芮的家鄉龍山村屬於九江郡餘幹縣鄧墩鄉。
在秦始皇的暴政統治下，人民生活困苦。秦皇焚書坑儒，殺害了四百六十多個書生，因為他們回顧曆史，對秦朝的統治提出了批評意見。秦始皇大興土木，實施四大工程，迫使幾十萬民工修建長城、阿房宮、秦皇陵和秦直道。百姓妻離子散，田園荒蕪，哀鴻遍野。
百姓怨恨秦王，都說秦王有虎狼之心，殺人唯恐殺不盡，用刑唯恐刑不重。所以天下人都反叛他。
公元前209年，人民群眾實在忍受不了秦朝的殘暴統治，陳勝和吳廣在今安徽省宿州市大澤鄉發動農民揭竿而起，舉起了反抗秦朝的起義大旗。被沉重的稅賦壓迫得喘不過氣來的人們紛紛相應。這場中國曆史上的第一次農民起義，一路過關斬將，攻城略地，所向披靡。
公元前207年，秦國麵臨各地義軍武裝割據的局麵。為穩定南方，防止百越地區的反叛，也因為吳芮的才能出眾，秦廷賜封他為“番陽令”，那是番陽縣（西漢起改名為鄱陽縣）的第一任縣令。番陽在春秋和戰國時期為番邑。秦廷赦免番陽的稅賦，但當然也不會提供財政撥款。
利用朝廷提供的合法身份，肩負著先輩的期望，吳芮要用武力奪取政權。他告別鄉親們，帶上自己的武裝民團，離開了家鄉。
通過水路抵達鄱陽湖之後，吳芮在湖岸邊建城作為自己的城堡，這就是今天的鄱陽縣。在番陽的時候，吳芮采取強硬措施，首先打擊強盜土匪和地痞流氓。然後積極開發民生，開通商貿、發展水產和推廣農業。
針對亂政，他逐步推行大膽的改革，廢除了高昂的稅費，以減輕人們的生活負擔。同時，他盡可能增加民眾的收入。以先祖泰伯為榜樣，吳芮重視灌溉，采取了一係列措施鼓勵耕種，由此提高了生產力和農民的生活水平，贏得了民心。那年的初冬，番陽地區遭遇了嚴重幹旱。由於修建了水利灌溉工程，農民還是獲得了相當不錯的收成。所以番陽人民崇敬吳芮，稱他為“番陽王”。
在秦朝官吏中，吳芮第一個相應了反秦的農民起義。
其實吳芮早就不滿秦廷的暴政統治。由於威信很高，他的隊伍迅速發展壯大，成了抗秦起義的一支主力部隊。甚至前秦廷的官員和越王勾踐的兩位後裔閩越王無諸和越東海王搖，都率領他們的部隊歸順吳芮指揮。其中還有他的同鄉、同學和密友梅鋗將軍。
安徽六安人英布因為違反秦律而在臉上被刺黑字，所以人稱“黥布”（黥qíng，黥刑，又叫墨刑，古代在人臉上刺字並塗墨之刑）。在被遣送到秦皇陵工地監督勞動的時候，他率領一些勇敢的獄友逃到山上落草為寇了。聽說番君吳芮起兵，他帶著一幫人投奔到了吳芮麾下。