很快法國政府發現，隨著這隻軍隊越來越有名氣，開始有法國平民不願意在法軍中服役，反而試圖加入這隻軍隊。而傑羅姆一方麵不願意讓自己的軍隊兵力減少，一方麵也是性格使然，對這些主動來投奔他的法國公民表示歡迎。結果拿破侖義勇軍在激烈的戰鬥中非但沒有被消磨，反而越打越多，一年過去，傷亡人次早就超過了0萬，但他們的兵力反而從最初的十五萬，增長到了三十萬。
這就讓法國政府頭痛了，傑羅姆招募法國平民的做法超出了法國政府的底線，但此時又拿他沒辦法，戰爭不順，傑羅姆打的還算出色，解散這隻義勇軍，會讓政府被抨擊，也會讓海外法裔不滿，現在法國政府不但需要海外法裔參軍，還需要他們購買法國債券呢。免除傑羅姆的職務，這也不容易，首先他沒犯錯，法國民眾是主動來參加他的軍隊的，不是他強迫的，既然海外法裔可以誌願參軍，在高度強調權力的法國，誰敢法國本國公民沒有這個權力。在戰爭不順利的時候，大量波拿巴分子在鼓動輿論，更讓法國政府顧慮重重。
直到埃及參戰的消息出現，而英國人跟法國協商之後，英國強烈要求有豐富的，在北非戰鬥經驗的法國，派兵從陸路攻打埃及，英國可以盡可能提供海上保護，但鑒於中國海軍的壓力，英國人認為他們無法從海上維持法軍的補給。
英國人的想法其實是，法國北非軍團在北非地區已經打了三十多年的殖民地戰爭了，阿爾及利亞的柏柏兒人部落，有的被法國降服，有的則接受法國統治，但總是時不時有部落起來反叛，三十多年來，戰鬥就沒停止過，當然這種殖民地戰爭的規模都不大，法軍最多的時候，也很少出動上萬人。
但法國總統卻想出了一個擺脫傑羅姆的辦法，他沒有派非洲軍團去作戰，非洲軍團人數不多，甚至都沒有調回法國作戰，而是繼續留在北非維持治安，戰爭中北非的資源是重要的戰略物資。
傑羅姆是不願意去埃及的，盡管之前他並不了解北非的惡劣氣候，他隻是不願意離開法國，熱情的人喜歡追逐名譽，離開了法國，就沒有了狂熱的向他歡呼的人群，就沒有了仰慕他的法國女郎的熱吻，更沒有了那些受到拿破侖旗幟召喚的無畏的法國勇士。
所以當法國總參謀部派遣他去北非作戰的時候，傑羅姆跑去找總統吵架，他堅決不同意去北非，盡管這可能會讓他背上不服從命令的名聲，可是無所謂，他們是義勇軍，白了就是民兵，並不需要絕對服從法國參謀部。
可是總統有總統的辦法，總統背後有一個龐大的智囊團，有的是辦法讓他走。
法國政府沒辦法處理傑羅姆，是因為不好對輿論解釋，因為傑羅姆的名聲，讓法國政府投鼠忌器，法國政府就幹脆用名譽來把傑羅姆逼到北非去。
埃及向英法宣戰之後，政府發動宣傳機器，大肆宣傳埃及參戰的威脅，告訴法國人民，一旦中國軍隊進入埃及，那麼將有數以千萬計的中國大軍通過這裏侵入北非，接著以北非為跳板登陸法國。
這盡管有些危言聳聽，可民眾在戰爭中早就失去了判斷力。法國政府表示高度重視北非戰役，必須在短時間內征服埃及，從而將中國人擋在埃及，不能讓他們逼近歐洲。這需要派遣一個最稱職的統帥，而法國現在名聲最響的統帥即便不是傑羅姆，傑羅姆也之一。
所以當法國政府公開表示會派戰功赫赫的拿破侖家族成員傑羅姆男爵前往北非作戰的時候，輿論一片支持，並且輿論開始自我發酵，聯係到了拿破侖當年征服埃及的輝煌，認為傑羅姆會在兩三個月內就能占領埃及，不但能阻擋中國人，還能切斷蘇伊士運河，讓中國龐大的海軍無法開進地中海，從而幫助到法國的盟友英國。
見到輿論這麼支持他來征服埃及，傑羅姆就沒有辦法了，拒絕這項任務，對他的名譽有影響。
所以盡管不滿，他還是帶著他的義勇軍開進了北非，從突尼斯登陸，沿著地中海沿岸向埃及推進。
這是一場災難，由於英國人無法提供海上支持，他們必須靠兩條腿行軍。
如果是法國也就罷了，看著怡人的法國鄉村風景，總有達到的目的地。可北非是什麼地方，地中海氣候讓這裏冬季多雨水，夏季極為幹燥，降雨量最多的沿海地區也隻有五六百毫米，隻能保證這些地方最多不是沙漠，稍微深入內陸，就是連綿的大沙漠，每年降雨量隻有二三十毫米，簡直就是世界上最幹旱的地方。