5月30日，戴高樂來到阿爾及爾。在戴高樂到達後不久，與吉羅的矛盾就升級了。戴高樂派禁止前維希政府的任何人士參加新政府，佩魯通也被禁止。
6月初，佩魯通把辭呈交給戴高樂，戴高樂沒有與吉羅商量就接受了。這件事使吉羅非常生氣。海軍上將米塞利埃長期猛烈抨擊戴高樂。吉羅任命米塞利埃為自己的參謀長，並采取了一些預備性步驟，準備宣布阿爾及爾戒嚴。
在阿爾及爾，人們都未料到戴高樂與吉羅這兩位將軍會爆發一場個人的戰鬥。經過多次鬥爭後，雙方成立了七人委員會，組成一個民族解放委員會。吉羅和戴高樂共同出任主席，國務委員中包括喬治將軍和賈德魯將軍。
吉羅和戴高樂都把自己視為法國民族解放運動的唯一合法領袖。戴高樂在委員會中獲得大多數，但吉羅有幾十萬人的大軍作為後盾。北非法軍可以輕易地製服自由法國部隊的約1.5萬人。阿爾及爾政府掌握在痛恨戴高樂的人士手中。
突尼斯戰役結束以後，長期滯留在亞曆山大港的一支法國艦隊投靠了吉羅。這支艦隊的司令是戈德弗魯瓦。法國海軍和陸軍中的高級將領們都支持吉羅。可見，吉羅的勢力十分強大。然而，在盟軍登陸北非後，吉羅表現得出乎意料地缺乏才能。
在兩個主席的政治鬥爭中，戴高爾將大批擁護者安插在所有關鍵性的職務上。賈德魯代替佩魯通擔任阿爾及爾總督，皮奧代替諾蓋擔任摩洛哥總督，馬斯特擔任突尼斯總督，布瓦鬆被迫辭去法屬西非總督之職。
戴高樂的做法激起了美國政府和一些英國人的強烈不滿。當時，吉羅仍然控製著幾十萬軍隊。吉羅最後的勝利就是收複科西嘉島。1943年9月，意大利投降。科西嘉島的阿雅克修城起義。一支快速集結的法軍從北非趕來，以雅克修城為橋頭堡在科西嘉登陸。
島上有8萬名意軍，意軍把戰爭物資送給法軍使用，讓他們進攻島上的1.2萬名德軍。科西嘉島戰役進行得非常順利，完全由吉羅的擁護者們指揮。
戴高樂派以及法國民族解放委員會對科西嘉島戰役竟毫不知情，吉羅非常高興，以為自己比戴高樂棋高一招。但戴高樂以這一事件為借口，迫使民族委員會進行改組。
在這次政治鬥爭中，吉羅又失敗了。喬治將軍被迫辭職，吉羅被解除了主席職務。吉羅的威望大大下降，但仍然是法軍總司令。他對戴高樂的政策越來越不滿，他拒絕與法國共產黨合作，而戴高樂則認為在解放事業上必須與共產黨合作。
使吉羅威望大大降低的皮舍事件
吉羅的威望在1944年3月因皮舍事件而大大降低。皮舍是維希政府的前內政部長，1943年5月，他憑著吉羅的一封信來到北非，條件是不準他從事政治活動，而是參加部隊。
吉羅沒有意識到自己犯了嚴重的政治錯誤，法國共產黨人最痛恨皮舍，而在阿爾及爾，共產黨的勢力很大。二戰初期，約有27個共產黨領袖被關押在阿爾及爾，現在都無罪釋放了。他們認為皮舍應對德軍挑選共產黨人作為處決的人質事件負責。
結果，皮舍被傳到法庭審判。法庭查明，當皮舍擔任部長時，的確采取強硬手段對付共產黨人，皮舍當然屬於危險人物。後來，法庭找到了一份皮舍於1942年10月寫給貝當元帥的報告：“法國不能希望德國在蘇聯戰敗，因為這會使法國失去抵擋蘇聯威脅的唯一屏障；法國不能希望英國打敗德國，這意味著將重犯1918年的錯誤；法國應該使德國與英國達成一種妥協的和平。”
皮舍之死成為戴高爾鞏固自由法國與共產黨聯盟的一種有效手段。經過共產黨在阿爾及爾的努力，幾個月後，皮舍被槍決。吉羅在這一事件中始終沒有做過任何有效的努力。
戴高樂絕不容許有人與他競爭，為了遏製吉羅，阿爾及爾委員會逼吉羅放棄總司令的職務，讓吉羅改任監察總長。吉羅看到自己的勢力已經逐漸瓦解，於1944年4月退休。
當吉羅的勢力衰退時，法國共產黨的勢力日益高漲。共產黨人進行了隱蔽的鬥爭，同時保持了遊擊隊的獨立性。法國共產黨支持戴高樂領導的戰鬥法國（自由法國）。
戴高樂又打出蘇聯這張牌來對付美國。早在1943年8月，蘇聯就承認阿爾及爾委員會代表法國。
經過長時期的鬥爭後，法國的海外屬地終於在戴高樂的領導下團結起來。戴高樂還成為法國國內抵抗運動公認的領袖。在那些擁護戴高樂的人中，許多人無疑都具有很大的影響力。隨著登陸法國的日期臨近，團結一致的需要使人們的種種分歧都暫時隱藏起來。戴高樂把法國國內外的各個派別集合在一起，為光複法國而努力。