對於部隊中存在的一些不良現象,徐向前從不姑息遷就。在一次會議上,他嚴肅地指出:在軍民關係上,危害群眾利益的現象,也時有發生。軍隊中個別人把老百姓打死,隨便把老百姓抓起來吊打一頓,抓賭打死人等,影響很壞。他語重心長地說:"邊區的政權,是最民主的政權。邊區的群眾過去是在黨的領導下,在共產主義旗幟下奮鬥了多年,才產生了我們的軍隊,而今天軍隊卻來欺負群眾,壓迫群眾,危害群眾的利益,甚至於危害他們的生命,以為槍杆子可以高於一切。政府也不要,群眾也不要,你這個軍隊要什麼?你革命的目的是為了什麼?群眾不要,政府不要,什麼是我們要的?革命是有目的的,革命的目的是為了什麼?打死一個人,殺死一個人,要償命的。軍閥的軍隊,他們的壞處就是不要群眾。我們軍隊中發生的這種行為,也可以說是軍閥的行為,軍閥思想殘餘的行為。這種思想上的錯誤,就造成軍隊隻是埋怨黨,埋怨政府,埋怨群眾。群眾也不好,政府也不好,黨也不好。這樣搞下去行不行呢?是不行的。在我們黨軍中,在黨領導的軍隊中,決不能這樣胡作非為,橫行霸道。"
正是由於徐向前狠抓了軍民團結,軍政團結,所以部隊在作戰中總是得到人民群眾的熱情支持。曾經經曆了山西曆次作戰的老同誌,每當回憶起人民群眾的支援時,總是感歎不已:---圍攻運城,先後有23萬多民工參戰,他們為部隊運來小米、白麵和大批作戰物資。陽城、沁水兩縣青年婦女的支前隊,趕著12輛大車,滿載著兩縣婦女精心製作的軍鞋,送到前線。她們還派了12名代表,攜帶120雙軍鞋,親自送到前沿的塹壕裏。她們要親眼看到戰士們穿上她們自己做成的鞋去爆破碉堡,攻打城垣。這種舉動,對戰士們是多麼大的鼓舞啊!
---在臨汾戰役中,晉南群眾曾籌集了10萬門板支援前線,為攻城部隊構築工事。廣大支前民工冒著炮火,為部隊抬傷員,送彈藥,運糧草,為解放臨汾作出了巨大的貢獻。
---在晉中戰役中,廣大民工冒著炎熱,跟隨部隊行軍作戰,部隊打到哪裏,他們支援到哪裏,及時保證了部隊的物資供應。
---太原戰役中,地方黨政領導率領10萬民工支援前線。解放軍各師都有一個民工團或營,直接參戰。他們的主要任務是抬擔架,送彈藥,轉運傷病員和作戰中所需各種物資器材。民工團中的民兵,有時還參加戰鬥或看守俘虜。
在攻城的外圍作戰中,廣大民工與部隊同吃、同住、同作業,日夜戰鬥在一起,建立了深厚的兄弟情誼。民工團的鍋灶火力不好,經常吃生飯。部隊就抽出一些炊事技術好的同誌,幫助他們做飯,並從部隊中抽出一些行軍鍋和炊具給民工團用。蔬菜不足時,部隊寧可吃野菜,也要勻出一些給民工吃。一天夜晚,天下大雪,一三三團七連指導員發現一位十五、六歲的小青年在陣地上睡著了,沒有被子蓋,手腳凍得冰涼。指導員立即把這個小青年摟在懷裏暖和,臨走,把自己的軍大衣蓋在小青年的身上。太原戰役時,駐地老百姓的門板差不多都下光了。一位房東媳婦在生孩子,婆婆見門上沒門直發愁。指導員就把自己的棉被送給房東當門簾用,使婆婆十分感動。
人民群眾的大力支援,正是部隊取之不竭的勝利源泉。臨汾戰役後,徐向前曾向記者發表了一篇著名的談話。他在講到勝利的原因時指出,我軍所以能取得完全勝利,"主要的力量是全區人民的支援和廣大民兵、民工直接參加戰勤工作。""如果要論功行賞的話,那第一功就該歸之於後方。"
徐向前強調團結的另一個重要方麵,就是軍隊內部的團結。
這種軍隊內部的團結,對於建設一支真正的黨絕對領導下的人民軍隊,更是有著特殊的重要性。一方麵,舊中國是一個半殖民地半封建社會,軍閥主義、鬧獨立性等思想殘餘必然會反映到人民軍隊的建設中來。另一方麵,中國的工農紅軍長期生活和戰鬥在農村遊擊戰爭環境,交通不便,關山阻隔,處於分割狀態,而且一分割就是好幾年,一個根據地就好像一個"山頭"。由此,形成一個部隊各個部分之間,各個根據地之間彼此不同的特殊曆史、特殊聯係和特殊作風。由於這樣一種曆史條件,再加上馬克思主義教育不夠,在一部分同誌中產生了一種盲目的山頭主義傾向。這種山頭主義是一種小團體傾向,也是一種特殊的宗派主義傾向。它沒有明顯的錯誤綱領,但有許多不正確的政治觀點和組織觀點,有排外主義傾向和保守主義傾向,嚴重地妨害軍隊的團結統一。
徐向前在領導軍隊建設之初,就遇到了這種錯誤傾向對部隊的影響。
1929年8月,蔣介石令劉峙組織鄂豫兩省的一部分兵力,對豫東南和鄂豫邊兩塊根據地同時發動進攻。中旬,為避敵鋒芒,保存實力,待機破敵,徐向前率紅三十一師,在赤衛隊的配合下,迅速跳到外線,向麻城北部轉移,調動敵人。到了八字門,同紅三十二師會合。在這裏,徐向前第一次見到了紅三十二師領導人周維炯、肖方等。