在南京等地工作的國民黨軍官中，有好幾個人曾與段伯宇一同在陸軍大學特七期學習，如賈亦斌、劉農畯、王海嶠、宋健人等，他們當時擔任著重要的職務。他們在讀書期間，就對國民黨軍隊作戰不力、指揮無能和達官貴人發國難財、驕奢淫逸而深感不滿，常常在一起發牢騷。段伯宇決定把這些人作為重點策反對象，讓他們投奔光明，為黨工作。
當時還隻是南京警備司令部參謀長的萬建藩，蔣經國的副手、國防部預備幹部局代局長賈亦斌，傘兵司令部參謀處主任劉農畯，以及宋光烈、宋健人等陸大同學經常聚集在賈亦斌的家中，聚餐座談、漫談形勢，各述見聞。交談之中，大家普遍對內戰政策深感憂憤。段伯宇以同學、朋友的身份引導他們座談、討論，為日後組織武裝反蔣奠定了思想基礎。
國共和談消息傳來，陸大同學分成主和、主戰兩派。段伯宇和他常交往的這些同學都是主和派。然而，時局發展並不遂心，蔣介石一意孤行打內戰。可歎幾番交手廝殺，國民黨軍隊一敗塗地。這時，段伯宇的這些同學還握有兵權：賈亦斌很受蔣經國信任，主管青年軍訓練，擔任預備幹部團少將團長兼第一總隊長；劉農畯為空降傘兵第三團少將團長；王海嶠為全新美式高機械化的工兵第四團團長；宋健人為第64軍參謀長。段伯宇經常向這些同學灌輸進步思想，引導他們走上革命道路。
在這些同學中，段伯宇與賈亦斌和劉農畯走得最近。有一次，三人聚會。在談到時局時，賈亦斌說，當今國民黨政府內部腐敗，與之同流難免不合汙，既然不能為國家、民族做出有益的貢獻，不如脫離國民黨，解甲歸田當老百姓，去過田園隱居生活，以避開令人厭惡、汙濁不堪的國民黨官場生活。段伯宇不同意賈亦斌的看法，他說：“為了個人打算，自然可以退出政治舞台以潔身自好，但這樣做無補於國家民族，不是一個現代中國軍人所應走之路。要保持忍耐，堅持幹下去，要像青蓮那樣入汙泥而不染。要有實力，要掌握武裝。但光找雜牌部隊不行，我們需要自己掌握武裝。”經過分析討論，“自己掌握武裝”成了他們的共識。於是他們當即擬訂了一個自己抓武裝的初步計劃。
1947年2月20日至23日，我華東野戰軍在山東萊蕪地區一舉殲滅國民黨第七十三軍、第四十六軍和新三十六師等七個師，共5萬餘人。消息傳來，段伯宇身邊的這些陸大同學認為簡直不可思議。三天殲滅5萬多人！怪不得他們的司令長官王耀武得知消息後會大罵：“老子就是放5萬頭豬在那裏，叫共軍抓三天也抓不完！”國民黨的失敗命運已經不可避免，段伯宇加緊了策反工作。
當然，在這些同學之外，段伯宇沒有忘記還要把一個重要的人物發展進來，這就是他親弟弟段仲宇。段仲宇動身到聯合國安全理事會軍事參謀團中國代表團工作時，段伯宇就囑咐他說：“國內形勢發展會很快，蔣介石已坐在火山口上，你在國外待久了，會喪失為人民工作的機會，切莫貪戀優厚的待遇和舒適的環境。”1947年初秋，段仲宇在紐約收到段伯宇給他的信，告訴他父母年事已高，妻兒需要他照料，希望他回國。段仲宇知道大哥的用意，就以家中困難、在美國水土不服等為由，麵見中國駐聯合國軍事代表團團長何應欽，要求回國，得到了何的批準。回國後，段仲宇仍回到國防部第五廳第二處任副處長。下班後回家，段仲宇和父母及大哥伯宇一家住在一起。兄弟倆時常交換對時局的看法，認識完全一致。
此後不久，“自己掌握武裝”的計劃初見成效。劉農畯調到傘兵三團任團長。這支部隊是國民黨軍隊之精粹，號稱“國軍之花”，是1944年從國民黨遠征軍、青年軍和中央軍校精選組編，並由美軍顧問團訓練的一支現代化部隊。與此同時，賈亦斌利用蔣介石在長江以南組建30個新軍的圖謀，毛遂自薦表示願意負責動員召集和組織訓練他手上的青年軍，組織預備幹部訓練第一總隊（簡稱“預幹總隊”），並迅速以預備幹部局的名義草擬了一份計劃，經國防部報到軍務局。此時，已升為少將高參的段伯宇當即加注“意見”送給俞濟時轉報蔣介石，順利地獲得了批準。於是，賈亦斌順理成章地兼任了總隊長。
這時，國民黨統治麵臨土崩瓦解，中共方麵也加緊了策反、護城等工作。1948年7月，中央決定上海局設立策反委員會，由張執一當書記，李正文、田雲樵、王錫珍為委員，下麵有陳蕙瑛、邵洛羊等同誌。他們利用一切關係策反國民黨人員，以減少解放上海的損失。
在國防部工作的段仲宇，沒事的時候，他常在段伯宇、賈亦斌、劉農畯他們之中“客串”，與他們關係非同一般。
1948年9月，段仲宇被任命為上海港口副司令。他的司令部設在虹口四川北路底，負責寧滬杭海陸空三軍的供給。有利的是，司令是湯恩伯的原財務處長兼任，他常駐舟山，事務都由段仲宇代管。另外，段仲宇還兼滬寧、滬杭兩路鐵道軍運官和上海市政委員。
上任後，段仲宇把家人全部接到了上海，隻剩下哥哥段伯宇還在南京工作。段伯宇語重心長地對段仲宇說：“我們的重點放到了上海，在你這裏設個基點，也是聯絡中心。”確實，段仲宇在上海的寓所環境很好，位於寶山路虯江路口的一幢獨立的二層樓洋房，三麵臨街，樓下駐有一個班衛兵，最安全不過了。段伯宇到上海，起先也住在這裏。
1948年10月，賈亦斌等不及了，把段伯宇接到中山陵密議。他說：“國民黨根本沒希望了，都準備逃。我們怎麼辦？”段伯宇說：“總要抓住武裝才有辦法。”之後，賈、劉、宋等人又和段伯宇密議過幾次，甚至計劃利用手中兵力自行起義。段伯宇勸阻說，這樣大的行動，不能脫離共產黨的領導。於是，找到黨組織成為當務之急，段伯宇為此專門趕到了上海。
搞亂軍運 拖延南撤
1948年11月13日，國民黨中央政治會議秘書長、有蔣介石“文膽”之稱的陳布雷自殺，在國民黨上上下下掀起大波，客觀上更有利於策反工作的開展。
與此同時，中共方麵進一步加強了對國民黨軍隊的策反工作。一天，段伯宇的表弟溫尚煜來到段仲宇處看望兩位表哥。當時溫尚煜還在同濟大學讀書，但已是中共地下黨員，組織要求他做好親友工作，於是他便來做兩位“國民黨將軍”的表哥的工作。幾句話交談下來，段伯宇對他的來意既吃驚又高興，當溫尚煜明確表示有“可靠關係”時，段伯宇就請他把自己的情況代向組織報告。溫尚煜趕緊通過上級報告張執一，張執一又報告了華東局。
恰巧王興綱在華東軍區聯絡部當副部長兼野司南下支隊參謀長，聽說段伯宇找黨，馬上電告張執一：這是自己的同誌。張執一立即約見段伯宇，恢複他的組織關係。段伯宇將他自己入黨的情況，在重慶接受周恩來指示的情況，以及失掉與黨組織聯係後，獨立開展工作，聯係國民黨內部愛國將領共同反蔣的情況，詳細向張執一作了彙報。
張執一聽取他對賈亦斌、劉農畯、王海嶠、宋健人及段仲宇等進行策反的情況彙報後非常高興，認為段伯宇在失掉黨組織關係後獨立做了大量工作，這是難得的，並說段伯宇掌握的部隊工作量很大，需要專人聯係，決定將策反委員會成員李正文介紹給段伯宇，並指定由李正文領導他們的工作。