潘二套用省行資金的方式很多，花樣翻新，抗戰時期轟動全川的美金公債大舞弊案，就是他用巧取豪奪的手段，將公債一百數十萬美元，絕大部分囊括為已有。結果是重慶有人揭發，省議會也提出要查辦。潘昌猶見事情要敗露，隻得四處送紅包，吐出1000兩黃金，才換回貪汙證據。僅當時的重慶市警察局長唐毅，就分得黃金250兩。潘二在成都花了不少錢仍然擱不平，最後由潘大出麵，以川黔湘鄂綏靖公署軍餉不足的借口，將此項公債金額作為補助以此上報財政部。行政院副院長兼財政部長孔祥熙與潘文華有八拜之交，大筆一揮就報銷了。
因有潘大與孔祥熙的關係，潘二也成為“四大家族”門下的一員，幫助孔氏搜刮民財有功，財政部這才放了他一馬，使得哄動一時的陪都大貪汙案如此解決了結。
潘二又被人稱為“實業家”，他利用銀行投資興辦實業，據統計有 125家，就在 1949年轉讓或股本賣出後剩下的 72家中，由潘二任董事長的有 15家，任常董的有 3家，任總經理的有 2家，任董事的有 30餘家。他當董事長是公司的實際負責人，常董也是他說了算，如自來水公司，他一兩天必到一次。又如允豐正酒業公司，他本為董事長，為拉孔祥熙，把孔的親信作過財政部司長的牟幼平推為董事長，他自任董事，這就使他在孔祥熙處暢通無阻。抗戰勝利後，潘二向上海發展，但由於蔣介石挑起內戰，他感覺敏銳，從 1947― 1949年三年內，不斷有計劃的將資金外移。開始十分隱蔽，移至上海法幣 10425億元，相繼又在漢口、南京、廣州等地設分行。遼沈、平津、淮海戰役後，他抽資走港，移往國外更為迫切，並把兒子潘清堯和兒媳何崗陵（川省建設廳長何北衡之女）送往美國讀書。潘子去時，把他多年移至香港的外彙全部帶至美國。
潘二回重慶後，一麵賤價出賣田產、房產，一麵把他 72家公司的資金抽走。這些公司是靠重行投資的，以投機倒把，囤積居奇而獲利甚豐的。大型的有自來水公司、水泥廠、鹽號、紗廠、酒業，都是潘家實力派支持下的實業。所以，人們吹捧他是“金融界第一大亨，實業巨子”。這些實業包括銀行被他抽成空殼，連職工工資都發不出。上海解放後，潘二攜其所有金銀珠寶逃往廣州，被重慶銀行的高級職 員發覺，以副總經理為首，群起反對，潘二才不得不由香港發回港幣 40多萬元來補空，暫時擱平。
1942年夏，重慶還發生過“十行莊本票案”。本票是銀行發的代金券，可在市麵通用。重行的本票是“空頭”，兌不了現的。潘二以此維持了幾個要垮的企業。潘二全家已遷香港，在九龍太子道買房居住。他已不是“土財神”了，他的長衫大褂，葉子煙杆已經換上西服，抽 555牌香煙，喝咖啡了。他是個貨真價實的財神，隨著腰纏充實，政治地位也變了。起初是重慶市臨參會的參議員，後又成為僅有三分之一的代表陪都的中央特任“國民參政員”，繼而被遴選為中央“立法委員”，1947年又改選為代表重慶的 “立法委員”。在國民黨的政治舞台上，他已走上了頂峰。
在國民黨內，他是站在四川實力派上反蔣的。國民黨選舉總統時，關鍵是副總統選誰？蔣介石意屬孫科，反對派則要選李宗仁，潘二在南京不惜重金活動川康兩省代表，拉票與蔣介石對著幹。
1948年 3月 18日，洛陽解放，國民黨竟派飛機對洛陽進行轟炸，百姓死傷甚重。南京有 40多位立委，聯名抗議蔣介石，要求停止轟炸，潘二就是其中之一。成都解放前夕，劉文輝、潘文華在彭縣起義，潘二也是參與其事的。
這些都決定了潘二不能去台灣。1950年 1月 12日初潘再去香港，次年九月返回北京，他對形勢很敏感，1951年 3月初再去香港，從此一去不返。在港的六年並不安靜，一些成渝逃港的人，不管認識與否，皆以流落異鄉生活無著向其伸手。作為同鄉的“財神”又不得不應付，使他不勝其煩，於是乘巴西在港招商開發之機，去了巴西，算是移民。
潘二在巴西，天時、地利、人和全不沾，沒有後台，語言不通，漸次走上絕境。家人先後死了，擁有重金在美國的兒子對他置之不理，以致使這位重慶第一富流落異邦街頭，心力交瘁，貧病交加，最終在 80歲生日那天，倒斃在寒風凜冽的冷巷中。
一代呼風喚雨的金融寡頭，曾幾何時會料到竟如此淒涼的下場呢？惜乎？悲矣！