叔叔沒參加過任何政治黨派，隻是出於愛國才回來的，審問時問叔叔：“你帶著什麼任務來的？”叔叔問答：“回國前，我隻給自己一個任務，那就是報效祖國”。內查外調一兩年沒有查出任何一點問題。叔叔有一個習慣，就是保留信件，從談戀愛到年近八旬信件都留著。於是紅衛兵把信拿出來，用毛澤東語錄逐條對照批判。
閣樓房間很小，叔叔一支接一支吸著煙，叔叔還說自己的大女兒，也就是他在中科院生物化學研究所的堂姐也正在禁閉著，無法相見。
叔叔回國前，把積蓄買了幾幅法國著名的油畫，帶回來捐贈給上海博物館。未曾想到這也成了一條罪狀，說是“傷風敗俗”，因為其中有幾幅裸體油畫。
叔叔身體很弱。他們與叔叔彼此一再叮嚀，依依不舍地離別了，他沒和叔叔談一句自己的不幸，怕加重叔叔的思想負擔。
他們離開上海幾個月後，叔叔患肺氣腫，沒有等到平反就含冤去世了。聽說十一屆三中全會以後，中科院派人去上海專程為叔叔平反。並舉行了追悼會。還聽說叔叔在中科院最後幾年研究醫學用的CT。當時在世界上是領先的。叔叔去世後，嬸嬸萬分悲痛，把所有的那些“惹了禍”的信件，連他同叔叔帶回去的文件都付之一炬。叔叔曾對他說，自己回上海時隻帶走了將要完成的研究材料，所有東西都扔了。幾年以後，據說中科院又去叔叔家找文件。嬸嬸說全部都燒了。聽說那個項目得了諾貝爾獎。受獎的是一位外國科學家，中國又丟失了一次機會。
這次去上海他們住在嶽母家中，妻子的兩個弟弟都是清華大學畢業的，因學業優良都留在清華大學任教，而當時都在江西省鯉魚州勞動，那裏是血吸蟲病的重疫區，嶽母對她的兩個兒子也十分憂慮。隻有他們四五歲的小兒子，還那麼天真可愛。文革結束後，他的兩個內弟都先後回來了。一個在山上伐木，沒有傳上病，而另一個下田種水稻患上了血吸蟲病。真不知為何偏偏選這個地方去“勞動鍛煉”，據說下水田時還必須赤腳下水，以表示一不怕苦、二不怕死。
臨返回前，他們夫婦還帶著小兒子到浦江邊漫步。他坐在江邊，望著黃色的江水、兩岸貼滿的大字報和滿地破碎的大字報的紙片在江風的吹動下在地上打轉，一時思緒萬千。從外國電台的廣播中他知道許多國家，包括日本和台灣省都在騰飛而我們這塊土地到底是怎麼了？國難與家愁使他淒然淚下，他想也許不必愁了，噗通一聲跳下水去一切也就都解脫了，又看看自己跑來跑去的小兒子，他又覺得自己真是胡思亂想。不、不，要相信自己的祖國、相信自己的民族。這塊土地不會就這樣沉淪下去，一切都會好起來！！人民會覺醒的。回到嶽母家。夜不能寐，寫下了下麵的一首詩。
“破碎的世界”
（文革中於浦江畔）
在這破碎的世界
美夢中帶有噩夢
歡樂中伴有憂傷
那是一個須要奮鬥才能
生存的人世
那是一個須要拚搏才能
免受屈辱的人世
當你感到厭倦的時候
當你忍受不下去的時候
請相信
嚴冬過去後一定是春天
你家鄉小溪流過的第一場桃花水
會帶來民族複興的
喜訊
“牛棚生涯”
文革後期來了一個急轉彎，叫做“清理階級隊伍”，清理對象被請進牛棚。所謂牛棚者就是原來的辦公室，改建成為臨時監獄，上至黨政機關、高校、企業，下至農村小隊，一時牛棚遍及全國每個角落。
他的一些難友，所謂摘帽右派等等，陸陸續續進了棚。
他開始意識到“大概快輪到我了”。妻子告訴他要做好一切準備。第一件事把朋友之間的信件全部付之一炬以免牽連別人，自己寫的日記還包括與妻子談戀愛時的“情書”經嚴格檢查後多數也忍痛付之一炬。妻子說進牛棚要穿破一點的衣服好，於是“牢服”也準備就緒，就連住牢裏所需的被褥、牙具、毛選等妻子為他一一準備好。兩三天以後下班前一個多小時，突然來了一幫專政隊員，先讀了毛的一段語錄，然後宣布對潘家華進行專政，照例在辦公樓兜了一圈，然後推進牛棚。專政隊員指著一張桌子，說：“就坐在那兒，老老實實交代”，並指著大約一米寬的水泥地，說：“你就睡在那兒。”進屋以後定神一看，原來這個房間住著連他一共十個人，那九個人一聲不吭，隻埋著頭寫東西，專政隊員走後，那幾位牛兄、牛弟回頭看看他，麵部毫無表情，隻有一個右派難友向他輕輕點個頭。
不久妻子送來他的被褥，一切都是準備好的，甚至是演習過的，他很快鋪好被褥，拿出事先準備好的毛選和稿紙開始“認真”的讀毛選了。