張老後來調到機要部門工作，他說：“中央政治局開會，鄧小平作過記錄。他走了以後，叫我作記錄。中央很多負責同誌都是湖南人，我聽不懂他們講話，作記錄可就困難了！”
在上海做地下工作，住的地方和開會的地方要經常更換，而且要找那種在幾個弄堂裏麵都要有出口的房子，以應付敵人的搜查。父親曾和李維漢一起住過一段，還和周恩來夫婦一起住過半年。那時候，和他工作關係最密切、個人關係也最親密的，第一要算周恩來夫婦，其次就是李維漢。不過，他那時在中央工作，所以接觸人的範圍是很廣的，像趙世炎、陳延年、李碩勳、鄧中夏、羅亦農、瞿秋白、關向應、蘇兆征、李立三、顧順章、向忠發等中央和各地方的負責同誌，他都很熟。
李維漢在回憶錄中說，1928年黨的六大開會期間，“我和任弼時受命留守中央，中央秘書長是鄧小平。從1928年4月開始到同年9月新中央負責人回來的期間，開會的地方仍在上海四馬路天蟾舞台後麵樓上的兩間房子裏。這個秘密機關是1927年冬或1928年初建立作為中央常委開會的地方。房子是租賃來的，由熊瑾玎、朱端綬夫婦住守。那時，開會的同誌從天蟾舞台西側雲南路的一個樓梯上去，就可以直到開會的房間。房間內朝西的窗下有一張小桌子，開會時，小平就在小桌子上記錄。這個機關從建立起一直到1931年1月六屆四中全會以後，都沒有遭到破壞。後來，大概由於1931年4月顧順章被捕叛變，中央才放棄了這個機關（1952年毛澤東在杭州主持起草憲法時，通知小平和我到他那裏去。路過上海時，小平和我去看過那個老地方）。當時，每天上午九時，我、弼時和小平碰頭處理日常事務，不是在這個地方，而是在離此不遠，隔一條街的一個商店樓上，到場的還有熊瑾玎、內部交通部主任和其他負責幹部，例如江蘇省委留守負責人李富春有時也來參加。”
黨的第六次代表大會是在蘇聯莫斯科召開的，絕大部分中央領導同誌都赴蘇參加會議，在上海的留守中央繼續抓緊開展工作。他們開展反日運動，反對國民黨政府勾結英美出賣山東、滿洲給日本帝國主義；他們加緊城市工人運動、發展農村工作和加緊對敵軍士兵的爭取和瓦解工作；他們抓緊整頓和發展黨的組織，加強黨的秘密工作。
父親在上海期間，一直在中央機關工作，作為掩護，他當過雜貨店老板，當過古董店的老板。作為中央秘書長，他熟知所有中央機關的地點和秘密接頭地點，對於上海的大路小路、街巷弄堂，特別是秘密機關所在的那種四通八達的弄堂，他都相當熟悉。當時由於上海市區的大部分地區都是外國租界，因此許多街道用的都是外國名字，例如貝當路、福熙路等等。有趣的是，父親對上海街道的舊名稱很熟悉，但卻對不上現在的新名字。1991年父親去上海，上海市的一些同誌陪同他乘車觀看上海市容。父親興致很高，於是便講起了他們當年在上海做地下工作的一些情形。他說，為什麼有一條路叫福熙路呢？那是因為這條路在法租界，而福熙則是一個法國有名的將軍，因此用這位法國將軍之名來命名了這條路。父親提起一些街道的舊名，還問上海的同誌這些路現在叫什麼名字。對於這些幾十年前的陳年舊事，年紀較輕的這些上海的“地方官”們，隻能麵麵相覷，無言以答！
父親在上海黨中央共作了一年半的秘書長，在派遣他去廣西工作以前，中央本來準備派康生接替他的工作，父親於是便和他見了麵，帶他看了中央的地方，那時康生是在上海的一個區委工作。後來中央派康生作了其他的工作，沒有接替父親作中央秘書長。但父親從那時起認識了康生。
解放後，父親和康生都在中央工作，工作關係相當密切。特別是在和蘇共中央進行意識形態的論戰時，在中央寫“九評”時，父親為主要的負責人，康生是主要的主持人，一時之間來往更多，有時還一起出差。記得有一次到雲南，康生讓我們所有隨行的孩子們都背誦昆明大觀樓清朝文人孫髯翁的一百八十個字的巨幅對聯，而且還要考試，因此，我們這些人，直到今天還能把這幅不朽的對聯一字不差地倒背如流，連我們家最沒有“文化水兒”的弟弟飛飛，也能像炒崩豆兒一樣地一口氣背完。
康生本是個文化人，肚子裏墨水又多，故事也多，我們從小都愛聽他講故事。他還帶我們這群孩子去他家看他的收藏，就是那些珍藏在櫃子裏麵的各種寶硯。我們最喜歡的是那些令人眼花繚亂的玉石的、瑪瑙的、孔雀石的硯台，而他自己最珍貴的則是我們這些小孩子連看也不看的那些青銅器皿和古漢陶硯。我們還看過他的夫人曹軼歐收藏的古字畫，我隻記得其中有一幅是武則天的字。因為當時剛看過京劇《謝瑤環》，對武則天頗有興趣，因此一看便記住了。康生還特愛看戲，經常在釣魚台小禮堂組織戲劇晚會，那時候又正值戲劇藝術發展的鼎盛時期，京戲、昆曲、川劇、甚至晉劇，什麼戲都看。《關漢卿》、《謝瑤環》、《楊門女將》……看得我們如醉如癡。康生還特地推薦和組織觀看“鬼戲”昆曲《紅梅閣》，李淑君演的李慧娘，真是令我這樣的少女為之大大地神魂顛倒了一番。所以，小時候，在我們眼裏，康伯伯那個留著小胡子的瘦長臉是格外有趣和親切的。
誰想，到了“文化大革命”，他一改常態，再露猙獰，積極參與林彪、“四人幫”的陰謀，並親手打倒、屈死了無數的人。我們也沒有想到，他的那麼多珍貴收藏，竟是用各種手段強取豪奪而來。我們更沒有想到，他自己所推崇的“鬼戲”，竟成了他用來迫害他人的利刃。
1973年父親出來工作後，曾帶著媽媽和我去釣魚台十號樓看過康生一次。我們所看到的康生，已是病入膏肓，骨瘦如柴。那時，他為了爭權奪利，已和“四人幫”鬧得水火不容，於是開口就罵江青，張嘴就罵張春橋。父親坐在那裏，靜靜地聽著他時而激動，時而咬牙切齒的怒罵，一言不發。我在旁邊，一邊聽，一邊感到驚奇，一邊感到不可思議。
這是我最後一次看見康生，後來他就死了。