他最喜歡玩水，不僅自己遊泳，還拉著兒子、女兒遊，有了孫子就老少三代一起遊。他的遊泳本領還真派上了大用場。1956年，毛澤東主席在廣州、南寧會議上，兩次向中共湖北省委書記王任重提出，要到武漢遊長江。中央不同意，但毛澤東堅決要遊。湖北省和武漢市為此預作準備，在公安係統挑選一些精通水性的幹部，加上從體委挑選的遊泳教練員、運動員、救生員，練成水上“八卦陣”，即將四條小船組成一個長方型，四個角上的每個小船有兩個人，始終可以護衛在遊泳者的周圍，以備不時之需。5月31日、6月2日和3日，毛澤東在武漢江麵三遊長江，並在東湖興趣盎然地寫下著名的詩詞《水調歌頭·遊泳》。湖北省和武漢市會遊泳的領導王任重、李爾重、孫耀華等人，每次都陪同毛澤東暢遊。1956—1966年，毛澤東在武漢至少遊了十多次，孫耀華也陪著遊了十多次。在毛澤東1956年暢遊長江以後，早有遊渡長江傳統的武漢人民正式舉辦了一年一度的橫渡長江的群眾性活動，直到90年代舉辦國際渡江節。這樣的活動，“老頑童”可不會放過，他每年都參加。特別是1992年9月8日，孫耀華已年屆83歲，仍不顧勸阻，“躍入大江，全力奮進，竟先於他前麵的兩個方隊登上了江岸。”（《長江日報》報道語）這一年，離他去世不到一年，可以說，遊泳陪伴了他一生。
他喜歡玩網球。1956年中國網球協會成立，國家體委主任賀龍提議由他擔任中國網球協會主席。1964年，孫耀華主動提出由呂正操擔任中國網球協會主席，自己擔任副主席。在武漢，他經常和湖北省老領導李爾重以及武漢同濟醫學院的周冠軍教授打網球。80年代，他與全國人大常委會委員長萬裏、全國政協副主席霍英東、海軍副司令劉道生等打過網球，也與全國政協委員徐國懋、江蘇省體委主任徐鑣等打過網球。他多次參加在北京、上海、廣州等地舉辦的國際老年網球邀請賽。他一年四季都打，直到1988年因打網球發生骨折，做了手術，他才放下了網球拍。
他喜歡長跑。30年代在金陵中學時，他是校田徑隊的短跑選手。50—60年代，在武漢市每年舉行的群眾性冬季長跑活動中，他都跑在群眾隊伍中。有一年，電影製片廠還拍了紀錄片在全國放映，他在南京工作的大女兒孫安琪在影片中看到父親，並聽到畫外音：“這位長跑的長者就是武漢市副市長孫耀華同誌。”
他喜歡玩足球和籃球。30年代在金陵大學時，他當過足球隊長和籃球隊長。50—60年代，當了體委主任後，除了“客串”球手參加球賽外，更多地是陪同球隊訓練，有時就在場邊當撿球的“球童”。每每訓練完了，他就自己拿點錢出來，給運動員和教練員買冰棍和汽水解渴。1959年，他率湖北體育代表團參加第一屆全國運動會，八九月高溫季節在天津的一個球場進行足球訓練時，他又在旁邊卷起褲腿撿球。由於雨後高溫高濕，他突發重病，甚至出現生命危險，醫院下了病危通知，遠在武漢的夫人趙慶潔星夜馳赴天津。好在搶救及時，竟然絕處逢生。還有一次在重慶為足球隊撿球，被踢中頭部，造成輕微腦震蕩。
他很愛護運動員和教練員。60年代初經濟困難時，運動隊的糧食定量減少，很多人營養不良。他想方設法讓運動員的每月糧食定量從36斤提高到45斤。他還利用政府對一部分人的照顧政策，將一部分運動員和教練員列入一個“萬人名單”，給他們爭取到一點營養品（每人每月增加1斤油，3斤黃豆，3斤糖）。他利用自己社會關係廣泛的優勢，從糧食局、副食品公司等處不時搞到一點黃豆、豬肉、凍魚、蔬菜等，用“小三馬”（小型三輪汽車）甚至三輪車拉到運動隊裏，讓運動員和教練員改善一下生活。1965年跳水隊在廣州冬訓時，為了緩解思鄉情結，他在除夕前帶著隊員們到當時最好的南方大廈，和大家一起過了一個溫馨的除夕之夜。跳水隊隻有普通的運動衫，他指示武漢第一針織廠專門研究試製特殊的麵料，為隊員定製高檔的跳水服。為了找到性能良好的跳水板，他托南海艦隊的領導到海南島找木料，南海艦隊竟為他運來幾大塊紅木。