當時有人認為中國的體育事業還很落後，加之賽事臨近，到了芬蘭也不一定能趕上比賽，即便參加了，成績也不會好。周恩來總理得知這一情況後，堅決主張組隊參加這次奧運會。
他說：“要去，在奧運會上升起五星紅旗就是勝利。要通過新中國運動員的風采宣傳新中國的新麵貌。”於是，以榮高棠為團長，黃中、吳學謙為副團長，包括籃球、足球和遊泳運動員在內共40人組成的中國體育代表團，前往赫爾辛基參加第十五屆奧運會，五星紅旗第一次飄揚在奧委會會員國旗林，並同時奏響了中華人民共和國國歌。
1956年10月，第十六屆奧運會在墨爾本舉行，中國奧委會做好了參賽的充分準備。由於國際奧委會在少數人操縱下蓄意製造“兩個中國”、“一中一台”，接納所謂“中華民國”體育組織，中國奧委會宣布不參加本屆奧運會以示抗議。
時至1979年11月，經過21年的正義鬥爭，國際奧委會終以62票讚成，17票反對，2票棄權的絕對多數，討論通過決議，決定中華人民共和國奧林匹克委員會的名稱為“中國奧林匹克委員會”，使用中華人民共和國的國旗和國歌；設在台北的奧委會的名稱是“中國台北奧林匹克委員會”，不能使用它目前使用的旗、歌和會徽，新的歌、旗和會徽必須得到國際奧委會執委會的批準。這個決議表明了在國際奧委會中，隻承認中國奧委會是全中國的代表，中國台北奧委會隻是中國的一個地方機構。中國奧委會表示接受這個決議。
1984年7月，第23屆奧林匹克運動會在美國洛杉磯隆重舉行，140多個國家和地區的7616名優秀運動員參加比賽。中國派出了353人的大型體育代表團（其中運動員225人）參加了22個項目中的16項比賽和1項表演賽，這是中國闊別奧運賽場32年之後的首次亮相，強大的陣容和昂揚的鬥誌令世人矚目。
7月29日上午，本屆奧運會第一枚金牌的爭奪聚焦在男子60發手槍慢射的靶場。各國記者不約而同地把視線投向上屆冠軍瑞典的拉羅格納·斯卡拉查爾。但當第2組10發子彈發射完畢，人們把驚奇的目光紛紛轉向第40號靶位的中國運動員許海峰。當他的最後一粒子彈呼嘯飛出，566環的最高成績顯示出來時，全場歡聲雷動！本屆奧運會的第一塊金牌被黑頭發、黃皮膚、身著紅色運動服的中國運動員奪得，這也是中國獲得的第一枚奧運金牌，這是中國體育在奧運會上零的突破。《義勇軍進行曲》嘹亮奏響，鮮豔的五星紅旗冉冉升起，在奧運會的領獎台上，國際奧委會主席薩馬蘭奇親手將金光閃閃的獎牌掛在許海峰胸前，並由衷地讚歎：
“這是中國體育史上偉大的一天。”
繼許海峰奪得首枚金牌以後，中國運動員抖擻神威，在其他項目中又陸續奪金。特別是體操王子李寧，在8月5日這一天，連續獲得自由體操、鞍馬和吊環3個單項的3個滿分，當成績公布，觀眾席上掌聲雷動，國際友人、留美同胞和海外僑胞搖動一片燦爛的五星紅旗。體操館內3次為李寧，也是為中國奏響了中華人民共和國國歌。
在第23屆奧運會上，中國運動員共奪得15枚金牌，名列第4；獎牌總數名列第6，雪洗了中華民族在奧運會上的屈辱史，展示了當代中國人民的偉大形象。
《人民日報》發表評論指出：“零”的屈辱，被許海峰神槍擊破；3枚金牌，閃耀在李寧的胸前；“三連冠”的宏願在女排姑娘的手上實現；欒菊傑揚眉挺劍，成為躍居世界女子花劍之冠的亞洲第一人……誕生於汗水和智慧中的15枚金牌、8枚銀牌、9枚銅牌的好成績，是奉獻給祖國母親的厚禮，使海內外龍的傳人為之自豪！
此後，中國健兒又先後參加了第24屆、第25屆、第26屆、第27屆奧運會，轉戰拚搏於漢城、巴塞羅那、亞特蘭大、悉尼，用他們卓越的成績，讓中華人民共和國國歌在世界各地的奧運賽場頻頻奏響。