1922年9月22日，楊振寧出生於安徽合肥的一戶楊姓知識分子家庭。
父親楊武之當時在安慶市的一所中學（位於懷寧）教書，對懷寧深有感情，所以給孩子取名為“振寧”。
在小振寧出生的第二年，他的父親就去美國留學了。他的幼年，是在兵荒馬亂中度過的。那時軍閥混戰，常常打到合肥來，亂軍一到，母親就抱著兒子驚惶地“跑反”，奔鄉下，躲山洞。
楊家是個大家族，“振”字輩的就有33人，振寧是這個大家族裏的長房長孫，整個家族對他寄托著厚望。母親羅孟華是個善良、堅強且有理想的女性，在生命時常受威脅的時候，還堅持教子識字，一筆一畫地寫好，認認真真地教會。兒子是個極聰明的寶貝，一教即會，過目不忘，人稱“神童”。楊振寧為此很感激母親，終生不忘，曾這樣回憶說：“我四歲的時候，母親開始教我認方塊字，花了一年多的時間，一共教了我3000多字。現在，我所認得的字加起來，估計不超過那個數目的兩倍。”
六歲那年，楊武之從美國學成回國，先在廈門大學執教，小振寧就跟母親高興地來到這個南方海濱城市，進入小學正式讀書。因有母親的家教墊底，他國文課學得特別輕鬆，不費勁就拿到高分。他把精力主要用在數學上，並漸漸產生了興趣，成績也是不錯的。最讓他頭疼的是手工課，因為他天生是個左撇子，拿筆、用筷子都不方便，母親費了好大一番精力才讓他把吃飯、寫字改成了用右手，可是他打乒乓球、彈彈子、扔瓦片，仍舊自然地用左手。有一次用泥巴捏公雞，他花了很大氣力做出來後，大家忍不住笑了起來，都說不是一隻雞，而是一節藕。父親告訴他，人的左腦控製右手，而右腦控製左手，而手對腦也有反作用，雙手靈，大腦聰。他明白這個道理後，下決心練習右手，終於右手靈活起來了。
楊振寧隨父母在廈門隻住了一年多，因父親受聘到清華大學數學係當教授，又隨父母來到北平。當時，中國社會十分動蕩，內憂外患，人民生活苦不堪言。可楊振寧因為有當過洋博士的父親的庇護，不缺衣食，生活在美麗安靜的清華大學校園中，很少與校園外的社會接觸，因而能夠幸運地度過一個平靜的童年。
楊振寧在清華大學校園內的小學讀書，學校的條件不錯，老師和校舍在當時的中國都是一流的。他學習很努力，成績也不錯。課餘時間，他和同學們在校園中到處遊玩，在草地上打滾，比賽爬樹——他幾乎爬遍了校園內的每一棵樹。
小學畢業後，楊振寧進入北平崇德中學讀書，這也是一所不錯的中學。1937年，盧溝橋事變爆發了，日本帝國主義向中國發動了瘋狂的侵略戰爭。北平再也放不下一張平靜的書桌，楊振寧家搬回了合肥老家。可合肥也不得安寧，經常遭到日軍飛機的轟炸。當日軍進逼南京，合肥也人心惶惶的時候，父親做出了決定，攜帶家人逃往昆明。一路上，楊振寧全家人曆盡辛苦，途經漢口、香港、越南等地，繞道來到了昆明。
到昆明後，父親受聘到西南聯大教書，楊振寧進入昆華中學二年級學習。當時四處流亡的中學生非常多，學籍各地不一，比較混亂，因此教育部在1938年夏天公布了一項措施：中學生不需要文憑，可以憑同等學曆報考大學。楊振寧在流亡途中一有時間就抓緊學習，功課不但沒落下，反而自學了高年級的課程。於是，他在少讀一年高中的情況下，以同等學曆參加了高考，並以優異成績考取了西南聯大。這一年他16歲。