楊振寧在高中時隻讀過化學而沒有讀過物理，所以他報考聯大時考的是化學係。可1938年11月底入學後，他發現自己對物理學更有興趣，又轉到了物理學係。聯大1938年入校的新生裏，16歲的楊振寧，是同學中年齡最小的一個。此時的西南聯大，學生宿舍是土牆茅草房或土牆鐵皮房，教室是鐵皮頂的房子，下雨時會叮叮咚咚響個不停。教室的地麵是泥土地，沒過多久就變得七坑八窪。窗戶沒有玻璃，風吹時必須用東西把紙張壓住，否則會被吹掉下來。楊振寧和同學們聽課坐的是“火腿椅”——在椅子右邊安上一塊形似火腿卻隻能放一本書的木板。但他們苦中作樂，幽默地稱吃的摻帶穀子、稗子、沙子的糙米飯是“八寶飯”，穿的通了底的鞋是“腳踏實地”，前後都破洞的鞋是“空前絕後”。
西南聯大在學製和課程編製上，采取“學分製”為主體的“共同必修課”和“選修課”三者結合的製度。大學本科四年，必須學滿130—140個學分，經考試合格才能畢業。在聯大接受過教育的8000餘人中，正式畢業生隻有2522人。到1942年7月畢業時，聯大物理學係最終完成學業者隻有9人。
楊振寧考入聯大後，全家七口僅靠父親一人掙工資養家糊口，生活過得十分艱難。1939年9月28日，日本飛機首次轟炸昆明。其後至1941年底，聯大師生和其他昆明人一樣，在“疲勞轟炸”下三天兩頭就要跑警報，有時一天要跑兩次。1940年9月30日，日機又來轟炸昆明，楊家在小東角城租賃的房屋正中一彈，被炸得徒有四壁，全家少得可憐的家當頃刻之間化為灰燼。萬幸的是，家人此時都躲進了防空洞，才免除了災禍。可這次轟炸，對楊家的生活來說，無異於雪上加霜。幾天後，楊振寧拿了把鐵鍬回去，翻挖半天，才從廢墟裏挖出幾本壓得歪歪斜斜但仍可使用的書，他如獲至寶，欣喜若狂。
其後，為躲避日機轟炸，他們全家搬到昆明西北郊十餘公裏外的龍院村惠家大院居住，且一住3年。惠家大院分前院和後院，前院租給聯大的教授居住，後院惠家自己的人住。吳有訓、楊武之、趙忠堯三家住在惠家大院一進大門左邊順門而建的房屋裏。此屋為兩層小樓，吳有訓家住樓下，楊武之、趙忠堯兩家住樓上，趙家樓下是廚房。楊、趙兩家的住室間有一窄窄的過道，過道的地板上開有一個洞口，自此通過樓梯可到樓下。
在龍院村，楊振寧留下了不少令人難忘的故事。作為楊家長子，他為鼓勵弟妹多念書，還訂出了一些頗為吸引人的規則：一天之中，誰念書好、聽母親的話、幫助做家務、不打架、不搗亂就給誰記上一個紅點，反之就要記黑點。一周下來，誰有三個紅點，誰就可以得到獎勵———由他騎自行車帶去昆明城裏看一次電影。楊振寧周末從聯大回到龍院村，住在村裏的聯大教授吳有訓的孩子吳惕生、吳希如、吳再生、吳湘如，趙忠堯的女兒趙維誌，餘瑞璜的女兒餘誌華、餘裴華等，都喜歡聚集到楊家來，聽楊振寧講英譯的故事《金銀島》、《最後的摩西根》等。
國破家亡，聯大師生的生活過得十分艱難，為解決生活困難，不少人都到外麵兼差。楊振寧也兼過差。1945年春，楊振寧給在昆的部分美軍官兵教中文，每周教3小時，賺了好幾百美金貼補家用，以盡長子之責。
西南聯大名師薈萃，教師陣容非常強大。在聯大，由於保存著清華大學把國文作為一年級學生必修課的傳統，因而楊振寧能夠聽到朱自清、聞一多、羅常培、王力、陳岱孫等名家的課堂講述。
楊振寧在讀時的聯大物理學係，由饒毓泰、吳有訓、周培源、朱物華、吳大猷、趙忠堯、鄭華熾、霍秉權、王竹溪、張文裕、馬仕俊、葉企孫、許湞陽、任之恭、孟昭英等國內外知名的教授執教。其中，給他上一年級普通物理課的是擅長實驗的物理學家趙忠堯教授，上二年級電磁學課的是著名學者吳有訓教授，上力學課的是在廣義相對論等方麵頗有研究的著名學者周培源教授等。楊振寧跟隨這些大師們，很快步入了物理學的殿堂。
但對楊振寧來說，除了物理係直接教他的這些教授們外，父親楊武之對他的影響也是相當大的。楊武之是一位將近世代數和數論、將西方現代數學方法引入中國的中國現代數學的先驅者之一，也是一位為中國數字教育作出重要貢獻的數學家。楊武之是一位教學極為認真的教授，也是一位教子極為嚴格的父親。他早就在日常生活中，循循善誘，潛移默化地將不少數學知識傳授給了兒女們。楊振寧在學校裏，遇有不懂的問題、碰上難以處理的事，總是經常跑到數學係辦公室向父親請教。楊振寧後來說：“父親對我們子女們的影響很大。從我自己來講：我小時候受到他的影響而早年對數學發生濃厚的興趣，這對我後來搞物理學工作有決定性的影響。”楊武之對楊振寧的影響，一直長久地發生著和存在著。
1945年8月，楊振寧乘飛機到印度，再由印度搭運兵船赴美留學。事隔半個多世紀，楊振寧1998年3月17日於《文彙報》上發表《父親和我》一文，還對1945年8月28日離開昆明時的情形記憶猶新。他在文中寫道：“清晨父親隻身陪我自昆明西北角乘黃包車到東南郊拓東路等候去巫家壩飛機場的公共汽車。”“到了拓東路，父親講了些勉勵的話，兩人都很鎮定。話別後我坐進很擁擠的公共汽車，起先還能從車窗外看見父親向我招手，幾分鍾後他即被擁擠的人群擠到遠處去了……等了一個多鍾頭，車始終沒有發動。突然我旁邊的一位美國人向我做手勢，要我向窗外看：驟然間我發現父親原來還在那裏等！他瘦削的身材，穿著長袍，額前頭發已是斑白。看見他滿麵焦慮的樣子，我忍了一早晨的熱淚，一時迸發，竟不能自已。”