孔祥熙自稱是孔子的後裔，他的家鄉是以“金太穀，銀祁縣”著稱的山西太穀，他出身於敗落的半儒半商家庭，這對他的一生有重要影響，早年的孔祥熙比較不幸，但一場大病卻改變了他此後的命運！
太穀縣，位於山西省的腹地，榆次的西南，距離太原90裏地。這裏自然環境一般。太穀縣稱得上是中國華北地區典型的高原氣候。
受這種氣候的影響，這裏一年四季分明，冬冷夏熱，春旱秋澇。每年一到秋天，太穀縣境內便呈現出一派的蕭條和凋敝景象：涼風習習刮得樹葉枯黃滿地飄零，秋雨綿綿下得一地泥濘難以落腳。據說，當年太穀人大多不願意在家鄉待見那令人沮喪的秋季來臨。雖然，慣常的秋天都是收獲的季節，是令人欣喜、令人滿足的日子。可在太穀則就不然了。貧瘠的山地加上惡劣的氣候，十年倒有九年令種地的莊稼人失望，以至滿麵愁容無可奈何地打發著眼前那令人寒心的秋天。但是太穀的百姓卻很富有，因為他們幾代人經營“票號”。山西太穀城內孔祥熙的早年舊居。
票號，就是過去的銀行。清朝時，我國尚沒有銀行，交通又不太方便，經商作吏的不便攜帶許多金銀，於是有銀錢便托給票號轉寄。太穀人最精於此道。傳說，有一位商人出外，托寄銀子500兩，不幸途中患病而死，太穀的一家票號等了3年不見其人，於是到處查找此人的姓名，3年以後，找到其子，將6年的本利一起給他。就這樣靠著太穀票號的信義，太穀人也因此而發財致富。當時，有人戲稱，在太穀、祁縣做縣長的人，不出3年，不貪汙也有幾萬兩銀子進入腰包。
太穀的孔家，出自山東曲阜小孔村。據記載，明朝萬曆年間，孔子第62代裔孫孔宏開被派往山西任職，他清正廉潔，後來死在交城，留下了妻子和分別為9歲、6歲的兩個男孩，遺妻無力帶幼子返回山東，隻好落籍在交城。
孔宏開的兩個兒子易學淵源，滿腹經綸，但是2人一生都不曾赴試科考，因此最終斷送了仕途之路，以經商謀生。二兒子孔向複，經營有方，家道日富，漸趨興旺，後由交城遷往太穀。到清朝乾嘉年間，已成為太穀的名門望族。
也許是沾了老祖宗孔聖人的光，孔家在程家莊算得上是名門望族，說話辦事在村裏都很占分量。孔氏家族在村裏一共擁有9幢房屋，其中1幢有井，俗稱“井兒院”。
自當年的知縣孔宏開之後，這裏孔氏族人中就再沒有官宦仕途的人，孔家人倒都是自食其力，憑本事靠力氣辛辛苦苦掙下了一份殷實的家業。這裏倒並非孔門後人才疏學淺，因而難以金榜題名。孔聖人的後代，家學淵源自是非同尋常。隻因當年孔宏開孔知縣的遺孀孔夫人有訓曰“不為韃虜做官”，兒孫們個個不敢違背所致的結果。不過，隨著時間的流逝，百餘年的滄桑變遷，孔門後人對當年的祖訓就漸漸地淡忘了。孔憲昌——孔子的第七十二代裔孫亦即孔祥熙的曾祖父自幼聰明過人，少年有為且又刻苦努力，好強爭勝，16歲時應童子試竟榮獲頭名成績。
當下血氣方剛的孔憲昌在族人的激勵下，暗下決心要在下次鄉試中再奪魁首，以壯孔門。當時恰巧有一位同鄉，亦即亞聖孟子的後代孟洋，對他威脅最大。兩人的學識相差無幾，但孟洋的書法要略強於孔憲昌。所以孔憲昌每天發奮練習書法，一寫就是幾個時辰。果然其書法的技巧大見長進，隻是因長期的疲勞過度，致使孔憲昌的體質極為虛弱。
所謂人意拗不過天意。鄉考的前一天，孔憲昌自感身體不適。但為了與孟洋一決高下，第二天孔憲昌還是勉強支撐著虛弱的身子赴考。結果，體力不支加上精神緊張，孔憲昌當場咯血，元氣大傷，未能堅持到終場就抱憾先退。最後自然是孟洋榮登榜首，孔憲昌數載寒窗苦讀，毀於一旦。
孔憲昌悔痛自己的半途而廢，憂鬱中結，這使他新病舊疾積於一身，從此病臥不起。臨終之前，他拉著年僅9歲的兒子孔慶麟的手，說出了他所立下的家法：
“讀書所以致用，凡我子孫，但求讀書明理，經邦濟世。能這樣，便是孔家的好子弟，千萬不要再應科考試，重路我的覆轍，切記切記。”
應該說，這是好事，讓太穀孔門擺脫了科舉製度的樊籠。從此，太穀孔氏門人便開始棄儒經商，搞起了票號經營。但為了不失孔氏“書香門第”的門風，仍代代均請了塾師教導子女，使其不失儒學，形成了太穀孔門儒商世家的獨特風格。後來孔祥熙時常文謅謅的來上兩句“子曰”“詩雲”，正是為了炫耀他的出身“名門”，表現他的儒商世家的風格。這孔慶麟便是孔祥熙的祖父，字瑞堂。孔慶麟的叔父，即孔憲昌的弟弟孔憲仁。創設了“誌成信票號”，自任經理，後利潤猛增，業務發達，成為太穀3家規模最大的票號之一。但是，孔憲仁膝下無子，於是把事業交他的長侄孔慶麟繼承。
孔慶麟在經營誌成信票號的同時，自己又另行開設了一家“義源盛票號”，經營金銀買賣與彙兌業務，兼辦蘇廣雜貨。他眼光遠大，為了擴充業務，經常風塵仆仆地奔走於全國各大商埠，不斷擴展孔家的票號、商行。在他的一手操持下，陸續在北平創辦了“老一堂票號’，為官商保險，擴送現金，還有“會通盛”鏢局，從事存放業務，“會通遠”從事彙兌業務；此外還有“義合昌”。在廣州、祁州、太穀間有以經營藥材為主的“廣茂興”；在沈陽，孔慶峨設有“源泉博”，以及從別人手中買下來的太穀“三晉源”。
這許多的分支行號，在全國各地又大都設有分支機構，遠至外蒙的庫倫、新班的迪化，乃至安南的西貢。義合昌在日本設立的支店，獨家經營中日間的彙兌業務，成為日本許可外商設立分號的第一家。至此，太穀孔家成為山西巨富，孔慶麟儼然是一位全國性的金融領袖。