盡管銀行的雛形可以追溯到公元前2000年經營錢幣兌換業的巴比倫寺廟，但一般認為近代銀行出現於1580年意大利的威尼斯，現代銀行始於1694年英格蘭銀行的成立。我國明朝末年出現了類似銀行的錢莊和票號。鴉片戰爭後，一些外商銀行紛紛進入我國開展金融業務，並憑借其特權攫取了巨額的利潤。我國境內第一家銀行是1845年英國人設立的麗如銀行，
1897年中國通商銀行作為中國人自辦的第一家銀行開始營業。
20世紀30年代，統治舊中國的國民黨政權建立了以中央銀行、中國銀行、交通銀行、中國農民銀行、中央信托局、郵政儲金彙業局、中央合作金庫(簡稱“四行二局一庫”)為主體，包括省、市、縣銀行及官商合辦銀行在內的金融體係。此外還有一批民族資本家興辦的私營銀行及錢莊，其中約三分之一集中在上海，但多半規模不大且投機性強，在經濟運行中所起的作用十分有限。
隨著中國人民解放戰爭的節節勝利，1948年12月1日在石家莊成立了中國人民銀行，並開始發行人民幣。1949年2月，中國人民銀行遷入北平。新中國成立前後，根據1948年4月在北平召開的中國人民政治協商會議第一屆全體會議通過的《共同綱領》，對官僚資本銀行進行了接管，並分不同情況進行停業清理或改組為專業銀行;將官商合辦的4家銀行改組為公私合營銀行;對私營銀行則進行整頓和改造;還取消了在華外商銀行的一切特權，並禁止外國貨幣在國內流通。
新中國成立後，我國在計劃經濟體製下形成了由中國人民銀行“大一統”的銀行體係，即銀行不劃分專業係統，各個銀行都作為中國人民銀行內部的一個組成部分，從而使中國人民
銀行成為既辦理存款、貸款和彙兌業務的商業銀行，又擔負著國家宏觀調控職能的中央銀行。“文化大革命”期間，在“左”的思想指導下，銀行的獨立性日漸消失，1969年9月甚至將中國人民銀行並入財政部，成為財政部所屬的二級機構，使其基本上淪為政府的“大錢庫”和“出納員”。不少領導人不懂銀行工作的重要性，把銀行當作一個辦理收收付付的‘大錢庫'，需要錢的時候才想到銀行，有的甚至把財政資金和信貸資金混同起來，靠行政手段辦事，做了許多違反經濟規律的事。
1976年10月，“文化大革命”十年動亂結束，我國的銀行體係也開始恢複和重建。1978年12月召開的中國共產黨十一屆三中全會，開始全麵糾正“文化大革命”及其以前的“左”傾錯誤，使我國進入了改革開放的新時期。我國的銀行業在鄧小平理論的指導下，走上了改革開放的道路。從1977年至今，我國商業銀行的發展大體上可以分為以下幾個階段。
體係重建階段(1977-1986年)
盡管在1978年3月中國人民銀行總行恢複了其獨立的部級單位的地位，但其所擔負的商業銀行與中央銀行的雙重職能並未改變。從1979年初開始，在改革開放方針的指引下，相繼恢複了主管農村金融業務的中國農業銀行，從中國人民銀行中分設出了主管外貿信貸和外彙業務的中國銀行，從財政部中分設出了主管長期投資和貸款業務的中國人民建設銀行，1981
年底又成立了負責接受國際金融機構貸款及其他資金轉貸給國內企業的中國投資銀行。1983年9月17日，國務院發文明確規定中國人民銀行專門行使中央銀行的職能，同時決定成立中國工商銀行，接辦中國人民銀行原有的信貸和儲蓄等商業銀行業務。至此我國基本形成了以中央銀行為領導、以四大國家專業銀行為骨幹所組成的銀行體係。
1984年10月，中國共產黨十二屆三中全會做出了《中共中央關於經濟體製改革的決定》。為了發展“有計劃的商品經濟”，我國銀行體係迅速擴張。1985年人民銀行出台了專業銀行業務可以適當交叉和“銀行可以選擇企業、企業可以選擇銀行”的政策措施，鼓勵四家專業銀行之間開展適度競爭，從而打破了銀行資金“統收統支”的“供給製”，四家專業銀行還開始將其觸角伸向農村，為當時正在蓬勃發展的鄉鎮企業提供貸款。
擴大發展階段(1987-1996年)