我國現代農村金融的起源可以追溯到20世紀20年代初期，在河北省香河縣成立了我國近代最早的信用合作社。30年代初，在當時國民黨政府統治的地區，麵對農村發生經濟危機及農戶破產的嚴重局麵，在有關公益性社團開展的農村金融救濟活動的示範及推動下，一些商業銀行參與了向農村放貸的“資金歸農”行動，由中國國民黨執政的中央和地方政府也設
立了專門的職能部門和金融機構向農村實行救濟及放貸，這些行動在幫助農民還債、贖回土地、購買必需的生產及生活資料等方麵，取得了一定的效果。在中國共產黨統治的中央蘇區及後來的各個革命根據地，則先後建立了許多農村信用合作組織，大體上滿足了農村的金融需求，為根據地的鞏固和發展做出了貢獻。
新中國建立以後，我國農村金融的發展大體上可分為以下五個時期。
第一個時期是1949-1957年，是以農村信用合作社為主體的農村金融興起的時期。
到1949年底，全國約有800多家農村信用合作組織。在1949-1953年期間，由於政府的大力提倡和推動，在農村廣泛試辦農村信用合作社(以下簡稱農信社)。到1953年底，全國共有農村信用合作組織9
841個，並建立了較完整的民主管理製度。其主體形式是以鄉或行政村為範圍的農信社，農民入社時要繳納一定的股金，年終時按股金分紅。還有一些是附設在供銷合作社內的信用部或信用組。從1955年開始，隨著生產、供銷、信用三大合作運動在各地農村的迅速推開，農信社也得以加速發展。到1957年底，全國80%的鄉都設立了農信
社，共有農信社88368個，吸收存款20.6億元，社員股金3.1億元。盡管這一時期農信社的規模較小，管理也不夠完善，但其合作性質還是得到了較充分的體現，總體上發展也比較健康。
新中國建立初期，農村金融業務由中國人民銀行各級分支機構管理。為了適應土地改革以後農村經濟發展的新形勢，加強對農村信用合作組織的領導，經中央人民政府政務院批準，
於1951年8月10日正式成立了農業合作銀行，負責辦理農業、林業、水利等方麵的投資撥款業務，並領導農信社。但1952年農業合作銀行就被撤銷，由中國人民銀行農村金融管理局負責領導和管理農村金融工作。後經國務院批準，於1955年3月1日正式成立中國農業銀行，其主要任務為指導信用社、廣泛動員農村結餘資金、合理使用國家農業貸款、輔助農業生產發展、促進對小農經濟的社會主義改造。但由於縣以下的基層農業銀行與人民銀行之間職責劃分不清及人員經費不足，1957年4月國務院又決定撤銷中國農業銀行，並入人民銀行管理。
第二個時期是1958-1976年，是農村金融發展停滯的時期。
1958年將農信社下放給人民公社管理，1959年進一步下放給生產大隊管理，在“極左”路線的影響下，合作製則被嚴重扭曲。農信社的財務管理和業務經營主要受生產大隊領導，盈虧由生產大隊核算，喪失了獨立自主經營的地位。由於正常的信用關係被破壞，資金被大量挪用，存款也迅速減少，從1958年底的20億元降至1962年底的9.7億元。盡管在1962年恢複了農信社的獨立地位，但業務上受中國人民銀行領導。1963年又重建了中國農業銀行，統一管理支農資金及農業貸款，並統一領導農信社的工作。但是好景不長，1965年12月中國農業銀行第三次被撤銷，1966年農信社再次下放給人民公社、生產大隊管理。“文化大革命”期間，農信社名為交給貧下中農管理，實際上卻使其幹部隊伍、資金安全和業務活動均受到嚴重損害，很多地方的農信社幾乎到了破產的邊緣。
第三個時期是1977-1984年，是農村金融的恢複時期。
1977年國務院頒發了《關於整頓和加強銀行工作的幾項規定》，明確“農信社是集體金融組織，又是國家銀行在農村的基層機構”，並規定農信社由中國人民銀行進行管理。1979年2月23日，國務院在[1979]56號文《關於恢複中國農業銀行的通知》中規定，中國農業銀行的主要任務是統一管理支農資金，集中辦理農村信貸，領導農信社，發展農村金融事業;同時還規定農信社既是集體所有製的金融組織，又是中國農業銀行的基層機構。由於中國農業銀行集財政性撥款管理、商業性信貸業務經營和合作製金融組織管理於一身，從而確立了中國農業銀行在農村金融中的“官辦”性質及壟斷地位。由於中國農業銀行的所有存貸業務都根據國家的指令性計劃安排，它對農信社的管理也是采用計劃經濟的辦法，按照辦銀行的思想來管理。盡管在此時期內農信社的業務得到了一些恢複和發展，但也逐步失去了自主權，逐漸走上“官辦”的道路。