1951年7月10日，中國農業銀行的前身——農業合作銀行建立，隸屬中國人民銀行領導，承擔金融服務新中國農村經濟社會恢復與發展的職責。1952年7月，與中國人民銀行合并，職能并入人民銀行。
1955年3月，按照為農業合作化提供信貸支持的要求，正式以“中國農業銀行”名稱建立。1957年4月，與中國人民銀行再次合并。
1963年11月，根據統一管理國家支援農業資金的要求，中國農業銀行再次建立，作為國務院直屬機構。1965年11月，與中國人民銀行第三次合并。
1979年2月23日，國務院發出《關于恢復中國農業銀行的通知》，中國農業銀行第四次恢復建立。
1984年6月1日，農業銀行引進首筆世界銀行貸款。
1985年6月24日，中國農業銀行首次統一行名字體。
1985年6月25日，中央決定成立中國農業銀行黨委。
1993年12月，國務院明確做出“中國農業銀行轉變為國有商業銀行”的決定，中國農業銀行開始向國有商業銀行轉軌。
1994年4月，中國農業銀行向新組建的中國農業發展銀行劃轉了絕大部分政策性業務。
1996年8月，根據國務院《關于農村金融體制改革的決定》，中國農業銀行不再領導管理農村信用社，與農村信用社脫離行政隸屬關系。
1999年7月，中國農業銀行向新組建的中國長城資產管理公司剝離不良資產。
2004年，農行第一次上報股改方案。
2007年1月，第三次全國金融工作會議明確提出中國農業銀行“面向‘三農’、整體改制、商業運作、擇機上市”的改革總原則，中國農業銀行進入股份制改革新階段。
2007年9月，農行選擇吉林、安徽、福建、湖南、廣西、四川、甘肅、重慶等八個省（區、市）開展面向“三農”金融服務試點。
2008年1月23日，農業銀行明確提出“3510”奮斗目標和發展戰略。
2008年3月，農行開始推動在6個省11個二級分行開始“三農”金融事業部改革試點。
2008年8月，農行總行設立“三農”金融事業部，全面推動全行“三農”金融事業部制改革。
2008年10月，國務院常務會議審議并原則通過《中國農業銀行股份制改革總體實施方案》，中國農業銀行股份制改革進入實質性推進階段。
2008年11月，中央匯金投資有限責任公司向中國農業銀行注資，與財政部并列成為中國農業銀行第一大股東。
2009年1月15日，中國農業銀行股份有限公司成立。
2010年4月，中國農業銀行啟動IPO。
2010年7月，中國農業銀行A+H股于15日、16日分別在上海、香港掛牌上市，實現全球最大規模IPO。
