我國古代以牛鎮水，是有一定曆史原因的：第一，牛本為動物神之一，是陸地上的龐然大物，可以抵擋住洪水的侵襲；第二，五行為古代的根本哲理，人們運用金、木、水、火、土解釋世界，以及五行相生相克來看待萬物的興衰，並把許多動物同五行結合起來，如牛屬土，土能克水，因此牛能鎮水，從而使牛成為鎮水靈物。
盡管古代深信鐵牛能鎮水，但是少數有識之士還是大膽提出了懷疑。如公元761年秋天，成都平原發大水，但是鎮水神牛並沒有阻擋滔滔的洪水，結果造成嚴重災害。杜甫為此寫有《石犀行》：“今年灌口損戶口，此事或恐為神羞。終借堤防出眾力，高擁木石當清秋。先王作法皆正道，詭怪何得參人謀。”明確指出，依靠石犀（石牛）鎮水是靠不住的，隻有依靠人的力量才能戰勝洪水。