中平六年（公元189年）十二月，曹操在陳留郡正式起兵。當時各地州牧郡守有的還在積極籌備，有的甚至還在猶豫觀望，隻有陳留太守張邈與曹操互相呼應，共同籌劃，與他同時起兵。曹操雖然兵少，主觀上也不想多招兵，但他沒有被動地等待機會，沒有消極地保存自己的力量，而是首舉義兵，為天下倡，表現了非凡的膽識、氣魄和勇氣，這對迅速掀起反董鬥爭的高潮起了十分關鍵的作用。
第二年正月，繼曹操、張邈之後，函穀關以東各州郡才紛紛起兵討伐董卓，主要有後將軍袁術、冀州牧韓馥、豫州刺史孔伯、兗州刺史劉岱、河東太守王匡、勃海太守袁紹、東郡太守橋瑁、廣陵太守張超（張邈之弟）、山陽太守袁遺及騎都尉鮑信等人。荊州刺史劉表得知消息，也聚兵屯駐襄陽，與義兵遙相呼應。長沙太守孫堅則率兵北上，準備直接投身討董運動。
由於曹操的首倡，才形成了一個全國性的天下共討董卓的高潮迅速到來。關東諸軍分駐各地，袁紹同王匡駐河內，韓馥駐鄴城，孔伯駐潁川，袁術駐南陽，曹操與劉岱、張邈、張超、橋瑁、袁遺、鮑信等人駐酸棗，於是他們開始聯合，共同討“賊”。駐紮酸棗的諸軍，設壇盟誓，由張超手下的功臣臧洪登壇宣讀誓詞。臧洪聲討董卓暴行，辭氣慷慨，涕淚交流，在場的將士無不深受感動。由於袁紹是“四世三公”之後，在消滅宦官的行動中又出過大力，同董卓鬧翻後又率先逃到冀州反對董卓，因此在盟會上大家公推袁紹為盟主。袁紹得知消息，欣然領受，自號車騎將軍，領司隸校尉。
但是，接下來關東諸侯雖陳兵前線，以討董救國相號召，而實際上卻同床異夢、各懷一心，隻想保存實力，並沒有同董卓真正交鋒的打算。對此，曹操十分失望，他氣憤地對各路將領說：“起義兵而誅暴亂，今大軍會合已齊，現在還有什麼疑慮的呢？如果我們剛開始舉動，董卓扶持王室，占據長安、洛陽各地險阻，以皇上的聲威號令天下，盡管他們殘暴無道，但還是讓人擔心的。可現在董卓竟然劫持天子、焚燒宮室，舉國震動，人心惶恐，天怒人憤，這正是他自投羅網，一戰即可定天下，這時機萬萬不可錯失啊！”
諸將對曹操振振之詞無動於衷，曹操決定單獨出兵，以此帶動諸將，結果僅鮑信兄弟響應，連張邈也隻派衛茲帶了少量士兵隨同作戰，自己依然按兵不動。
曹操無奈，隻有靠僅有的兩路人馬奮勇出擊了。他準備先占成皋，再作良圖。但在滎陽汴水岸邊與董卓大將徐榮大軍相遇，曹操部下皆為新兵，訓練不足，董軍卻是久經戰陣的涼州騎兵，終於激戰一天敗北。鮑信受傷，鮑韜、衛茲戰死，曹操也中箭，坐騎也受了傷，隻是靠了曹洪舍命相救，曹操才幸免於難。
汴水一戰，是曹操軍政生涯的一次慘敗，也是他以血的代價換到的一次鼓舞：天下諸侯皆非救時之才，能成事者，操爾！隻是他還必須從頭做起。這一戰雖然是失敗了，但是曹操這種深明大義的舉動卻受到了廣大民眾的支持和歡迎，也讓他獲取了廣大的民心，世人隻認為曹操才是真心拯救亂世的英雄。這些因素都為他後來的招兵買馬，擴充實力起到了決定性的作用。