曹操到陈留后，“散家财，合义兵”，且首倡义兵号召天下英雄讨伐董卓。

初平元年（190年）正月，后将军袁术、冀州牧韩馥、豫州刺史孔伷、兖州刺史刘岱、河内太守王匡、渤海太守袁绍、陈留太守张邈、东郡太守桥瑁、山阳太守袁遗、济北相鲍信等人一同举兵于关东，袁绍被众人推为盟主，曹操行奋武将军。

当时，袁绍屯河内，袁术屯南阳，孔伷屯颍川，韩馥在邺城，张邈等人屯酸枣。

二月，董卓胁迫献帝迁都长安，自己则焚毁宫室，挖开王陵，劫掠人民，致使洛阳方圆两百里荒芜凋敝无复人烟。

而关东联军惧怕董卓精锐的凉州军的战力，无人敢向关西推进。

曹操说道：“我们举义兵是为了除暴乱，如今大军已合，诸位还有何虑？如果董卓得知山东起兵后，仰恃天子的圣威，占据洛阳一带的险要地方，遣兵东进控制天下，尽管他的行动是不道义的，对我们来说仍然是很大的忧患。但现在董卓焚烧宫室，劫持天子西迁，海内震动，百姓不知归属，这是上天要董卓灭亡的时候，一战而天下可定，机不可失。”

于是，曹操引军西进，即将进据成皋，张邈也派部将卫兹分兵跟随曹操。

曹操行至荥阳汴水，与董卓大将徐荣交锋大败，士卒死伤甚多。

曹操自己被流矢所伤，所骑战马也受了伤，曹操的堂弟曹洪将马让给曹操，才使曹操幸免于难。

徐荣见曹操虽众少却能力战许久，认为酸枣不易攻下，也引兵撤回。

当时，诸军兵十多万，日日置酒高会，不思进取。

曹操回至酸枣后，出言责备他们，并向联军建议：“诸君听我之计，让渤海太守引河内之众兵临孟津，酸枣众将取成皋、据敖仓、封堵轩辕、太谷，将险要之地全部占领；袁将军率南阳大军进军丹、析，攻入武关，震动三辅。然后我们都深沟高垒，不与董卓交战，并更设疑兵，让天下看到我们的优势，让天下加入我们讨伐逆贼，如此天下可以立马平定。如今我们举兵是为了大义，却迟疑不肯进，令天下失望，我为诸位感到羞耻！”

结果，关东诸将却不肯从。

关东诸军名为讨董卓，实际各自心怀鬼胎，意在伺机发展自己势力。

不久，诸军之间发生摩擦，相互火拼。

至此，联军解散。

荥阳之战后，曹操兵少，于是与夏侯惇等人前往扬州募兵。

扬州刺史陈温、丹阳太守周昕给了曹操一共四千多名兵士。

曹操回军到龙亢时，大部分士卒都背叛了。

到了轾、建平，曹操又重新招募一千多士兵，进驻河内郡。

袁绍与韩馥谋立幽州牧刘虞为帝，曹操对袁绍说：“董卓之罪，暴于四海，我们集结大众、兴义兵，远近无不响应，正因为我们的行动是正义的。如今幼主微弱，受制于奸臣，却没有昌邑亡国之兆，而一旦改易天子，天下人怎么接受？诸君北面称臣，我自西向。”

袁绍还曾经得到一枚玉印，一次曹操在座时，袁绍把这块玉印推到他的肘边，曹操表面大笑，内心却十分厌恶。

后来，袁绍、韩馥还是决定立刘虞为帝，但刘虞始终不肯接受。