说“颍川是四战之地，如果天下有变，那就会经常受到侵略，应该早离去，不能久留。”但乡人们多怀恋故土，不愿离去。时冀州牧同郡韩馥派人接荀彧，却无人相随。荀彧只得独自将宗族迁至冀州避难。

到冀州后，冀州已为袁绍所得，袁绍见荀彧来，待之为上宾。荀彧弟荀谌和同郡辛评、郭图都在袁绍手下。荀彧却认为袁绍最终不能成大事。

初平二年（191年），荀彧离袁绍而投曹操。曹操见荀彧来投，大悦，说“这是我的子房啊！”于是任荀彧为别部司马，荀彧时年二十九岁。

当时董卓威陵天下，曹操问计于荀彧，荀彧说“董卓残暴已经超出常理，一定会因祸乱暴弊，不会有什么作为的。”后董卓派李傕等出关东，虏略各地，至颍川、陈留而归。荀彧乡人多数死于战乱。