建安十一年正月，曹操亲自带兵攻打壶关。
高干一听说曹操亲自来了，顿时吓得心惊胆战、魂飞魄散。
他知道自己根本不是曹操的对手，便来了个金蝉脱壳，命令夏昭、邓升等部将守城，自己则带着一队手下亲信悄悄地从壶关逃往了南匈奴。
南匈奴此时的单于是栾提呼厨泉，他是于夫罗的弟弟，于夫罗死后，他便继承了哥哥的单于之位。
早年时于夫罗与袁绍结盟，共同对抗曹操。
后来呼厨泉又和高干共同攻打河东，所以袁家和南匈奴的关系始终不错。
呼厨泉这个人很有意思，他先是跟曹操作对，被曹操打败了之后，就归降了曹操。
随后呼厨泉又与高干在平阳发动叛乱，又被曹操打败，又归顺了曹操。
现在高干发动叛乱，逃往了南匈奴，呼厨泉又接纳了高干。
曹操一看呼厨泉如此反复无常，便将南匈奴分为五部，每部择立贵族为帅，另选汉人为司马对其进行监督，同时还把并州的匈奴人编入汉族。
这样一来，南匈奴总算是平定了下来。
高干跑到南匈奴找呼厨泉，是想跟他再度联手对付曹操。
但呼厨泉经历了平阳之战后，早就被曹操打怕了，说什么也不敢再无事生非，便婉言谢绝了高干的要求。
劝说不成，高干只好垂头丧气地带着手下人马返回晋阳，却发现那里早已物是人非，全部换成了曹操的亲信。
突然之间，高干一下子就变成了丧家之犬，无处可去、无家可归，叫天不应、叫地不灵。
高干带着手下的兄弟在野外漫无目的的闲逛，无意之中听说司隶的河东郡周边发生了叛乱，张白骑正攻打河东东垣，上党郡各县长吏也都被杀，弘农郡太守也被人囚禁，等等。
高干一琢磨，这倒是个机会。
反正自己如今也走投无路了，不如加入盗匪，上山落草为寇吧，好歹也有个安身立命之处，总比这么四处流窜强。
于是高干便带着手下一帮兄弟朝着河东郡赶去。
在到达濩泽的时候，高干终于找到了张白骑。
原来这个张白骑只是绰号，他的真名叫张晟。
张晟手下有万余人马，再加上弘农郡的张琰、河东郡的卫固、范先，一共集结了数万人马。
高干了解了情况之后，不禁喜出望外，也跟大家透露了自己的身份，号称自己是并州刺史，只字不提被曹操追杀的事。
瘦死的骆驼比马大，众人一听原来是大名鼎鼎的高干，立刻对他另眼相看，有一种一见如故、相见恨晚的感觉。
这日傍晚时分，几个头领便欢聚一堂，开怀畅饮起来。
高干率先端起酒碗道：“结识几个兄弟，是我高某的荣幸，这碗酒我先干为敬！”