祖逖进驻沛国派参军殷乂去联络张平，樊雅二人。此时凉州刺史张寔拥护晋王司马睿的奏章传至，祖逖派遣其弟祖约，携带劝进文，到建康表忠心。
殷乂到了张平处，殷乂到了张平这里，士卒个个面黄肌瘦。
殷乂便对张平说道：“为何士卒如此不堪？”
张平说道：“自永嘉之乱来，此地粮仓见底，现士卒以树皮为食，以为充饥！！”
殷乂一脸轻蔑看到张平。
殷乂说道：“如此岂能为祖逖效力？”
张平含着怨气说道：“难道没有祖逖，我一人不能抵抗石勒吗？”
殷乂说道：“臭鱼烂虾，岂能成事？”
张平持刀斩了殷乂，其麾下谢浮说道：“祖逖派此人前来，并无成心与我为盟。不如举兵自守，自建功业！”
张平听从，与祖逖相抗。祖逖攻城不下，遂使用离间计，众人商讨对张平部下谢浮下手，夜间祖逖命王安携带金银面见张平部将谢浮，谢浮见王安携带金银珠宝立刻邀入帐内。
王安对谢浮说：“汝等本为晋人，今据城固守。何也？琅琊王司马睿已经率领吴地三十万军欲以北伐，届时尔等若继续固守，恐不得善。今祖公恩浩，特赦尔众，尔众若归附则各有奖赏。”
谢浮说到：“吾等本无与祖公相抗之意，乃张平一意孤行。足下可留钱财，我谋张平后，即率军而归。”
谢浮借与张平商讨军情之机，杀死张平，率众归降。祖逖进据太丘，但因军中乏食，处境艰难。张平死后，樊雅仍占据谯城。夜中樊雅率众夜袭，直逼祖逖大营，军中大乱。
祖逖军中督护董昭持矛以一当百大破贼军，终于击退樊雅，祖逖赞董昭有典韦之勇。祖逖又率部追讨，却遭到张平余部的迎击，便向乌堡主陈川、南中郎将王含求援。陈川、王含分别派部将李头、桓宣率军助战。李头在征讨樊雅时，连破樊雅三阵力战有功，颇得祖逖礼遇。
常叹道：“若能得祖逖为主，死而无憾。”
陈川闻知大怒说到：“汝主吾也，何以赞他人之贤？”
怒上心起遂杀死李头，李头的亲信冯宠便率所部四百多人投奔祖逖。陈川更加恼怒，至祖逖书文破口大骂。又派部将魏硕劫掠豫州诸郡，结果被祖逖派兵击溃。陈川败逃，便率部归附石勒。石勒命其驻扎于豫州北，以阻遏祖逖北伐。
桓宣到了祖逖处，祖逖就让桓宣去劝降樊雅，桓宣单马入谯城。
对樊雅道：“祖公欲联慕容廆和刘琨荡平刘聪、石勒。仰仗于公，以公为后援。先是殷乂轻薄无礼，并非祖公本意。如此时和解，可建立忠勋，能保富贵。但若还要固执，朝廷派出猛将，凭你手下乌合之众，依据一座危城，北边又有强贼窥伺，届时石勒攻之，汝何以为守？”
樊雅听后对桓宣说：“汝有张仪之才，吾素来敬佩说客。今汝数语，令我归心。”
遂出城归降。祖逖攻占谯城后，终下豫州，通北伐之道。桓宣则率部返回。不久，石虎围困谯城，王含又遣桓宣来救。石虎闻听桓宣前来，撤军而退。桓宣于是留在谯城，协助祖逖征讨不归附的坞堡主。这时正值司马睿登基称帝改元太兴。朝中使者到陈县（豫州治所在陈县）处，宣诏封祖逖为豫州牧，都督五州诸军事。公孙成随使者到任，拜见祖逖，祖逖把豫州帐册给了公孙成。让他在三日内重新整理豫州户口粮田，并让其略访豫州，将手下斥候五人交由公孙成调遣。
公孙成命五人和亲侍卫亲和章亩一日内走遍州七郡，在七人归来后。公孙成整理七人所见所闻。后日公孙成将粮册和户口统计重新造册。
将帐册交给祖逖，豫州，下辖颍川郡、陈郡、鲁郡、汝南郡、谯郡、弋阳郡、阳安郡、襄城郡、汝阴郡。现共计七万户，夫妻健存之家三万户，孤儿寡母者共三万户。老妪独居者万户计，荒田千顷。四郡内史，二十余县官与民医勾结制卖五石散，并掠夺精壮男子卖于郡内地主充作兵丁，多民流亡于外，耕种者仅十之一二。剩二郡之地未查。
祖逖接过账本，自言说到：“此乃诸王相争，朝中王衍、胡毋父子、石崇等清谈之辈所致！”
王安向祖逖进言：“天下未定百姓流离失所，可招流民入内而耕。将制卖五石散和诱卖人口的县官太守一一上疏交朝廷治罪。”
祖逖命众将部卒且耕且战，又命王安带军五百去巡查豫州内，公孙成随王安一同前往。二人路上闲聊。
公孙成说：“祖公真乃神人也，既有白起、韩信之兵识也有管仲，乐毅之才。”
王安说道：“若无祖公相救，恐我已成刀下冤魂。”
公孙成问王安道：“今岁几何？”王安说：“年三十二。”
公孙成说：“汝岁长于我，可否与兄称之？”王安说：“听悉长史之言。”
公孙成和王安行至汝阴郡洨县。草草望去县内空无一人，民房破败不堪，县府内大门无踪，院内枯草相缠，走进县内只有三户流民依居于此。见到王安和公孙成二人及身后百十卒，惊慌失措欲越墙而走。公孙成命卫亲和章亩将此中一精壮人捕获，押至公孙成马下。
公孙成和他说：“你可知县府内，县令何在？”
这个人连忙摇头，言匈奴语。
公孙成说到：“此人乃胡人也，不通晋语，难以交流。”
这时王安下马用匈奴语和此人交流。二人沟通完后。
王安告诉公孙成：“此人名綦毋必。随公师藩起事，公师藩被平。跟汲桑起事，汲桑被灭。又随苟晞，苟晞又被石勒所灭。部众只能各自流散，他到这里时，县内已经空无一人。他走遍周围县府，后面觉得只有此处可以安宿。”
公孙成诧异的对王安说道：“兄会胡语？”