太兴三年六月祖逖确定刘琨死讯，无比悲痛，立像立碑。命军士司长个个身穿素服，吊祭刘琨。又命公孙成和王安将写给王敦的信带去送到王敦处，暗中告知慕容廆“段部生死，公当自断。”
祖逖自此设置，将座旁空位，经常自言自语对空位说到：“越石，今戎狄之盛，古之可有？”
“汝与我，闻鸡起舞，志在报国。”
“汝怎能先我而去？”
时而暗自流泪，数日不见一人、不食一餐、不言一语。刘琨婢女武氏南下，到了祖逖处。献上刘琨平时写的诗集，和一支胡笳。祖逖一概收归，将胡笳立于空座，不停的念刘琨的诗，直到声哑低靡才肯停下。
八月督军童建与董昭因为战后分配不合，怒上心起。派人遣刺客袭杀董昭又命人送信石虎表示归降。刺客至帐内，董昭与刺客相战。董昭赤手空拳刺客持剑，二人互博十回合，刺客不敌被董昭用胡凳砸昏，众人急忙进入董昭帐。刺客苏醒和盘托出。祖逖不禁赞道：“不愧为我之典韦，能自力而保！”童建得知刺客失手后，惶恐不安携亲信三百人北渡黄河投于石虎。石虎亲自迎接，对童建说道：“汝此来相投，乃弃暗投明。既封你为都尉！”童建感激不尽。
太兴四年，二月祖逖派董昭攻汝南郡，桃豹败退而走。两军对峙四十余日后，祖逖，桃豹粮食逐渐不足。祖逖问于众人破解之法。
桓宣见此说道：“祖公善兵戈，却不知兵法。”
祖约说到：“我兄若不知兵，何有今日之业？”
祖逖止住祖约让桓宣继续说下去。
桓宣说到：“有言道，实者虚之，虚者实之。如同诸葛武侯骗司马懿之粮，有怒而不敢攻，有粮皆献于我也。”
祖逖让桓宣继续说下去，桓宣说到：“桃豹军粮，由汴水而下。我诈而诱之，必获其粮。”
祖逖大喜说道：“汝真乃我之郭嘉！”
众人商议后于是命士卒一百夜中装粮运送，桃豹斥候查看后报于桃豹。桃豹领军攻之，夺取祖逖军粮。发现祖逖粮车中粮袋，个个饱满，打开看到粟米充盈，于是认为祖逖粮食充足，斥候所报有假，于是斩斥候三人。派人向石勒索粮，要求快速补给，祖逖在汴水设伏兵三百由董昭带领，石勒粮船到后，桃豹命人搬运。粮船离去，粮袋堆积如山。桃豹命人清点，这时伏兵四出，桃豹弃粮而逃。祖约尽夺石勒运给桃豹的军粮，逼得桃豹退守东燕。祖逖命冯宠进占封丘，压逼桃豹，桃豹因军中无粮只能撤兵。三月公孙成和王安回到祖逖处，祖逖问二人王敦与朝中诸事。二人一一作答，得知戴渊将要接替祖逖。祖逖三日一言不发，不进食。众人见状苦求祖逖，为当下而谋。祖逖这才恢复以往。
四月桃豹败逃后，祖逖又多次出兵进攻石虎麾下赵军，使石虎疲于防守。石虎问计冉良，冉良不知如何是好。
李农建言道：“不如暂时北退，以防祖逖夜袭！”
石虎听从。
于是二人撤军黄河以北。河南境内有赵固、黄建安、倪超、上官巳、公孙珑（公孙其华）等人割据一方，因各部缺粮，互相掠夺，兵戎相见。倪超部曲被赵固，上官巳二人攻溃，倪超仅剩十人来投祖逖。祖逖接纳倪超并遣王安、桓宣斡旋，王安见赵固说到：“汝自兵一方，何不投祖公？”赵固说到：“于我何益？”王安继续说道：“汝既不投石勒，又为害周边，各路豪强皆想杀汝而并其众！汝疲于应付，若投之祖公。不仅使周身安然，还可为朝建功。”赵固于是答应归附。桓宣见到黄建安时看到石勒的亲信也在这里，二话不说持剑就砍，石勒亲信被桓宣斩杀。黄建安大为恐惧，命人将桓宣逮捕。
桓宣说到：“汝乃晋人，今与石勒共谋。何也？”
黄建安说道：“我势单力薄，欲降石勒何错之有？”
桓宣说到：“今石勒使者死于尔地，汝还想与石勒共谋呼？”
黄建安说道：“乃足下所迫，至我于何地！”
桓宣说到：“北有石勒，周围豪强而据。汝若再杀我，岂不得罪于祖公？”
黄建安于是命人解开桓宣，桓宣说到“祖公正欲北讨石勒，各路豪杰纷纷往之。汝何不投？”黄建安听闻后也只能答应桓宣率部归降。上官巳得知黄建安何赵固二人已投祖逖，不知自己去向，于是询问帐中诸葛青。
诸葛青悠悠然说道：“今晋室必将再乱，君臣不睦。洛阳已复，晋庭却失进取之心。祖逖北伐必然受阻，我等届时又投何人？不如北投石勒。祖逖使者必然到此，令兵众身穿破衣烂甲。持锈器，命众作哀状。来人观之，则自退耳！”
上官巳听从。祖约前来，看到上官巳其人部众，个个有气无力，手持断戈，残破不堪。如诸葛青所料未与其议，自退而走。赵固，黄建安，倪超都服从祖逖，带军攻打赵军。收复黄河南岸中原土地。祖逖礼贤下士，善恤民情，关系疏远、位低之人，也能施布恩信，予以礼遇。将士有功，加以赏赐。他生活俭朴，不畜资产，劝督农桑，深得民心。
公孙珑（其华）扣押祖逖来使樊雅，命匪首麻曳据山头而掠民。祖逖命冯宠率军攻其山寨樊雅出逃，公孙珑（其华）率领其众避于祖逖。公孙成得知后请求单骑前去劝降，祖逖不准。公孙成说道：“使我前去必可劝降。”祖逖问到：“为何要与匪首劝降？”公孙成对祖逖说了来龙去脉。祖逖这才知道这位匪首是他的亲人，于是让公孙成前去劝降。公孙成一路打听，进入外黄县见到麻曳，麻曳看到公孙成后说道：“不想近十年之久，还能再见于汝？”二人相互叙旧，公孙成请求见公孙珑。麻曳带他见了公孙珑，此时公孙珑在集合部众打算东逃，看到麻曳带着公孙成于是命麻曳点检部众。自己示意公孙成随她到县衙，公孙成跟随公孙其华来到县衙，问道：“为何下山掠民？”
其华说道：“部众近年少粮故而掠民。”
公孙成：“为何扣押来使？”
其华又说：“此辈处言不逊，处处言过。所以扣押。”
公孙成拉住其华的后衣说道：“汝百般如此，早晚必亡！何不投祖公？”
公孙其华话锋一转说到：“家父，今去否？”
公孙成说道：“家父日夜不思汝归，日夜自责。”
公孙其华说到：“众随我十数年来，多为祸百姓！我今归之，不知祖逖愿意纳否？”
公孙成说道：“我当力保，汝勿忧！”