凉州刺史张寔不敌刘聪，含恨而败，退兵至武威郡，郁郁成疾，并州刺史刘琨被石勒击败，祖逖挫败刘曜前军，公孙谨终因年事以高，不能继续担任威晋将军和讨虏都督表辞于司马睿，上疏说到：“臣年老无多，昔攻破王弥，击退胡虏，观天下糜烂，谨纵有威晋之心，却无退贼之力。今举家子公孙成于琅琊王，公孙成之才胜谨两倍有余，将其历练时日，必可为安一方。”司马睿看到公孙谨奏疏后下奏不复。司马睿向魏宗占卦，魏宗占后对司马睿言：“晋失天命，二帝遭俘。速作帝尊，可谋复国。”司马睿听从，立封魏宗为太师。建兴五年元月司马睿携带臣下隶属在建康大肆封官。
三月初四，焦崧、陈安进犯陇石，与刘曜相持，雍州、秦州之民十之八九死于战乱。焦崧、陈安进逼上邽，南阳王司马保派使者告急。任金城太守窦涛为轻车将军，率领威远将军宋毅以及和苞、张阆、宋辑、辛韬、张选、董广率军两万赴援。军队进驻新阳，晋愍帝驾崩的消息传来，所有晋臣听闻穿孝服举哀，聚哭三日。南阳王司马保图谋称帝。
破羌都尉张诜对张寔说：“南阳王自称帝号，上天不授其命，德行不足。此非济时救难之人。司马睿德才兼备，先帝依靠属意之人，宜上表称颂圣德，劝其登帝位。”
张寔听从其意。于是向天下发送檄文，推崇司马睿为晋朝皇帝，派牙门蔡忠奉表章到江南，劝司马睿称帝。
三月初九司马睿进晋王位，四月改元建武，晋旧臣张寔、刘琨、段匹磾、刘翰、祖逖、祖约、王敦、王导、谢裒、刁协、公孙成、关陂、陶侃、桓彝、温峤、庾亮、阮放、刘遐、应詹、卞壸、郗鉴、陆晔、司马羕、王舒、苟悦、曹炳、魏宗、慕容廆、戴渊、熊远、刘靖、刘隗等一百八十人遣使上书劝进。
十日后司马睿登基称帝，改元太兴。凉州张寔依旧用建兴年号。受百官朝贺时，司马睿再三请王导同坐帝座受贺，王导再三辞让不敢当，说道：“君臣有别，臣乃草木帝乃日月，百姓是视之日月还是视之草木？”司马睿听闻于是追加王导总百揆，揽朝政。入朝不趋，赞拜不名。王导不肯受，晋元帝司马睿说到：“公不可再辞，乃必受也。”王导只好拜谢司马睿。
司马睿布诏封王导骠骑大将军、开府仪同三司，封武冈侯。使王敦担任大将军、江州牧，封汉安侯。统辖江荆二州郡，自收贡赋，都督中外诸军事。王彦为右仆射。王悦为会稽郡郡司马（郡丞）。王才追赠抚军长史，平东伯，王协为抚军参军。王正为尚书郎。王劭任东阳太守。王会为副御史。王荟任吏部郎，出任吴郡太守。命王羲之任秘书郎。王籍之任安成太守。又赐王敦官印二百枚，可自行委任太守县令等职。命王导可自行决定六品以下官员任免。
刁协任左仆射、尚书令。戴渊赐前将军、尚书、中护军。令公孙成作豫州长史，继其父公孙谨威晋将军，讨虏都督。封刘隗御史中丞，兼任侍中，祖逖任雍、梁、兖、豫、青五州诸军事，豫州牧。桓彝迁中书郎、尚书郎。庾亮任领著事，于东宫侍讲。温峤拜散骑常侍。兼任太子中庶子。
公孙成听闻成命，收拾行囊含泪对公孙谨说道：“城父，成将远去，幼子只能交予城父照料。”
公孙谨言：“汝去祖逖处，凡事多询问。兵识如若不一，应先遵祖公之意。后私下在言。今将此书交予汝，此书乃昔日邓艾相赠。吾正是以此书中兵阵大破王弥十万之众。”
公孙成接过公孙谨手中之书，行父子礼于公孙谨，后又见了其妻张妤，二人相拥而泣。互诉离别之苦，又抱起二子，放置两肩，快步两圈。二子嬉笑。
长子公孙煊问：“父去何处？”
公孙成言：“豫州。”
公孙煊又问：“豫州于何？”
公孙成言：“司州东南”
公孙煊说：“刚从司州避难而下，为何父亲又要去？”
公孙成说：“为复还故土，必须前去。”
公孙煊说：“煊愿随父，光复故土。”
公孙谨接过公孙煊说：“五岁幼子，有此之志，乃先祖公孙度之佑。”
话毕，再拜公孙谨。公孙成带行囊乘朝廷牛车而走。公孙煊和其母张妤哭着远送公孙成，公孙谨命侍从取笔和纸。写诗道“乱兵满地压群雄，百口流离四海空。唯有江东后宗老，力扶炎祚与天通。”
司马睿布诏要亲自带兵北伐，君臣闻诏皆感骇然，公孙谨上疏说到：“天下未定，北方沦陷，各路诸侯败多胜少，陛下刚刚即位，当安定天下，平静四海。陛下何故亲自趋兵北伐？”庾亮奏言：“若陛下北征驾崩于外，国中必然混乱届时谁能掌控大局？”
王敦上疏道：“讨虏事，有祖逖刘琨二人，此时当护当下之基业！数年之内不可言北伐之事。”
王导奏说：“天下事，已至此臣请暂缓北伐！”
司马睿诏王敦，王导入宫对二人言：“五胡乱华，诸夏不敌胡虏，致使九州百姓惨遭屠戮，士族各相奔逃，祖宗之土尽归胡人！朕登基为帝志在四方，正为复昔日故土！他人不解朕意，然卿等何故阻拦。”
王敦感到惊愕说到：“君上此座，乃臣趋兵数月，结交吴人上下奉承，才求此之位。今故土沦陷臣何尝不想复还故土？现所剩各州兵马所合不足十万，一但北伐有失，恐社稷危矣。会使江山倾覆，祖制崩毁。届时胡人若自制书文，弃我文言，天下士族龟缩一城之地，苟延残喘百年再被胡人所灭，中国渐疏。现今应当养精蓄锐，培育良将待五胡势哀。奋武锐，一战而定，可复天下！”
王导言：“堂兄所言，愿帝听之。当缮甲兵，修武备，建高城，据守要害为子孙计！”
司马睿听闻王敦，王导这么说。无耐叹息道说到“多亏公言，及时醒我。”
于是更改诏命为“劝课农桑，轻徭薄赋，北方流士赐田赐粮。激励生子，生一子免徭役二年，免粮税半年。生二子，赐耕田。免徭役三年，半年所需粮税减半。”