霍光乘车来到了右将军张安世的府邸，在此之前，他另派了仆人去通知了另外一人让他也赶到右将军府，这个人便是给事中田延年。
由于事关机密，张安世特地把密谈的地点选在了府内藏书阁中，并把附近的仆人都打发走了。
三人一道步入阁中，在席子上坐定。然后霍光缓缓开口道：“今日找你们来是因为皇帝的一封诏书！”霍光说着从袖中拿出一卷竹简，递给张安世。
这封奏书正是皇帝刘贺下达的给霍光放假三个月的奏书。张安世看过之后，面色大惊，又把他递给田延年。田延年迅速看过之后，脸色如常，又把它还给了霍光。
“大将军，此事非同小可啊，陛下奏书里表面上说是念你多年操持朝政辛苦，放你三个月假，可实际上就是想调虎离山，趁此机会夺取您所掌握的军队！”张安世先说。
“我看这只是他的第一步，这接下来就是罢免大将军的官职，重新任命自己的人取代大将军，然后就是对付右将军和杨丞相，再之后就是杜太仆乃至整个三公九卿，总之圣上是想把整个朝廷换成他们昌邑国的人，这咱们绝不能忍！”田延年说道。
“可他已经是皇帝了，不能忍，又能如何，普天之下，莫非王土，率土之滨，莫非王臣！这天下都是他的，我们这些做臣子又能如何！我今天来找你们，就是想告诉你们，我打算明日向陛下上书辞官，告老还乡，免得陛下忌惮！”霍光淡淡地说。
“不可，大将军，此事万万不可！大将军是朝廷的脊梁，这些年朝廷能平稳运转多亏了大将军的领导。大将军若不在，那朝廷百官何以自处啊！”张安世道。
“你说的有理，可是自古有云功高震主，我对朝廷越是功劳大，陛下便越是忌惮。既然君臣不能一心，那我做臣子的便应当主动隐退，以免朝廷动荡！”霍光说道。
他脸上的神情萧索落寞，仿佛真的已经准备好要退隐山林似的。
“大将军为何如此颓废？君臣不能一心，自不能长久相处，可为什么是大将军你隐退呢？当今陛下即位不过十几天，你看他都干了些什么事，终日饮酒无度，与一帮昌邑国来的市井混混宫中歌舞升平，甚至还调戏先帝的宫女，对大臣们的劝谏也充耳不闻。如此不忠不孝不义之徒，若要让他继续做皇帝，天下还不知道要成什么样子呢！”田延年说道。
田延年说完，霍光和张安世都没有开口，都只是望着田延年在等他接下来的话。
田延年舔了舔喉咙接着说：“当年孝武皇帝临终前将先帝托付给了大将军，也即大汉江山社稷托付给了大将军，如今先帝也去了，新帝肆意妄为，如果大将军放任不管，消极避世的话，大将军有何颜面去面对先帝，更有何颜面去面对孝武皇帝呢？”
田延年说完，张安世点头表示赞同，霍光却是抿着嘴，一脸凝重闭目不语，似在思索也似在做着什么艰难的决定。
过了片刻，霍光才猛然睁开眼，问道：“那田大人的意思是？”
“废掉庸主，另立贤君！”田延年一拂袖子，满脸严肃地说道，他的语气坚定斩钉截铁，不容人质疑。
霍光听后眉头紧皱，摇摇头说道：“此计太过冒险，且不说可不可行，单说就算我们废掉了刘贺，那该选谁做接着皇帝之位呢，此外，身为大臣废掉皇帝，此乃以下犯上之举，我若行此事，那天下百姓会怎么看我，百年之后后世之人又会如何看我？他们会说我霍光是乱臣贼子，贪恋权势。”