贞元十二年的拐卖案，牵连犯官数千人，牵连的大家族也有十几个。
在咸阳牵连的最大三家包括李家、朱家、窦家，而在长安牵连最大的，莫过于杜家了。
本来有资格拜相的吏部尚书杜佑被直接流放别说，还被德宗申明永不录用，本来高郢、赵宗儒等人力主祸连五代，也就是说，杜家五代以内的男丁都不能参加科举或者参军，在霍子玉的反对下作罢，仅仅牵连了两代人，这让杜佑激动的几乎当场给霍子玉跪下。
别人都以为是霍子玉宽厚，但是只有他自己知道，杜佑可是杜牧的亲爷爷，好家伙，如果封杀杜家五代人，那岂不是连杜牧也给牵连了？“小杜”杜牧和“小李”李商隐在后世就以郁闷不得志著称，他可不能让人家还没出生就背个罪臣之后、永不录用的帽子。
二人骑马缓缓前往城南，霍子玉问道：“仲初为何强烈建议我去一趟杜府？”
“嘿嘿嘿，杜老头这时候喊你过去谈话，摆明了是要贿赂你，你要是不去，可不就是亏大了？”王建笑道：“杜家虽然被流放，但是并没有罚没多少财产，家族财力还在，咱们去也是探探底嘛！”
“哈哈哈，好你个仲初，不愧是我的狗头军师啊！”
“艹，替你捞好处，你还骂我狗头军师，不行，就凭你这一句，稍等拿到好处必须分我一百两！”王建作势不依不饶道。
“我勒个去，我是真服了你了，”霍子玉假装无语道：“行，送钱就分你一百两；要是送美女，我就都给你！嘻嘻嘻”
“握草，别别别，”王建急忙阻止道：“我家那口子过几天就到长安，你这时候送美女给我，你想让我死啊！”
二人说说笑笑间，很快便来到了城南杜家，而杜十早就远远地候着了，见霍王二人来到，连忙跑过去为二人牵马。
霍子玉下马道：“老人家不必麻烦，我家赤兔通人性，不必牵。”
杜十闻言，这才仅仅牵着王建马缰绳道：“我家主人已经在家主厅恭候二位了，您请！”
说着径直将王建的马缰绳套在府外拴马桩上，自己领着霍王二人入府。
除了抓李四五时去过李则之家，霍子玉是第二次来到别的权贵之家，但是进府就发现了杜府的阔气，好家伙，光主家府邸就得有十亩地，府内的池塘都快赶上兴庆宫的龙首池大了！
三人好一会才走到杜家大堂，只见杜佑已经领着全家老少二百多人在大堂外的空地等候霍子玉了，见霍子玉来到，杜佑躬身拜道：“罪臣杜佑携杜府老少拜见侯爷！”说着便带头跪下了。
霍子玉见状，便三两步上前，将之扶起道：“杜大人实在客气了，您老德高望重，岂可给晚辈下跪！”
杜佑似乎近期老了好多，只见他起身后拱手对霍子玉道：“罪臣哪敢得侯爷称为大人？至于德高望重，更不敢当，真德高的话，家族也不会出败类了！”
霍子玉知道自己说话似乎是不太妥当，但是他也不知道怎么说了，只得说不必自称罪臣，杜佑这才点头躬身做了一个请的动作道：“侯爷您请堂内坐。”
将家人疏散后，杜佑领着霍子玉来到大堂，将霍子玉让到主座后，自己在霍子玉左下首坐下，这才道：“老夫稍等亥时便将居家发配播州，数千公里，且不知将何年何月再见侯爷，也或许今生都无法再见，因此特将部分家产与家眷托付侯爷！”