杨家的青山楼最初是因为杨晞和杨玄珪被刺杀而得到天子的特批成立，实际上就是一个武士组织，刚开始有五百名武士，但发展几年后，已经有一千余人，但在官方备案上依旧只有五百人。
杨家的青山楼已经有一千多人的规模，就不再适合驻扎在城内，正好天子李隆基把庆王的天青庄园赏给了杨国忠，杨国忠索性就把天青庄园作为武士的基地，又将天青庄园改名为青山庄园。
青山庄园位于城东，依山傍水，风景秀丽，占地二十顷，四周修建有围墙，庄园内没有种麦子，全部都是草坪，是庆王的跑马之地，杨国忠在庄园内修建了二十几座大木屋，使它成为青山楼武士的抓驻扎之地。
三更时分，一万士兵从四面八方进入了青山庄园，很快将数十座木屋团团包围。
大将管崇嗣一挥手，士兵们一脚踹开门，冲进了屋内.
兵不血刃，一千三百多名青山庄园的武士被押了出来，全部被抓了壮丁，编进了军队，只有首领杨建正好来城内探亲，逃过了一劫。
次日上午，杨建把消息传出来，杨家几名重要人物紧急商议。
包括杨国忠、杨锜、杨铦以及虢国夫人和韩国夫人，一共五个人在一起紧急商议。
“哥舒翰就是故意挑衅，丝毫没有把我们杨家放在眼里。”
杨锜一阵咬牙切齿，他对虢国夫人杨玉珮道：“三妹，你一定要把这件事告诉天子，恳求他替我们做主！”
杨玉珮对天青楼武士从来就不感兴趣，她一直用不上，每年还要花大钱养活他们，杨玉珮早就有意见了。
她柳眉一竖，“你们堂堂三个大男人，一个当朝宰相，一个秘书监令，一个太仆寺卿，你们不知道怎么办？却来问我一个女人，伱们好意思吗？”
杨国忠毕竟做了好几年宰相，他知道有的事情见不得光，他缓缓道：“青山楼我们有把柄，天子只批了五百名武士，但实际上我们扩增到一千三百人，天子批准的是武士，我们却擅自改为带甲骑兵，如果哥舒翰抓住这两点说事，我们会很被动，甚至会被朝臣群起攻之，这件事我们只能吃个哑巴亏。”
杨锜和杨铦怒道：“一千多人啊！难道就这么算了？”
杨国忠眼露凶光道：“哥舒翰既然做了初一，我们就会做十五，等着吧！只要他有把柄落在我手中，我就绝不会放过他。”
哥舒翰对杨家的这次偷袭，使杨家吃了一个大哑巴亏，也使杨国忠和哥舒翰之间由此结下了深怨。
时间一晃到了八月初，坐镇河北的史思明和蔡希德两支军队十分不顺，屡战屡败，而他们的对手正是统领河东军的李光弼以及统领朔方军的郭子仪。
燕军在河北失利，给了安禄山极大的压力，他脾气十分暴躁，经常挥鞭暴打身边的人，像左右相国严庄和高尚，经常被抽得满脸血痕。
而哥舒翰也一样老奸巨猾，死守潼关天险，使燕军久攻不下。
安禄山终于忍无可忍，限崔乾佑半个月内攻下潼关，不然提头来见。
宰相严庄也安禄山被派到陕州督战，如果八月底之前再攻不下潼关，他也同样会被处斩。
大帐内，严庄和崔乾佑商议着对策。
崔乾佑缓缓道：“如果能把哥舒翰骗出潼关，那么此战我就有把握了，根据我得到的情报，哥舒翰这个人耳根子比较软，关键在他的两个副将，王思礼偏向于出奇兵，比较贪攻，我的军队几次表现比较弱势，王思礼几次劝哥舒翰杀出潼关，但都被另一名副将封常清极力劝阻住了，所以封常清是个大问题，如果能除掉封常清，我就有把握把哥舒翰诱出关来。”
严庄眯着眼睛想了片刻道：“封常清之前坐了两年的冷板凳，据说李隆基很不喜欢这个人，主要是他没送礼，得罪了两个宦官，一个袁思艺，一个边令诚，那么我们同样可以利用袁思艺干掉封常清，我可以略施一个小计就能干掉他，然后再利用杨国忠和哥舒翰的矛盾，这一套拳打下来，潼关的局势就能按照我们的方向走了。”
崔乾佑点点头，“我完全赞同相国的反间之计！”
金吾卫将军黄玄之前是庆王李琮的人，自从李琮死后，黄玄又及时投靠了袁思艺，成为了袁思艺的一条狗，他对袁思艺的话言听计从，也正是如此，袁思艺才极力保住了他，使他没有被清算。