两场胜仗，或是几个能臣猛将能够挽回。大好山河随时可能崩解，稍不留神就有可能让天下重新陷入当年五胡乱华黎民涂炭的情景。
于此等情势之下，他也只能重新考虑昔日割据之谋。将财货钱粮精兵猛将乃至文武重臣转移至江都，便是希望以此为根基实现南北分治。先守住东南之地，日后寻机北伐重新一统天下。
江都虽为东南重地，可是论及城池规模，终究不能和长安相比。杨广登基后便将原设于江都的府邸扩建为行宫，到来之后更是大兴土木将行宫改为宫殿。修江都、临江、显福等宫殿，内置美女千人财货无数，以供自身享乐。
如此一来，城中空余土地更为稀缺，文武百官的居所便成了一大难题。哪怕是把原本城中富商、官员的宅邸悉数征收，也远远不能满足百官需求。江都城寸土寸金，城中每座寺庙内都少不了官员携家眷借宿。哪怕邻居乃是早有嫌隙的同僚，这时也只能捏着鼻子忍下，否则就只能流落街头。庙堂大臣为僧人慢待乃至言语嘲讽之事，也不足为奇。
这等情形下，江都城内谁的府邸规模大，谁的宅院更有气派，就成了判断此人官职大小是否受宠的标准之一。自杨广迁都以来，其做扬州总管时的藩邸旧臣以及江南士人占据上风，城中大宅也多半为其所有，但其中也有些异数存在。像是宇文化及、智及、士及三兄弟，便是这异数之一。
宇文弟兄祖上为匈奴人，本姓破野头。其祖为北周上柱国宇文盛，其父大将军宇文述既是大隋重臣，更是杨广亲信，乃至杨广之所以能夺嫡成功，也多赖宇文述之力。是以对宇文弟兄极为关照，特意将自己长女“南阳公主”嫁给宇文士及为妻。
不过三兄弟并无其父本领，宇文士及为人才具平庸，胜在谨慎小心，与南阳公主夫妻相得。虽不能建立功勋，但也可以守成保全家名。宇文化及、智及两兄弟便是实打实的“破家之子”才德皆无，乃是朝中有名祸害。
昔日在长安时，两兄弟便无恶不作，宇文化及更是被称为“轻薄公子”。为了财货之利甚至在随杨广北狩时不惜违反旨意向突厥人走私军械，若不是南阳公主求情，两兄弟当时就要被斩去首级。由于有这桩祸事，两人被革除官职变成白身。
直到宇文述病故之前，特意向杨广托孤，两人才得以重入庙堂。宇文化及如今为右屯卫大将军，宇文智及则为将作少监。两人一个手握兵权，一个执掌器械，虽算不上位及人臣，但权柄甚重，由此可见天子对两人的态度已经大为改变。
再者杨广自从到了江都之后，于朝政越发荒废，每日沉迷醇酒美人不能自拔。这两人本就是飞鹰走狗吃喝玩乐的行家，自能逢迎君恶