徐乐未曾想到，杨广居然会提出这个问题。自己阿爷在世时不止一次说过，徐家人不该屈身辱志成为世家走狗，言语间更是把天下世家都视作民贼看待，其中是否也包括晋阳李家在内则不得而知。
自五胡乱华开始，天下礼崩乐坏，人间几成森罗屠场。这句话并非单指人命轻如草芥，也指整个天下的秩序彻底失控，世上已经没了道理二字。天下名山大川，江河水泽乃至百姓田土，纷纷为世家门阀所攫取，从天下共有之物成了一家一姓私人财物。
乃至于文字、书籍以及武艺，也成了世家财富的一部分，非自家人不传。所谓三世长者知被服，五世长者知饮食，便是世家将学问化为自家私产的写照。就连如何穿戴如何烹制食物，都成了世家自己才知道的秘密，又何况其他。
以武艺论也是如此。天下将门世家各家都有自己独门绝技，非本家本姓又或是足以交托基业的心腹亲随不传。就算是徐家自己的吐纳方法，也一样是不传之秘，除了徐乐、韩约之外其他人也学不到。
即便是素来看不起世家，推崇人人如龙的徐家尚且如此，其他人家就更不必说，凡是以武艺军功建立家号成为世家的人家，或多或少都有些类似的绝技。哪怕后辈子孙不肖，难以学会这些本领或是导致艺业失传，也不会教给外姓之人，更不会在军中普及开来。这也是为什么徐卫身死徐敢携孙归隐之后，徐家的墙式骑阵乃至玄甲铁骑就此从隋军中消失的原因。
按照徐敢所说，世家对于天下的控制从东汉年间便已经开始，到了五胡乱华时候更是达到巅峰，乃至杨坚一统宇内也未能改变这一事实。天下的财富、田土乃至户口，大部分掌握在世家手中。朝廷所掌握的户口数字只是百姓实际数量的一部分，并不能窥见全豹。
很多时候大乱之后天下户口减半，并不是那些人真的死了那么多，而是被世家名门趁机吞并，从在籍之民变成了世家的私有财产。由世家举荐或是世家子弟担任的官员，亦是对家族的忠诚超过朝廷。家族越是庞大势力就越强，就连江左王谢这等落魄世家，还能在鹦鹉洲养一支私兵，又能有五牙战船，何况其他人？李渊起兵能如此顺利，固然得益于晋阳宫中积蓄的财货，与他北地世家之首的身份也脱不了关系。
比起世家的权势，更为可怕的是，这种世家拥有一切的观念已经进入人心。不少百姓对这种情况也认为天经地义，并不认为有什么错处。毕竟这个天下大部分文士、武将都出自世家，他们自然会捍卫自己的利益。这些人身居高位言语效力远胜常人，有他们摇旗呐喊，很多人便会盲从。
晋阳军中大部分军汉都是来自民间普通百姓，私下