人的地位也高不到哪去，乐户的地位日薄西山也就可以预料了。
对了，那个时候各国打来打去，乐人作为一种相对紧俏的“资源”，经常被胜利者俘虏。俘虏是什么地位，不用多说，这进一步加剧了乐人地位的下降。
隋及初唐基本是魏晋南北朝的延续，制度大同小异。在隋代，乐户甚至由罪犯配没，比如隋文帝时期的司马消难被从陈国抓回后，虽然免死，但被罚当了乐户，可见真不是什么好职业。
隋文帝杨坚对乐人而言，其实并不坏。因为他本人不好乐舞女色，因此除收编了少部分正声雅舞所需的人才之外，齐、陈两国的乐人大部分放归州县，编户为民。请注意，这一点十分重要，放归的乐人在地方上虽然很可能仍然从事着乐舞职业糊口，但他们身份上不是贱户，是正儿八经的民户，籍贯在各自的州县，有人身自由，可以考学。
隋炀帝时期出现了一点反复，这货挺喜欢音乐舞蹈的。但老子留给他的官方音乐机构里没几个人，而且也不怎么符合他的口味，于是又下令把原来放归州县、编户为民的乐人召集到京师，编为乐户，专门为他服务。
但就这样居然还不够！杨广这货甚至还要求民间会乐舞百戏的人也来长安，专门给他表演。好在还算有良心，这些人没被编为乐户，而是以一种到太常轮值的方式服务，姑且算是徭役吧。对了，人数最多时有三万余人，让人很是无语。
隋朝灭亡后，又迎来了一位相对不怎么喜好乐舞的君王，即唐高祖李渊。他在武德四年下了一封诏书，下令遣散全部乐户：“太常乐人，本因罪谴，没入官者，艺比伶官。前代以来，转相承袭。或有衣冠继绪，公卿子孙，一沾此色，累世不改。婚姻绝于士庶，名籍异于编氓，大耻深疵，良可矜愍……宜并蠲除，一同民例。”
废除太常乐户的时间其实是唐军入长安，立傀儡皇帝的时候（义宁年间），武德四年的这道圣旨只不过是补了一次手续罢了。太常乐户被废除后，其籍贯都归入地方州县，成为平民，从此可以与其他阶级通婚，可以考学，可以做官，对这些人是一大解脱。
不过在高宗时，因为各种需要，以及帝后都十分喜爱游戏娱乐，于是再一次扩充太常乐户。这些乐户的籍贯仍然属于太常，世代不易。而因为乐府初建，人手不足，水平也参差不齐，于是便召天下音声人入京服役，并教授乐户各种技能。这些所谓的音声人，即武德年间放归州