经过百余年的发展，南越国也发生了翻天覆地的变化。
到了南越国第四任国君赵兴时，南越国国力已经开始日渐衰弱，而北方正是汉武帝统治时期威加海内的强汉王朝。
此时的南越王朝，吕氏家族权倾朝野，吕氏宗族全都与王室联姻通婚，丞相吕嘉更是一人之下万人之上，史载：“其相吕嘉年长矣，相三王，宗族官仕为长吏者七十余人，男尽尚王女，女尽嫁王子兄弟宗室，及苍梧秦王有连。其居国中甚重，越人信之，多为耳目者，得众心愈于王。”
公元前125年，时任丞相的吕嘉兼任南越国的太傅，个人声誉达到了顶点。
南越王赵兴见到朝政被吕氏家族掌控，南越国江河日下，百姓生活艰难，在大汉使者前来拜访之时，准备归顺汉朝。
如果南越国归顺大汉，作为掌控南越国权力中心的吕氏家族必定失去大权，走向衰败。
吕嘉等人劝谏不成，盛怒之下，立刻发难，他们制造南越王与太后淫乱的舆论后，吕嘉与弟弟率领军队攻进皇宫，杀害了南越王赵兴、樛太后以及大汉的使者。
杀死赵兴之后，又派人告知苍梧秦王赵光和各郡县官员，立赵婴齐长子术阳侯赵建德为南越王，并击退了大汉在南越国北部的驻军。
汉武帝得知消息，十分震怒，立刻下发了出兵南越的诏书。
公元前112年秋，汉武帝调遣南方流放的罪犯和江淮以南的水兵共十万人，兵分五路进攻南越。
这场激烈的战争持续了整整一年的时间，一直到公元前111年，汉军五路大军合围番禺城，并放大火烧城，南越军纷纷向汉军投降。
吕嘉等人见到大势已去，率军突围而走。
天亮之前逃到东海之滨，只剩下百余人，吕嘉等人准备乘船出海，逃到闽越之地，试图借助东越的力量对抗大汉的军队。
最终遭遇部下反噬，吕嘉也被原南越国郎官孙都擒获。
汉武帝平定南越后，将原来的南越国属地设置了九个郡，并成立交州，设交州刺史，直接归属汉朝中央管辖。
由赵佗创立的南越国历经九十三年，经五代南越王之后，在吕嘉的手里断送了。
汉武帝将吕嘉为首对抗汉朝的官员全部处死后，将吕氏宗族全部迁徙到了当时南中的益州郡，在益州郡的西部建立一座新的县城。
因为迁来此县的基本都是吕不韦的后裔，为了彰显先人之恶，故将此县命名不韦县。
就这样，澜沧江以西广阔坝子里出现了最早的城市、中原王朝所设置最偏远的封建政权，不韦县。
迁徙至此的吕氏家族利用自己在经济、文化等方面积累的雄厚知识，以及自己的家传经学《吕氏春秋》，在这里开文教之风、兴建学校。
大量移民将中原进步的文化、耕作、经商习俗带到这里。从此，中原文化开始扎根南蛮之地。
汉武帝设置的不韦县，在确定了华夏西南版图的同时，还加强了汉王朝对边疆少数民族的统治，加速了“哀牢归汉”的历史进程。
原本历史中，诸葛亮出兵南中之时，出身永昌郡不韦县的吕凯就是吕氏宗族的族人。