当时又有所谓西南夷，《汉书》叙述他的形势是：
南夷君长以十数，夜郎最大。如今贵州的桐梓县。其西，靡莫之属以十数，滇最大。如今云南的昆明县。自滇以北，君长以十数，邛都最大。如今四川的西昌县。此皆椎结，耕田，有邑聚。
其外，西自桐师以东，北至叶榆，名为嶲、昆明。如今云南的大理县。编发，随畜移徙，无常处，亡君长，地方可数千里。自嶲以东北，君长以十数，徙，莋都，最大。徙，如今四川的天全县。莋都，如今四川的清溪县。自莋以东北，君长以十数，冉駹最大。如今四川的茂县。其俗或土著，或移徙，在蜀之西。自駹以东北，君长以十数，白马最大。皆氐类也。
以上所述，第一类是濮族（倮），从黔江流域到金沙江流域。文明程度最高。第二种大约也是氐羌一类。因为若是粤族，便要断发，氐羌则或编发（就是辫发）或被发。又粤族本居沿海，没有畜牧的。这一族人“随畜移徙”，明是从北方高原之地迁来。所以知道他是氐或羌族。在澜沧江流域。文明程度极低。第三种是氐族，在岷江、大渡河流域和嘉陵江上源。
汉武帝时，有一个人唤做唐蒙，出使南越。南越人请他吃蜀的“枸酱”，唐蒙问他你这枸酱从什么地方来的，南越人说：从夜郎国里，走牂牁江来的。如今的北盘江。唐蒙才晓得走牂牁江可以通南越。回来时候，就上书武帝。请通夜郎，以为是“制粤一奇”。武帝就拜唐蒙做中郎将，去晓谕夜郎。于是把夜郎的地方置了个犍为郡。隔了几年，公孙弘做了宰相。说“事西南夷繁费”，于是“罢事西南夷”。后来张骞从西域回来，说在大夏时看见蜀的布和邛的竹杖，问他从什么地方来。他说从身毒国来的。如今的印度。如此看来，从蜀走西南夷，一定可通身毒，到得身毒，就可以通大夏。这一条路，比走“匈奴中”安稳得多了。于是再事西南夷，要想找通身毒的路。找了几年，到底找不到。伐南越这一年，发了夜郎的兵沿牂牁江而下。夜郎等国起初以为汉朝离他远，断不能占他的地方的。且乐得弄些缯帛，所以都听了唐蒙的话，愿意等中国去置郡。到这时候，见中国要发他的兵出去打仗，就有些不愿意，于是夜郎附近的且兰如今贵州的平越县。先反，给汉朝打破了，把他的地方置了个牂牁郡。于是“西南夷振恐”，纷纷都请“置吏”，就邛都、越巂郡。莋都、沈黎郡。冉駹、汶山郡。白马武都郡。的地方都置了郡，后二年，又灭掉了滇，把他的地方置了个益州郡。