这两地方没事儿自治呀。

羁縻啊，当地的土司和酋长自治，真正的编户齐民要到明清改土归流。明清之前云南贵州你收不到一分钱

南朝陈二百万户口，南朝陈，隋四百万土夷，各有监守，这是在东南，云贵比东南远远偏僻，比两广都要偏远，明代以前的统治是很薄弱的，地图看看就好，有几个据点式定居点，收点土特产。
宋太祖玉斧一划，说大渡河以外非我有也，倒不是弃地，因为确实管不了多少。南宋进攻湘西，还一个个提心吊胆，何况云贵。
元朝算是把大理国灭成藩属国，赛斯丁等人也在云南建设行省，但是还是很薄弱
明军在西南设立了许多机构，主要是沐国公和卫所，善莫大焉。但是土司不断反抗，明朝不断用兵，战争频繁，明末云南比明初还后退了。
仅仅明清之际，就有杨应龙之乱，奢安之乱，孙可望剿灭，吴三桂剿灭，清军镇压等等。说明当地势力还是很强的。
康熙又打败了一些依附吴三桂的势力，雍正年间，算是弱的多了，大力推行改土归流，不过直到今天也还有许多部族

汉朝时期应该是实控在这些地区设立牂牁郡越嶲郡，并南迁了大量的汉人去统治当地。三国两晋南北朝时期中原混乱，南迁的汉人在当地搞割据只是名义上归汉人王朝统治。这一时期少量的汉人统治当地大量蛮夷逐渐被蛮夷同化。蛮夷也逐渐崛起到唐宋时期形成蛮夷和汉人联合统治的独立国家，明清时期又被逐渐收回实控。