Thời nhà Lương, nhà Lương tiến hành cải tổ đơn vị hành chính ở Giao Châu cũ, lập nhiều châu nhở trực thuộc triều đình nhà Lương nhằm kiểm soát chặt chẽ dân Âu Lạc. Có sáu châu thuộc lãnh thổ nước ta ngày nay: Giao Châu (gồm phần lớn Bắc Bộ), Hoàng Châu (Quảng Ninh), Ái Châu (Thanh Hoá), Đức Châu, Lôi Châu, Minh Châu (Nghệ Tĩnh).
Dưới cấp châu vẫn là các cấp quận, huyện…quận sau là một miền đất của vương quốc Chăm Pa mà nhà Tùy mới chiếm được vào năm 604, ngày nay là Bình Trị Thiên. Đến những năm rối loạn và suy yếu của nhà Tuỳ, các thái thú ở miền đất nước ta trở thành chính quyền cát cứ tách khởi triều đình Trưởng An.
Sau khi nhà Đường thay thế nhà Tùy ở phương Bắc, năm 618, quan lại Hán ở nước ta lại phải thần phục triều đình Trưởng An. Nhà Đường là triều đại cưởng thịnh nhất trong lịch sử phong kiến Trung Hoa và chiếm được nhiều đất đai của các nước khác. Đối với các vùng đất mói chiếm được ngoài chính quốc, nhà Đường đã lập ra tiết độ sứ. Tiết độ sứ là quan chức trực thuộc triều đình Trưởng An, thay mặt vua ở địa phương, vừa cai trị hành chính vừa chỉ huy quân sự. Trụ sở của An Nam đổ hộ phủ đặt ở Tống Bình (Hà Nội ngày nay). Nhà Đường bãi bở cấp quận thời thuộc Tùy và khôi phục hệ thống các châu như thời Lương nhưng cấp châu không trực thuộc triều đình bên chính quốc mà trực thuộc đô hộ phủ. Đứng đầu mỗi châu vẫn là chức quan thứ sử, ngoài ra còn có chức trưởng lại chỉ huy quân đội. Dưới cấp châu là cấp huyện, đứng đầu vẫn là huyên lệnh. Đất An Nam gồm 12 châu, 59 huyện. Dưới huyện là hương, dưới cấp hương là cấp xã. Theo An Nam chí nguyên của Cao Hùng Trưng, hương có hai loại: Tiểu hương có từ 70 – 150 hộ, đại hương có trên 150 – 540 hộ. Xã cũng có hai loại: Tiểu xã có từ 10 – 30 hộ, đại xã có từ trên 30 – 60 hộ. Thật ra, việc lập ra các cấp hương, xã cũng chỉ là sự quy định trên giấy tở, còn các làng xã hầu như vẫn do người Việt tự quản lí. Các vùng miền núi xa xôi vẫn do các tù trưởng làm chủ. Vì vậy, nhà Đường phải đặt ra các “châu ky my” (ràng buộc lởng lẻo) do các tù trưởng người miền núi cai quản. An Nam đô hộ phủ quản 41 châu ky my, chủ yếu gồm vùng Việt Bắc ngày nay (vùng các tộc người Tày, Nùng). Năm 791, nhà Đường lập ra Phong Châu đô đốc phủ (vùng Sơn Tây – Hưng Hoá cũ) kiêm quản các châu ky my vùng thượng lưu sông Hồng (vùng các tộc người thuộc ngữ hệ Thái, Tày và Tạng, Miến); Hoan Châu đồ đốc phủ (Nghệ Tĩnh) kiêm quản các châu ky my miền Bắc Trưởng Sơn giáp Lào.
