Trong khi Lý Bí bận đối phó với nhà Lương ở phía Bắc thì tại phía nam, vua Lâm Ấp có ý nhòm ngó Giao Châu.

Biên giới giữa Giao Châu và Lâm Ấp lúc đó là dãy Hoành Sơn. Tháng 5 năm 543, vua Lâm Ấp Rudravarman I mang quân xâm chiếm quận Nhật Nam và tiến đến quận Cửu Đức. Lý Nam Đế sai Phạm Tu (có sách cho là Lý Phục Man) cầm quân vào nam đánh Lâm Ấp.

"Lấy bá thuật mà xét thì Hậu [Lý] Nam Đế đánh Triệu Việt Vương là đắc kế, lấy vương đạo mà xét thì việc ấy đã từng không bằng chó lợn. Sao thế? Là vì khi Tiền Lý Nam Đế ở động Khuất Lạo đem việc quân ủy cho Triệu Việt Vương. Việt Vương thu nhặt tàn quân giữ hiểm ở Dạ Trạch bùn lầy, đương đầu với Trần Bá Tiên là người hùng một đời, cuối cùng bắt được tướng của y là Dương Sàn. Tiên, người phương Bắc, phải lui quân. Bấy giờ vua [Hậu Nam Đế] trốn trong đất Di [Lạo], chỉ mong thoát khỏi miệng hùm mà thôi. May mà Bá Tiên về Bắc, [Lý] Thiên Bảo chết, mới đem quân đánh [Triệu] Việt Vương, dùng mưu gian trá xin hòa, kết làm thông gia. Việt Vương lấy lòng thành đối đãi, cắt đất cho ở, những việc làm của Việt Vương đều là chính nghĩa, giao hảo phải đạo, thăm viếng phải thời, há chẳng phải là đạo trị yên lâu dài hay sao ? Thế mà [Hậu Nam Đế] lại dùng mưu gian của Nhã Lang, vứt bỏ chính đạo nhân luân, kíp tham công lợi mà diệt nhân nghĩa, đánh cướp lấy nước, tuy rằng lấy được, mà Nhã Lang thì chết trước, bản thân cũng không khỏi làm tù, có lợi gì đâu?"

Khởi nghĩa nổ ra tại Rú Đụn, còn gọi là Hùng Sơn (Nghệ An). Mai Thúc Loan lên ngôi vua, lấy hiệu là Mai Hắc Đế. Theo Việt điện u linh, Mai Hắc Đế mang mệnh thủy tức là nước, mà nước được tượng trưng là màu đen. Vì vậy, ông lấy hiệu là Hắc Đế để hợp với mệnh của mình. Một số nguồn cũng cho hay, ông lấy hiệu là Mai Hắc Đế vì ông có màu da đen. Ông cho xây thành lũy, lập kinh đô Vạn An (thuộc thị trấn Nam Đàn hiện nay), tích cực rèn tập tướng sỹ. Cuộc nổi dậy của ông được hưởng ứng rộng rãi ở trong nước và có cả sự liên kết với Lâm Ấp và Chân Lạp.

Theo sách An Nam chí lược thì vào khoảng đầu niên hiệu Khai Nguyên của Huyền Tông, Soái trưởng Giao Châu là Mai Thúc Loan làm phản, hiệu xưng là Hắc Đế, ngoài thì kết giao với quân của Lâm Ấp và Chân Lạp, tập hợp được 30 vạn quân sĩ, chiếm cứ nước An Nam. Vua Huyền Tông ra lời chiếu sai hoạn quan Tả Giám môn Vệ tướng quân là Dương Tư Húc và quan Đô hộ là Quang Sở Khách (sách chép sai thành "Nguyên Sở Khách") qua đánh, cứ noi theo con đường cũ của Mã Viện đi tới phá quân của Loan, chất xác chết đắp thành gò lớn, rồi kéo về.

Mai Hắc Đế tiến binh đánh thành Tống Bình (Hà Nội ngày nay), Đô hộ nhà Đường là Quang Sở Khách cùng đám thuộc hạ không chống cự lại được, phải bỏ thành chạy về nước. Lực lượng Mai Hắc Đế lúc đó lên tới chục vạn quân. 

Theo sách Việt sử tiêu án thì: Thời nhà Đường có Tống Chi Đễ bị tội đầy ra quận Chu Diên, gặp lúc Loan vây hãm châu Hoan, vua Đường bèn trao cho Đễ chức Tổng quản để đánh ông Loan. Đễ mộ được 8 người tráng sĩ mặc áo giáp dày, kéo đến tận chân thành mà hô to rằng: "Hễ bọn người Lèo hành động tức thì giết chết"; 700 quân đều phục xuống không dám đứng dậy, mới bình được.