Theo tài liệu cổ chúng ta biết rằng, người Châu Âu đã biết dùng la bàn từ rất sớm. Trong một tài liệu xuất bản vào cuối thể kỉ XII có viết rằng, ở thời kì đó những người đi biển đã dùng một chiếc kim luôn luôn chỉ về hướng Bắc để giúp họ xác định phương hướng.
Tuy nhiên, có nhiều người cho rằng người Trung Quốc biết dùng la bàn để tìm phương hướng còn sớm hơn nhiều, có thể là từ thế kỉ V, thậm chí còn có thể là từ trước công nguyên. Tên gọi "nam châm" trong tiếng Việt là một từ Hán - Việt có nghĩa là kim chỉ phương Nam.