我國古代勞動人民在實踐的過程中，逐漸認識了磁石的性質並最早利用它製成指示方向的儀器。古人在開采鐵礦的過程中，會遇到天然磁鐵。古人把天然磁鐵叫做磁石，它的主要成分是四氧化三鐵。古書中最早記載磁石的是《管子·地數》篇，它說：“上有慈石者其下有銅金。”這裏的“慈石”原意是指這種石頭能像慈母一樣吸引和愛護她的子女，也就是說它有吸引鐵的性質。《呂氏春秋》中高誘曾注釋道：
“石，鐵之母也。以有慈石，故能引其子；石之不慈者，亦不能引也。”意思是說，鐵礦石中會有鐵，因為隻有像慈母一樣的礦石，才能吸引鐵。如果礦石沒有慈母一樣的吸引力，就不能吸引鐵。《山海經》中有更明確的記載：“慈石取鐵，如慈母之招之。”顯然，這種“慈石”正是我們現在所說的“磁石”。古人甚至傳說秦始皇建造的阿房宮的北門就是用磁石造成的，如果有人攜帶鐵製兵器進宮行刺的話，就會立刻被大門吸住。至於磁石指南的性質是什麼時候被中國人所認識的，中國人又在什麼時候利用磁石的這種性質，製成了指南針，現在我們還不能確切知道。
在《韓非子》一書中，有關於“司南”的記載，說戰國時中國已有以天然磁石製成的磁勺——司南，用來指示方向。這是世界上最早的用磁石做成的指南儀器。又據《鬼穀子·謀篇》記載，戰國時，鄭國有人到遠處山中采玉，為了不迷路，就在車子上裝有司南，以幫助辨別方向。
“司南”和指南針一樣嗎？根據東漢時大哲學家王充在他的《論衡·是應篇》中對司南的形狀和製法的詳細記載，我們知道，“司南之杓，投之於地，其柢指南。”在這裏，“杓”即“勺”，也就是像小勺子一樣的形狀，而不是通常所說的指南針的針形。
我們祖先親手用過的司南我們現在當然已很難看到了。可是，我們在地底下曾經發掘到一些類似的東西。中國曆史博物館的王振鐸先生就根據這些考古發現和王充的記述，把司南“複原”成模型。在這個模型中，最下麵那方形的銅盤叫地盤，上麵刻有許多文字，從裏麵第一圈數起，是甲、乙、丙、丁、庚、辛、壬、癸這八幹(八天幹)，還有三、三等八卦的字樣，及十二地支(子、醜、寅、卯、辰、巳、午、未、申、酉、戌、亥)、四維(乾、坤、巽、艮)，表示二十四個方向，均勻地分布在地盤上，其中用子代表正北方，午代表正南方。地盤中間的圓形構成“天盤”，這裏是用來放置“杓”的。“杓”本是古人的一種生活用具。當人們用磁石做成這種勺子時，它就成了能指南的工具了。杓是用天然磁石做成，為保護磁石的磁性，就不能用熔化鑄造的方法，也不能劇烈震動。我們的祖先就用琢磨玉器的方法，把天然磁石輕輕地加以琢磨，以致成為勺的形狀。這勺子的類似湯匙盛東西的那頭放到天盤中間，勺子的長柄就自然指向南方。因為湯匙底部是圓的，放在平滑的銅麵天盤上，可以使它很容易地靈活轉動，直到勺柄指南。杓和地盤配合使用，就能確定南北方向。
這就是司南，“司”即操作、經營之義，因此“司南”
就能使你任何時候都知道南方在哪裏。顯然，上述結構的指南儀器製作起來確實相當費勁，指示精度也不準，而且受震動時幾乎不能使用，因此不能廣泛地應用到車馬行駛和船舶上。這就為後世發展真正的指南針留下了廣闊的餘地。