漢代劉邵就把“氣”和“色”分開來識別人才。
他認為，“躁靜之決在於氣”。即通過一個人的“氣”的觀察，可以看出他是好動型的或是好靜型的，因為氣之盛虛是一個人性格的表現，氣盛者則其人好動，氣虛者則其人好靜。
通過對一個人聲音的識辨，也可以識人：“夫容之動作，發乎心氣，心氣之征，則聲變是也。夫氣合成聲，聲應律呂：有和平之聲，有清暢之聲，有回衍之聲”。其意思說，外表的動作，是出於人的心氣。心氣的象征又合於聲音的變化。氣流之動成為聲音，聲音又合乎音律。有和平之音，有清暢之音，有回衍之音。
在論以“色”觀人時，他說：“慘懌之情在於色”。即通過對一個人“色”的觀察，可“看出他情感的表現。因色是情緒的表征，色悅者則其情歡，色沮者則其情悲。”
色，主要是指人的麵色：“夫聲暢於氣，則實存貌色；故誠仁，必有溫柔之色；誠勇，必有矜奮之色；誠智，必有明達之色”。氣流的通暢發出了聲音，一個人的性格則會在相貌和氣色上有所流露。所以，仁厚的人必有溫柔的貌色；勇敢的人必有激奮的氣色；智慧的人必有明朗豁達的麵色。
人一生要經曆漫長的路程，大致說來有四個時期：幼年時期、青年時期、壯年時期和老年時期。在各個階段，人的生理和心理發育和變化都有一定差異，有些方麵甚至非常顯著，表現在人的膚色上則有明暗不同的各種變化。這就如同一株樹，初生之時，色薄氣雅，以稚氣為主；生長之時，色明氣勃；到茂盛之時，色豐而豔；及其老時，色樸而實。人與草木俱為天地之物，而人更鍾天地之氣。少年之時，色純而雅；青年之時，色光而潔；壯年之時，色豐而盛；老年之時，色樸而實，這就是人一生幾個階段氣色變化的大致規律。人的一生不可能有恒定不變的氣色。以此為準繩，就能辯證看待人氣色的不同變化，以“少淡、長明、壯豔、老素”為參照，可免於陷入機械論的錯誤中去。
人的生理狀態和情緒，常常隨季節和氣候的變化而變化，而這種內在變化就會引起氣色的變化，所以季節不同、氣候變化，人的氣色也不同。所謂“春青、夏紅、秋黃、冬白”，是取其與四時氣候相應所作的比擬。應該說，這種比擬頗為準確：春季，草長鳥飛，百花盛開，綠色遍野，春情萌發，人類的生存欲望，此時最為強烈。按照五行之說，春屬木，木色青，於人則為肝，春季肝旺，所以形之於色者為青，青色，生氣勃勃之色也。夏季，赤陽高照，無地為爐，人類的情緒，此時最為激動。五行上夏屬火，火色紅，於人則為心，心動則氣發，氣發於皮膚呈紅色。秋季，風清氣爽，天高雲輕，萬木黃凋，人類受此種肅殺之氣的感染，情緒多淒惶悲涼。秋屬金，金色白，“金”為兵器，“白”為凶色，雖然得正，卻非所宜。宜黃者，以土生金，不失其正，而脾屬土，養脾以移氣，所以說“秋黃”。冬季，朔風凜冽，砭人肌骨，秋收冬藏，人類生活，此時趨於安逸，冬屬水，水色黑，於人則為腎，腎虧則色黑，不過其色顯得正，卻非所宜。宜白者，以金生水.不失其正，而固腎以養元。
“以月之氣色”，隨月亮的隱現而發，初一之日後，氣色如枝葉之生發，清盛可見。十五之後，氣色就若隱若現，如月圓之後，漸漸侵蝕而消失。
“一日之氣色”，則因早、中、晚氣候的變化而有小範圍的變化，大致上是早晨氣色複蘇，如春天之草綠；中午氣色飽滿充盈，如樹木之夏茂；傍晚氣色漸隱漸伏；夜間氣色平靜安寧，即秋收冬藏之義。
故《洞微玉鑒》中雲：
“氣者，一而已矣。別而論之，則有三焉，曰自然之氣；曰所養之氣；曰所襲之氣。自然之氣者。五行之秀氣也，吾秉受之其請。常存。所養之氣者，是集氣而生之氣也。吾能自安，物不能擾。吾襲之氣者，乃邪氣也，若所存不厚，所養不充，則為邪氣所襲也。”
《大戴禮記·少問篇》記載，“堯是通過人的相貌取人，而舜則是依據人的態色取人。”如果認為觀人術是在不斷進步的話，那麼舜的觀色取人要勝過堯的觀狀取人了。《說文解字》解釋道，“顏，就是指眉目之間的地方”，“色，就是眉目之間的氣色。”以前郗雍能辨別出盜賊，觀察他的眉目之間就可以得到隱藏的情形，晉國國君讓他觀察成百上千的盜賊而沒有一個差錯。《韓詩外傳》也有這樣的記載。如果有溫順善良之意在心中，可以通過眉目之間看得到，如果心中有邪惡之意，而眉目也不能掩蓋住。這是顏色說的來源，然而顏色是整個麵部的總稱，眉目之間的地方隻是其中特別重要顯著的地方罷了！