接著，作者又從社會和自然兩個方麵，對秋聲進行了剖析和議論。“夫秋，刑官也，於時為陰；又兵象也，於行用金；是謂天地之義氣，常以肅殺而為心。天之於物，春生秋實。故其在樂也，商聲主西方之音；夷則為七月之律。商，傷也，物即老而悲傷；夷，戮也，物過盛而當殺。”古代用天地、四時之名命官，如天官塚宰、地官司徒、春官宗伯、夏官司馬、秋官司寇、冬官司空，這是六官。司寇掌刑法。故秋天是古代刑官行刑的季節。在四季中又屬陰冷的季節；春夏為陽，秋冬為陰。從五行來分，秋屬金，由古代多以秋天治兵，“沙場秋點兵”，所以秋又有戰爭的象征；這樣，秋天對人來說，意味著有悲涼肅殺死亡之氣。從自然界來看，天地萬物，春天生長，秋天結實，意味著自然界中生命由盛轉衰的過程，人與此同，故有對生命將息的悲歎與傷感。又以音樂為喻，古人將五聲（宮、商、角、徵、羽）和四時相配，秋屬商，又將五行和東、南、中、西、北五個方位相配，秋主西方，秋屬於商聲，商，傷也，悲傷之意。夷則，是七月的音律，古音分十二律，夷則為十二律之一。將樂律和曆法聯係起來，，十二律與十二月相配，夷則配七月。《禮記?月令》：“孟秋之月，律中夷則。”夷，是刪刈，殺戮之意。萬物由繁榮到衰敗，則為自然之規律。作者從自然與社會兩方麵進行了論述，人是自然的一部分，又是社會的產物，人與自然、社會形成一個相互聯係的有機整體。人從個人出發體驗感悟自然和社會。這體現了中國“天人合一”的思想。
接著作者仍然抓住秋聲的主題，通過無情的草木與萬物中最有感情，最有靈性的人的對比，抒發議論。作者認為，百般的憂慮和萬事的操勞必然損傷著人的身心，內心受到刺激和痛苦，必然損耗精力，更何況是“思其力之所不及，憂其智之所不能”呢！這樣就容易朱顏易老，烏發變白，“奈何以非金石之質，欲與草木而爭榮？”這是你自己無窮無盡的憂勞傷害了自己，又何必去怨恨秋聲的悲涼呢？這就說明了作者之所以感到秋聲之悲涼，其根源不在秋聲，主要是當時作者麵對國家和自己的處境而產生的憂思所致。當時作者被朝廷重用，但想起曾經在政治上屢不得誌，懷才不遇，報國無門，心情鬱悶。這樣的情緒和秋季氣息正相統一，觸物傷情，有感而發。
作者蓄積已久的深沉苦悶和悲涼沒有人能理解。“童子莫對，垂頭而睡。”唯有四壁的蟲鳴，與“我”一同歎息。此情此景是何等悲涼：秋風呼號，秋聲淒切，長夜漫漫，蟲聲唧唧，悲憤鬱結，無可奈何，隻能徒然歎息。