在公元133年，張衡再次上書，直言駁斥讖緯之說。他說，劉邦滅秦，建立漢朝，並沒有讖語預言，劉向父子整理皇家圖書，編列目錄也沒有什麼讖書緯說，直到成帝、哀帝之後，才聽說有這種東西，可見讖緯是後人編造出來的，怎麼能說是孔子的話呢？緯書中語到公輸班和墨翟，這是戰國時人，還講到益州，這是漢朝設置的州，這些怎麼能是春秋時孔子寫的呢？
張衡還舉例說，讖語有很多和經書不合，讖語和讖語之間也有很多矛盾之處。經學大師賈逵就找出三十幾條自相矛盾的讖語，去問講讖的專家，他們竟無法解答。
他還認為：王莽篡位是漢代的大禍，要是孔子早預見了，為什麼沒有引起警戒呢？幾十年前有個宋景，編造出什麼看見禹的玉版上有讖語，某年會有水災，騙得一些人棄家去業，逃進森林。結果，卻什麼也沒發生，這實在是讖緯害人。張衡在奏章結尾，要求漢順帝禁絕讖緯，以免迷惑世人。
張衡是繼桓譚、王充以後反對讖緯最勇敢的唯物主義思想家。當然，張衡和桓譚、王充這些人相比還是比較幸運的。因為漢順帝比較開明，他雖沒有按張衡的要求嚴令禁絕圖讖，但覺得張衡的《駁圖讖疏》還是講得很有道理的。對於他這種敢於直言進諫的精神尤其欣賞。所以張衡非但沒因此受到處罰，反而被提升為侍中。侍中為九卿之一少府的高級屬員，俸祿二千石，可以直接接觸皇帝，可見侍中這個官是很重要的。那些譏諷過張衡的腐儒，這下沒話可說了。張衡也可以在他們麵前炫耀一番，以雪前恥了。但是張衡沒有這樣做，他沒工夫去計較自己的恩怨得失。也沒像別人那樣，對皇帝的提升受寵若驚，感激涕零。與此相反，他對升任侍中並非樂意。張衡一生經曆過章帝、和帝、安帝、少帝、順帝這樣幾代皇帝。從和帝開始，這些皇帝都是幼年繼位的，最小的是漢殤帝，出生三個月就繼了位，不久就死了。由於皇帝年幼，政權一般就把持在太後的手裏，可是太後，缺乏政治鬥爭和管理國家政權的經驗。於是，她一般是任用自己的兄弟做大官，政權於是就掌握在外戚的手裏。皇帝長大以後，為了奪回政權，皇帝需要一些能夠幫忙的人，而宦官從小與他在一起，皇帝最信任的也就隻有他們了。於是皇帝便依靠宦官鏟除外戚。而成功以後，大權就落在宦官的手裏。東漢時代，這種鬥爭的形勢非常明顯，宦官和外戚反複傾軋。漢安帝死後，少帝即位，可是沒多久就死了。為了擁立新皇帝，外戚和宦官發生了一場你死我活的鬥爭，結果宦官獲得了勝利，迎立已被廢黜的皇太子劉保為皇帝，這就是漢順帝。順帝繼位時年僅11歲，所以大權就掌握在宦官的手裏了。
張衡對這種局麵是相當不滿的。早在張衡還擔任著太史令的時候，就上了道《陳事疏》，要求順帝改革政局。
在疏中，張衡引經據典，苦口婆心勸說順帝恢複禮製，鏟除宦官，掌握實權。但是當時順帝是否就懂得這些道理？即使懂得這些道理是否有能力實行？需知當時的政權是掌握在宦官的手裏的，張衡的這道奏章，非但沒有取得效果，反而大大激怒了宦官。張衡知道，由於自己升任待中，已經給宦官們帶來嫉恨了，自己再不小心，很可能就招來殺身之禍。所以在他擔任侍中的第二年，就上書順帝，要求辭去侍中職務，讓自己到當時的最高學術機關，專門從事研究和著書工作。其實，張衡早已有這個想法。
早在張衡辭去南陽主簿職務，回家專心讀書時，他的同鄉劉珍受皇帝的命令核定五經、諸子、傳記、百家、藝術時，就曾上書推薦張衡一起參論此事，但沒有獲得批準。在他由太史令轉為公車司馬令的時候，又上書當權的大將軍鄧騭，反複申述到東觀研究學術的願望。可是沒等鄧騭對這一事情做出答複，即有人告發鄧氏謀反，鄧騭受到牽連，絕食自殺。所以這事情就不了了之。
從上次申請到東觀時算來，整整24年過去了，早年準備和他合作的劉珍已經過世，張衡自己也已經到了花甲之年。但是這個願望卻從沒因為時間的流逝而減弱，反而愈來愈強烈了。為了使皇帝能夠批準，他在上書之後，又列舉了十餘條司馬遷和班固所講的和事實不合的地方，送交順帝，強調指出這些錯誤的地方不加修改，將賭誤後學不淺。可盡管張衡多次上書，順帝都不加理睬，張衡隻好繼續當他的侍中。
那時候張衡非常苦惱。麵前的現實是宦官專權，政治昏暗，雖然當著侍中，卻不能一展抱負。可是想去東觀專心從事著述，皇帝又不應允。沒有任何辦法，張衡隻好在公餘時間，專心讀書、寫作。這段時間，他寫了一本《周官訓估》的書，內容是對周朝官職製度做的詳細解說，可惜這本書未能得以流傳下來。
由於張衡不恐懼權勢，不同流合汙，使宦官們非常惱火，他們把他視為眼中釘，肉中刺，非把他排擠出京城不可。他們不斷地在順帝麵前說張衡的壞話，誣陷張衡。有一回，張衡被召進宮，順帝問他:現在天下最憎恨的是些什麼人呢？這個問題的答案是非常明顯的，世間的人無不痛恨胡作非為的宦官。這些事情在張衡的上書中也講得非常明白，講得很透徹的了。今天皇帝問他這樣的話，張衡明白再說也已無益，便隨口敷衍了幾句，就退出宮去了。
永和元年五月（公元136年）張衡終於被任命為河間相，宦官們排擠張衡的目的終於達到了。張衡對此非常怨恨，他寫了一首詩，來表現自己對順帝不辨賢愚的不滿，以及對宦官飛揚跋扈的憎恨。
在公元136年夏的一天。在河間城的某條小巷子裏，緩緩地走來一隻驢子，坐在驢子上的是一個幹瘦的老頭子。這個老頭子雖然已經須發俱白，然而，精神卻非常矍鑠。老頭子額頭寬闊，眼光犀利而威嚴，穿著一件普通的粗布衫。驢子緩緩地走著，牽著驢子的是一個仆人打扮的年輕人，他背著一個簡單的行囊，低著頭，走在前麵。夜開始黑下來，太陽在西麵正漸漸地落下去，而餘光卻灑滿了整個天空。
老頭子默默地坐在驢背上，兩眼卻盯著兩邊破敗的房子。間或也可碰上一兩個匆匆而來的行人。可這些行人也大多衣裳襤褸，而且臉色陰沉，對麵碰到時，更是不打一句話，便匆匆地繼續低著頭行走。雖然天色才剛近黃昏，兩邊的房子大門也大都緊閉，整個城市迷漫著一種沉沉的死氣。
老頭子默默地看著那寂寥的街道，看著那大街兩邊緊閉的房門，看著那偶爾走過的默默無言、衣裳襤褸的行人，臉色越來越陰沉，雙眉緊鎖。
這時候，隱隱聽見遠處傳來有人哭泣的聲音，那走在前麵的仆人停了下來，凝神靜聽了一會，然後，轉過身來，瞧著那坐在驢背上的老頭子，仿佛在問：怎麼樣？
老頭子知道這仆人的意思，於是開口說道：“去，去看看。”
那老頭子堅定地說。燦爛的晚霞灑在他的發上，他的臉上，和他的全身，使之仿佛成為一件銅鑄的雕塑。
然後那仆人就轉過身，換了個方向，堅定而大踏步地循著哭聲傳來的方向走去。終於在一個小巷子的深處，見到了那一個正在哭的人，原來是一個老農。此時，他坐在門檻上，埋頭痛哭，淚水弄濕了他的衣襟。
那年輕人上前扶起這痛哭的老農，可是沒想到那農夫把這年輕人給推開了，依舊扶在門檻上，眼淚縱橫。
這時候，那須發斑白的老頭子下了驢，直向那農夫走去，他輕輕地上前，問道：“請問您有何事，在這兒痛哭？”
那農夫止住哭，抬起頭來，見是一個幹瘦的穿著粗布衣的老頭子，便對老頭子揮了揮手：
“客官是過路人，何苦要管老漢的事，老漢心裏悲傷，自己哭哭罷了？”
老頭子上前，嚴正地說：“您有什麼事，盡管講來便是。”
老漢說：“我的事，怕是誰也管不了啊!”
老頭子堅定地看著他：“有什麼管不了的事，你盡管講來。”
旁邊那年輕人也說：“你有事盡管講來，我家主人一定給你做主。”
老漢半信半疑地看了他們一眼，終於將事情的原委說了出來：原來，這個老漢就是這家的主人，這老漢有一個女兒，年方二七，生得如花似玉。人又非常賢惠，孝敬父母。這老漢就這麼一個女兒，又生得如此乖巧，自然非常疼愛，將她視作掌上明珠。
哪裏想到天有不測風雲。那天老漢在田頭鋤草，女兒擔心父親天熱口渴，就從家裏裝了一壺水，匆匆地給老漢送去。在走到田頭的時候，卻不想給一群壯漢撞見了。為首的一個壯漢，見這女子嬌美，不禁起了邪意，便派了一個嘍羅上前跟老漢說：我家老爺看上了您家的小女，想娶她做小妾。