靖康元年（公元1126年）初，李綱任親征行營使，主要負責京都防務，張元幹為行營屬官。金兵圍攻汴梁城，李綱力諫抗金，堅決死守。張元幹投入到京都保衛戰中，積極獻策，撰寫《卻敵書》，親臨城上殺敵，還曾多次打退金兵進攻。後來，他在《挽少師相國李公》中回憶說“城守麾強弩，諸班果翕然。雲梯攻正急，雨箭勇爭先。中夜飛雷炮，平明破火船。”金兵損失慘重，久攻不下，二月便退兵，京都圍困得解。張元幹寫《丙午春京城圍解口號》：“九廟安全日，三軍死守心。倘為襄漢幸，良複見於今”稱頌這次戰鬥，諷刺那些隻知棄城逃跑的人。同年六月，李綱被排擠出京都，隨後張元幹也被貶淮上。北宋靖康二年，即南宋建炎元年（公元1127年），靖康之變，二帝被俘，北宋滅亡，張元幹悲痛萬分，創作《感事四首》，表達抗敵複國的決心和意誌。同年五月，康王趙構在商丘即位，重新啟用李綱為宰相，張元幹也被召回，官拜朝議大夫、將作少監、充撫諭使。李綱整軍備戰，堅持北伐，可短短75天就被免職。
紹興元年（公元1131年），江南戰事漸息，半壁江山穩固。高宗皇帝定都臨安，也漸漸沒有了收複失地的想法。他任用秦檜為參知政事，主戰派被排擠出權力核心，仁人誌士要麼官居下位，要麼退隱林泉，恣意山水。張元幹也辭官回到了福建。七年後，宋金議和，宋向金納貢。張元幹聽說後，十分憤慨，作《再次前韻即事》，大罵秦檜、孫近等賣國權奸是“群羊”。李綱在福州也上疏反對朝廷屈辱議和，張元幹聽說後，又作《賀新郎·寄李伯紀丞相》，暢言“氣吞驕虜”的壯誌，對李綱堅決主戰、反對議和表示敬仰和支持。這首詞寫得慷慨悲涼，感人至深，希望朝廷能重塑環宇，收複山河。
雖然主和派把柄朝政，但對於與金是戰是和的鬥爭仍然十分激烈。公元1138年胡銓聽說秦檜要派王倫出使金國乞求和議，屈辱稱臣，他以“冒瀆天威，甘俟斧”的氣魄，寫下《戊午上高宗封事》，聲言“義不與檜等共戴天！”秦檜讀後，火冒三丈，頓足捶胸，心中暗下決心，定殺此人！後誣蔑胡銓“狂妄凶悖，鼓動劫持”，將他貶謫到廣州監管鹽倉。紹興十二年（公元1142年），先是貶謫昭州（今廣西平樂），又再貶新州（今廣東新興縣）監廣州鹽倉編管。當時，胡銓在福唐（今福建福清）被告知貶謫，於是從福唐出發，前往新州。在經過福州時，張元幹敬佩胡銓的作為和勇氣，置個人安危於不顧，作《賀新郎·送胡邦衡待製赴新州》為胡銓送行。
這首詞分上下兩篇，上篇57個字，下篇59 字。“底事昆侖傾砥柱，九地黃流亂注”、“聚萬落千村狐兔”生動地展現了金兵鐵騎下混亂荒涼的情景，“天意從來高難問，況人情老易悲難訴”道出了心中的無奈與惆悵。下篇的“目盡青天懷今古，肯兒曹恩怨相爾汝！”放眼看古今大事，沒有恩怨私情。鼓勵胡銓振作起來，安慰他樂觀麵對，不要因此消沉。全詞寫得慷慨悲壯，蒼涼悲壯之中暗含剛健遒力，猶如金石之聲，不同凡響。這首詞流傳甚廣，為張元幹贏得了更大的名氣，也為他招來了更大的禍患。秦檜徹底憤怒了，已過半百的張元幹被抄家入獄，削除名籍。
他一生沒有官居高位，顯達富貴；沒有聲名赫赫，萬人仰慕。他有的隻是滿腔忠義和無畏勇氣。七十歲時，他作《隴頭泉》，仍想著“整頓乾坤，廓清宇宙，男兒此誌會須伸。”也是希望有人能接過這麵旗幟，繼續未完成的事業。乾道六年（公元1170年），張元幹逝世，歸葬福建的螺山，終年80歲。