另外，辛棄疾還擔任過各地的安撫使，江西、浙東、湖南、湖北、福建的安撫使他都做過。不少書中雖然也提過辛棄疾擔任過“安撫使”，但並不詳細解釋，不少讀者不知安撫使到底是一個什麼官，往往望文生義，還以為安撫使就是帶著豬羊酒飯犒勞一下軍隊，發發獎品什麼的呢。其實安撫使可不是“弼馬溫”，這官職總攬一省的軍政大權，相當於大軍區司令的職務，並且可以“便宜行事”，是實際中的省級一把手。南宋最重要地區的“軍區司令員”都讓辛棄疾當過，還不算重用嗎？難道封他為“天下都招討，兵馬大元帥”（這是小說評書中的頭銜，實際沒這職位），總攬全國的軍事大權？
當時的朝中小人彈劾辛棄疾時常說他“殺人如草芥，用錢如泥沙”，確實當時好多人都很怕辛棄疾。著名詞人陳亮，後來和辛棄疾是好朋友，但一開始他對辛棄疾也是心懷畏懼。兩人初會麵時，喝得大醉，辛棄疾和他細談天下大勢，說杭州這個地方不適合當都城，無險可守—“錢塘非帝王居，斷牛頭之山，天下無援兵，決西湖之水，滿城皆魚鱉”。陳亮半夜酒醒後，竟然和進曹營盜書的蔣幹一樣心虛起來，他聽說辛棄疾殺人不眨眼，心想辛棄疾一時酒後失言，將軍事秘密說給我聽了，清醒了心下後悔，幹脆殺了我滅口怎麼辦。於是陳亮連夜偷了辛棄疾的一匹寶馬逃之夭夭，過了一個多月，又寫信給辛棄疾說明原委，辛棄疾性格豪爽，不以為忤，還資助他十萬緡錢。陳亮這人也是個惹禍精，後來好幾次出事（家僮殺人，等等），都是辛棄疾救了他。
同時，辛棄疾還有一個好友叫劉過，劉過字改之，金庸先生寫的神雕大俠楊過也是字改之，可能是由此而來。劉過和陳亮一樣寫有不少的好詞，但性格也是疏狂不羈的蕩子脾氣。他曾和朋友吳平仲一起去妓家喝酒，有個叫盼兒的歌妓本來是吳平仲的相好，而劉過文采好，寫了首詞，其中有什麼“雲一窩，玉一梳，淡淡衫兒薄薄羅，輕顰雙黛蛾”之句，盼兒心下歡喜，就愛上劉過了。於是吳平仲大怒，拿了刀子要捅劉過，劉過一閃，把盼兒捅成重傷，被官府知道後，劉過被捉進大牢，吃了官司（《浩然齋雅談》）。
劉過寫過這樣一首詞：
沁園春
鬥酒彘肩，醉渡浙江，豈不快哉！被香山居士，約林和靖，與坡仙老，駕勒吾回。坡謂：“西湖正如西子，濃抹淡妝臨照台。”諸人者，都掉頭不顧，隻管傳杯。
白雲：“天竺飛來，圖畫裏，崢嶸樓閣開。看縱橫一澗，東西水繞。兩山南北，高下雲堆。”逋曰：“不然，暗香疏影，隻可孤山先探梅。”須晴去，訪稼軒未晚，且此徘徊。
這首詞非常像辛棄疾的風格，意境也很有趣，劉過假想白居易、林逋、蘇東坡這幾個不同時代的人聚在一起，在西湖邊徘徊遊玩，還各發議論，很有現在“穿越”派的思緒。雖然該詞被嶽飛的孫子嶽珂譏為“白日見鬼”，但辛棄疾很喜歡，好酒好肉留劉過住了一個多月。劉過揮金如土，不知節儉，辛棄疾給他的一百萬錢很快花了個精光。這天劉過家中來信，說母親病重，要他回鄉，劉過一摸口袋，又是空空如也，沒剩下幾個錢。辛棄疾眉頭一皺，計上心來，於是二人微服到妓院裏去“抓嫖”。
辛、劉二人“抓嫖”，不去洗頭房拿小角色，隻去高級娛樂場所逮官員。二人去了當地最好的青樓，撞見一位都吏正在喝花酒，見了衣衫破舊的辛、劉二人，以為是叫花子要小錢，高聲叱罵，命仆人推搡出去。二人大笑而歸，回到帥府，辛棄疾就以有緊急公務為名傳喚這名都吏，這名都吏正在青樓快活，沒人能找到。直到天明後才聽說辛大帥夤夜呼喚，當下惶急不堪地趕來。辛棄疾一臉怒色，要將他發配到遠惡軍州，這人嚇得魂不附體，情願以罰代刑。於是辛棄疾罰了他一千萬錢，給劉過買了條船後，把這一千萬錢交給他，囑咐他以後花錢節製些。
正是因為辛棄疾官職顯卓，他這才有條件閑居帶湖之畔過閑逸的日子，辛詞中留給我們的印象是：“茅簷低小，溪上青青草。醉裏吳音相媚好，白發誰家翁媼？大兒鋤豆溪東，中兒正織雞籠。最喜小兒無賴，溪頭臥剝蓮蓬。”一副田園中普通農家的風光。但事實上辛棄疾可不是像窮酸老杜那樣住低小的茅屋，他是在“有曠土，三麵附城，前枕澄湖如寶帶”的好地段蓋了一座“築室百楹”的別墅。這棟莊園極為宏麗，據說朱熹曾“潛入去看，以為耳目所未睹”—朱老夫子偷偷去參觀，驚歎道：“我從來沒見過這樣漂亮的園子和房子！”
辛棄疾的身邊，也不僅僅是大兒、中兒、小兒相伴，“老婆一個，孩子一大幫”，這是窮人的標誌。人家辛棄疾老婆也是一大幫，身邊珠環翠繞，娶有整整、錢錢、田田、香香、可卿、飛卿等多名姬妾。“倩何人喚取，紅巾翠袖，揾英雄淚”？辛棄疾身邊的紅巾翠袖可真不少啊。
隨便說一下，整整這個小美女擅長吹笛，後來被辛棄疾送給一個看病的醫生了。當時辛棄疾的夫人病重，辛棄疾就指著整整對醫生說，你能醫好就送她給你，結果可能辛夫人聽後一高興，病就好了，可是整整倒黴了，隻好收拾東西離開了辛府。真是“為人莫作婦人身，百年苦樂由他人”。古時妻和妾的地位，那可差多了。古書記載粗略，不知這醫生長什麼模樣，但我的印象中古代醫師多是一把山羊胡子的猥瑣相，想來不會像剛從蝴蝶穀出師的張無忌那樣俊俏。
辛棄疾還有一首詞，是寫給其妾可卿（前麵有賈瑞，這裏有可卿，紅學家們眼前一亮，又有新發現了哦）的：
西江月 題可卿影像
人道偏宜歌舞，天教隻入丹青。喧天畫鼓要她聽，把著花枝不應。
何處嬌魂瘦影，向來軟語柔情，有時醉裏喚卿卿，卻被傍人笑問。
從詞中看，可卿大概是芳年早逝，辛棄疾對她十分懷念，所以畫了她的影容來不時展看。畫上的可卿手把花枝，嫵媚可人，然而，再熱鬧的場景她也看不到了！“喧天畫鼓要她聽，把著花枝不應”，此語好癡，讀來令人鼻酸。都說辛詞粗獷，其實這首詞細讀下來，其深情微婉處，當可與秦觀爭角，柳永那些逢場作戲的詞，不堪相儕。