為了能一飽豔福，陳紅霞趁著陳外出，把韓子高召到自己的閨房來，要強行奸汙韓子高。韓子高哪敢答應，開始還抵死不從，後來韓子高實在扛不住陳紅霞的威逼色誘，隻好無恥地背叛了陳，和陳紅霞有了一夜好夢。
陳紅霞也知道韓子高的心在她堂兄那裏，為了收買韓子高，陳紅霞經常偷母親房裏價值上萬錢的珠寶送給韓子高，並給韓子高寫了首情詩：
人道團扇如圓月，儂道圓月不長圓。
願得炎州無霜色，出入歡袖百千年。
慢慢地，韓子高和陳紅霞偷情的事情在上層圈子中就傳開了。後來王鈦知道自己居然不知不覺做了隻大烏龜，那還不惱羞成怒，立刻告訴王僧辯。王僧辯也生氣，這樣不守婦道的女人到了王家也是個惹事精，就拒絕了這門親事。陳霸先不知王僧辯為什麼要這樣做，以為王僧辯想甩掉自己，一怒之下，滅掉了王僧辯。
王鈦的這頂綠帽子無論如何摘不掉的，隻是有個疑問，陳的“女人”和自己的堂妹有私情，陳算不算烏龜？嗬嗬。不過，就算陳知道也沒什麼，韓子高和女人有私情總比和另外一個男人有私情能讓陳保存一點麵子，陳依然寵愛著腳踏兩隻船的韓子高。
在陳永定三年（559）的六月，已經取代蕭氏做皇帝的陳霸先得病歸天，因陳霸先的六兒子陳昌在上次江陵失陷時被抓到了北周做人質，陳朝百官就擁立人氣更高的陳做陳朝第二代皇帝。不過這時陳卻早就忘記了當初給韓子高許下的承諾：如果他做了皇帝，就封韓子高做皇後。
當然這也能理解，畢竟女人當皇帝並沒有違反人倫大道，可如果冊封男人做皇後，那就太驚天動地了。陳還沒有和傳統徹底決裂的勇氣，他立了江東世族吳興沈氏出身的沈妙容做皇後。雖然韓子高沒當上皇後，但他在陳心目中的地位沒有任何一個女人可以動搖，他才是陳此生最愛的人。
這時的韓子高漸漸地擺脫了皇帝“侍妾”這個比較尷尬的身份，而是成為一個勇猛的大將軍，陳也知道把韓子高留在身邊，對小韓未來的仕途會產生不利的影響。
陳天嘉二年（561）底，陳下詔，命司空侯安都東征他那位準備造反的親家、東陽（今浙江金華）太守留異，韓子高隨軍，讓韓子高多立戰功，堵住某些人的閑嘴。
韓子高也確實給陳爭氣，在桃枝嶺一戰，韓子高單槍匹馬闖進了留軍的大陣裏，來回衝殺，結果不小心被敵人傷到了脖子，頭發也被劈掉了一半。不過韓子高這般勇猛，極大地鼓舞了陳軍的士氣，陳軍一鼓作氣，幹掉了留異。
這正是陳希望看到的，這回陳就可以光明正大地提拔韓子高。韓子高從東陽太守開始做起，一直做到了右衛將軍，晉爵文招伯。右衛將軍和左衛將軍統領皇帝的親衛部隊，閑雜人等是坐不到這位子的，可見陳對韓子高的信任。
不知不覺間，韓子高已經跟了陳十五年了，陳身邊雖然三妻四妾，生了一堆兒子，但十幾年來，他和韓子高幾乎就沒有分開過，他們甚至準備就這樣平平淡淡地走完一生。隻是沒想到的是，陳走得太早了，陳天康元年（566）四月，四十二歲的陳文帝陳遺憾地離開了這個世界，離開了他最舍不下的韓子高。
陳死後，皇太子陳伯宗即位，陳二弟安成王陳頊輔政。陳頊這個人野心非常大，他根本不滿足於當什麼攝政王，而是暗中發力，準備踢掉侄子陳伯宗，自己做江東霸王。
陳頊也明白，如果不先拿掉兵權過重的右衛將軍韓子高，他的皇帝夢根本做不下去。但如果和韓子高玩真家夥，未必就是韓子高的對手。陳頊聽從軍師毛喜的建議，決定發動政變。陳光大元年（567）二月，陳頊在朝堂上一舉拿下了毫無防備的韓子高和尚書仆射到仲舉，隨後就將韓子高下獄賜死，時年三十歲。