然而，允祥的命運和性格，在康熙四十七年皇太子允礽被廢後，卻發生了天翻地覆的改變。
蘇州人何焯號“義門先生”，早年落魄，在蘇州靠教授私塾為生，後經李光地推薦，以草澤遺才而入南書房，並奉旨在八阿哥府侍讀。在給友人的信中，何焯提到：“十三殿下乃康熙帝所鍾愛者。”這還不夠，有著一顆非凡八卦之心的何焯，在給弟弟的信中，又生動地描述了楊國維被選出陪伴皇十三子讀書，而康熙一直認為楊國維詩文無人能出其右，現在讓他陪伴十三殿下，應該是對允祥的特別鍾愛了，皇十三子“將來遭際不可知也”。何焯是八阿哥允禩身邊的侍讀，而允禩又是皇位繼承人最有力的競爭者，連何焯都如此看，一時間，十三阿哥要成為太子的風聲，傳得風風火火。
形勢突然急轉，允祥被冷落了。對允祥的冷落，表現在方方麵麵，往昔康熙出行，身畔總是少不了允祥，此後不管去何方，再也不見允祥的蹤影。康熙四十八年，康熙帝大封皇子，允祉、胤禛、允祺被封為親王，其他諸王子，或為君王，或為貝子。沒有受封的成年王子隻有允祥，此時他已二十四歲。康熙五十一年，康熙遍賜銀兩，上至親王，下至禦前侍衛，都得到了封賞，就連因爭奪太子之位而被拘禁的允禩也得到了賞銀，但允祥卻一兩賞銀也沒有。
康熙冷落允祥，其中的原因，是他以為這個讓他喜愛的皇子，也開始覬覦太子的位置。晚年的康熙已是杯弓蛇影，被兒子們給傷透了心。他最厭惡的就是皇子們流露出來的野心，曾放出狠話：“如有鑽營為皇太子者，即國之賊也。”
允祥固然沒有想當太子的心思，可民間的各種風傳，終究傳到了康熙的耳裏。愛之愈深，恨之愈切，自己最喜歡的皇子，曾經在地上嗅著氣味追尋父皇蹤跡的允祥，竟然也有如此野心。失望悲切之下，康熙開始冷淡允祥，並告誡其他大臣皇子警惕他。
在其他皇子的請安奏折上，康熙批示時明確地流露出了對允祥的厭惡，認為他是“不大勤學忠孝之人”，“爾等若放任之，必在一處遇著他，不可不防”。康熙生病了，在病榻之上還傳諭旨給步軍統領托和齊，讓他留心允祥：“現在朕龍體欠佳，流言蜚語四起。這些言語皆出自正藍旗，你一定要切實留意。”
皇子和群臣們心裏都明白，老皇帝雖不點名，但他所說的正是屬於正藍旗的允祥。
在康熙的整個晚年，允祥仿佛是被遺忘了的人。允祥默默地旁觀著其他皇子們的激烈角逐，他仿佛超然於世外，除了皇四兄胤禛，他不與其他人來往。
允祥與四兄胤禛感情深厚，胤禛的第五個兒子弘晝八歲時得了重病，四處求醫而不能治愈。允祥親自出馬，多方奔走，覓到良藥，救了他的命。後來胤禛對弘晝說：“汝命，叔父所活也，宜呼之為父。”
允祥知道四兄胤禛的能量，雖然康熙一直說四兄胤禛性情急躁，可四兄在諸皇子中，雪藏最深，最會隱忍。其他各皇子，無不野心勃勃，大打出手。胤禛則與喇嘛頻繁來往，在王府大做佛事，甚至自號“天下第一閑人”。在外人看來，胤禛清心寡欲，潛心佛學，無心帝位。可允祥知道，四兄外表雖超然，但他內心隱藏的卻是洶湧的火山，他也在布局，也在角逐，隻是他做得更隱蔽高明。
對於康熙這樣的老人來說，垂暮之年，最大的樂事就是兒孫繞膝，安享天倫之樂了。四兄胤禛用他俊俏明朗、聰慧過人的兒子弘曆，成功地俘獲了康熙的心。
康熙六十一年春天，胤禛帶著十一歲的兒子弘曆來到圓明園。此日天氣晴朗，繁花怒放，康熙心情極佳。對於胤禛的這個兒子，他還從來沒有見過。突然看到一個俊帥的孫兒出現在眼前，且談吐聰慧，舉止穩重，康熙立刻就愛上了這個孫兒，讓將弘曆送到宮中親自養育。
此後康熙褪去了帝王的威嚴，盡顯祖父慈愛的一麵。每日康熙邊教導弘曆讀書，邊批閱奏章，接見官吏時也讓弘曆陪伴在一旁。木蘭秋獮時，康熙特意帶上這個愛孫。康熙先用火槍將一頭熊擊傷，然後讓弘曆再去補上一槍，以創下初次圍獵就射殺熊的美譽。不想弘曆剛剛上馬，熊突然立起撲了過來。弘曆毫不驚慌，康熙則趕緊補了一槍，將熊擊斃。事後康熙稱讚這個孫子“伊命貴重”。圓明園中，不時有著祖孫情深的一幕發生。康熙在遊船上，船還未靠岸，弘曆已呼喊著從山上飛奔而下前來迎接。愛孫心切的康熙，不等船停穩，就跳上岸去一把抱住孫子。