1851年10月，一位匈牙利革命的領導者科索茲流亡到了英國，對這樣一位工人運動的領袖女王政府當然恨之入骨，而帕麥斯頓卻表示要在倫敦的家裏接待這位匈牙利的愛國誌士。他們的矛盾再一次尖銳，帕麥斯頓甚至想以辭職相要挾，最後還是屈服了，但帕麥斯頓的同情革命政治態度卻因此而遠近聞名。幾個星期以後，一個來自芬士伯雷和艾林頓的激進派團體求見帕麥斯頓並呈上一份請願書，上麵將奧地利和俄國的皇帝蔑之為“醜惡可憎的凶手”和“殘忍的僭主與暴君”，作為君主****下的英國大臣，帕麥斯頓當然在表麵上對這些措詞表示了反對，但這種反對是溫和的，而且在這些溫和的談話中他聽任自己真情實感以一種漫不經意的方式流露出來。
帕麥斯頓的言行立即招致了朝廷的憤慨與咒罵。維多利亞夫婦深感手下的這位外交大臣比以前任何一個時候都顯得危險。
1851年年底，女王夫婦的擔憂達到了極點，這一年12月2日，巴黎發生了路易·拿破侖政變。路易·拿破侖又稱拿破侖三世，是拿破侖·波拿巴即拿破侖一世的侄子，他企圖恢複拿破侖一世的輝煌，建立了法蘭西第二帝國（拿破侖曾於1804年建立法蘭西第一帝國）。惟恐天下不亂的帕麥斯頓沒有和任何人商量，在政變後的第二天即召見法國大使，對拿破侖行動表示了讚同。女王夫婦大為不悅，兩天後她寫信告訴他，對於法國事務，英國政府的方針是保持絕對中立態度。
然而不久，在給駐巴黎的英國大使的公文中，帕麥斯頓似乎把女王的告誡當作耳邊風，繼續表示了他對拿破侖的讚同。這份公文照例未呈送給女王，首相也不曾見到就發出去了。
一連串的事實終於促使女王夫婦下定決心，首相約翰在強大的壓力下也失去了耐心。於是帕麥斯頓最終遭到了罷免。
帕麥斯頓被免使維多利亞夫婦大感輕鬆。尤其是阿爾伯特，他曾多次感到與帕麥斯頓較量之艱難，他也意識到他與帕麥斯頓之較量實際上是英德兩種不同文化之間的較量。理智戰勝了熱情，理性克服了感性。帕麥斯頓被揮到了一邊，王權得到了空前的鞏固。
自從阿爾伯特躋身英國政治以來，他一直把自己所有精力與才智放在王權的鞏固與擴大上。麵對自1832年“改革法案”以來黯然失色的君主立憲製，麵對國王被看作一個傀儡隻會按照大臣的意願“或點頭以示讚同，或搖首以表不許”的窘境，在男爵斯托克瑪的指引下，阿爾伯特決不放棄維護君主合法地位的任何機會，在他看來，國王當有為其內閣會議永久之主席的權力，應處於終身首相之地位，具有至高無上的懲戒權，國王甚至可以自始至終地參與政府的決策，他極其羨慕威廉三世的地位——他既主持其樞密院（相當於現今之內閣），同時又是一位立憲君主——盡管阿爾伯特的想法與當時時代的發展背道而馳，但他仍然堅忍不拔地努力將它付諸現實。
帕麥斯頓便是在這種背景下被揮到一邊的。
然而事情並不是那麼的簡單。由於阿爾伯特與帕麥斯頓的衝突遠遠地超出了倆人之間恩恩怨怨的範圍而涉及到兩個民族文化性格與整個時代主要矛盾之間的對抗，而這種對抗之間的勝負是很難分辨的。代表封建君主利益的阿爾伯特必然要受到正在發展的資產階級進步勢力的扼製，而代表日耳曼民族文化的阿爾伯特又必然招致絕大部分英國從上層到下層的民眾的圍攻，而這種扼製與圍攻隨著帕麥斯頓的被免而變得更加厲害、尖銳。
阿爾伯特的勝利是短暫的。幾個星期後曾與阿爾伯特站在一邊的首相約翰迫於議院的壓力被迫辭職。由輝格黨人和比爾的追隨者組成的聯合內閣成立了，首相是前外交大臣阿伯頓勳爵，而帕麥斯頓再一次進了內閣。
到了1854年1月，風傳阿爾伯特因犯了叛國罪被逮捕，還說要將他押解至國家監獄倫敦塔，甚至還有人說女王本人也一並被抓了起來，後來，也真有一大群人聚集在倫敦塔四周，期望有一天看到這對國家元凶走入監獄。
真是無稽之至，但它卻說明一個事實，皇家夫婦已不得民心。
但1855年發生的克裏米亞戰爭為女王夫婦重樹自己的威信提供了極好的機會。克裏米亞戰爭是1853—1856年間由俄國與英國、法國、土耳其、撒丁王國之間為爭奪殖民地的一場狗咬狗的戰爭。俄國力圖擊敗土耳其控製黑海海峽，進而插足巴爾幹半島，於是1853年出兵土耳其。英法也企圖控製土耳其，霸占近中東。雖然在阿爾伯特的影響下，罷免了一直力主參戰的帕麥斯頓。阿爾伯特也因此遭到民眾之譴責。但阿爾伯特本人在對待克裏米亞戰爭上的態度與帕麥斯頓卻是一致的。1853年10月，俄土戰爭爆發，11月俄軍擊潰錫諾普港的土耳其艦隊，引起了英法極大的不滿，1854年3月，在阿爾伯特的支持下，英王宣布對俄作戰。