從此，卡格裏奧斯特羅就開始倒黴了。弗萊小姐的情夫教唆她開始展開報複行動。首先她控告卡格裏奧斯特羅欠她200英鎊的債，借機將他送進監獄。司各特趁卡格裏奧斯特羅還在拘留時，找來一個小律師陪伴他闖進了伯爵的實驗室，將一個他們覺得是裝變金粉的盒子拿走了，同時還帶走了一大堆秘密的書稿和有關煉金術的論文，他們發現項鏈後又再一次指控他。弗萊小姐控告他們兩人利用巫術和妖術在魔鬼神力的幫助下預測摸彩的號碼。後一種指控是由法官米勒（Miller）先生聽審的，而非法侵占項鏈的案子則是由民事法庭的主審官審判的，法院提議雙方提交仲裁人。卡格裏奧斯特羅這段時間隻得在獄中度過了幾個星期，最終交了保釋金才重獲自由。這件事過後沒多久，又有一個叫萊納德（Leonard）的律師盯上他了，這個人也參與了這個陰謀，而且建議如果卡格裏奧斯特羅能答應他們幾個條件就可以調整全部指控。司各特跟隨萊納德上門拜訪並躲在了門後，在卡格裏奧斯特羅開門之後，忽然跳出來拿一支槍對準他的心窩，威脅說要是他拒絕告訴他們預測吉祥號的辦法和變金術，就立刻槍斃了他。萊納德裝做很生氣的樣子，卸下他同夥的槍，請求伯爵告知他們準確的秘密，而且承諾說要是他願意這樣做，他們就不再指控和騷擾他。卡格裏奧斯特羅回答說，他們想知道的這些，問他沒有任何意義，因為他也不知道這個秘密。他們在他那裏搶去的變金粉，隻有他才能用，對別人來說都沒用。但是他提出，要是他們將指控解除，把手抄稿和粉末還給他，他們從他那裏騙走的錢他就不再追究了。但這些條件都被拒絕了，司各特和萊納德走之前還咒罵著要報複他。卡格裏奧斯特羅根本不了解英國的法律形式，也沒有朋友告訴他怎樣做更合適。就在他告訴夫人他們遭到的各種困苦時，來了一個他的保釋人，邀請他坐著一輛老式馬車到一個能夠替他鳴不平的人家裏。卡格裏奧斯特羅答應了，結果他被送進了國王本茨監獄。他的那個朋友也走了。過了幾個小時他才知道原來自己又被保釋人送回了監獄，變成了一個囚犯。
他過了幾周之後又重獲自由，弗萊小姐的仲裁人做了一個對他不利的決定，被判處將弗萊小姐控告他欠下的200英鎊債務全部還清，而且將她送給伯爵夫人的項鏈和金盒子也一並歸還。卡格裏奧斯特羅相當生氣，他發誓要離開英國。除了這些倒黴的事之外，他的那些欺詐行為也被《歐洲先驅》的主編——一個叫莫蘭德（Moland）的法國人無情地曝光了，然後在倫敦出版。更加火上澆油的是，他被西斯敏教堂定為約瑟夫·巴爾薩摩——巴勒莫的大騙子。這一堆的壞名聲簡直令他難以忍受，他和老婆收拾家當，僅拿著不到50英鎊從英格蘭離開了，我們都清楚他們是帶著3000英鎊來的。
他們來到布魯塞爾，在那裏的運氣比在英國要強得多。他們賣掉了很多長生不老藥，也治愈了很多疾病，很快他們空蕩蕩的錢袋就鼓了起來。然後，他們從德國去了沙俄，一路上十分順利。難以計數的金子不斷地被他們收入囊中。兩人已經逐漸淡忘了在英國時所遭受的所有痛苦，但是在跟人交往時倒是小心多了。
在1780年，他們在斯特拉斯堡第一次亮相。真是未見其人，先聞其聲。他們住在一家豪華飯店，並邀請當地全部的知名人士聚餐，看起來他們的財富如同他們的熱情好客一樣令人豔羨。伯爵和夫人一起給人看病，奉送給鎮上所有的窮人和病人錢、藥、谘詢等。那些沒有將想象力的神奇功效充分運用在個別病例中的普通醫生們，對他們治愈的一些病例感到震驚。那時隻有25歲芳齡的伯爵夫人優雅迷人，聲稱她有一個帥氣的28歲大的兒子，而且已經在荷蘭當了多年的船長。這個謊言果然引來許多羨慕的目光，斯特拉斯堡方圓幾裏之內的醜老女人們全部聚集到伯爵夫人的大廳裏來要可以將她們變得跟自己女兒一樣年輕漂亮的藥水，年輕女人們為了青春永駐也蜂擁而至，即使比尼農·德蘭克羅斯老兩倍的人也想要變得比她更迷人。而對這些沒有興趣的男人們，就愚蠢地幻想有這樣一兩滴相同神力的長生不老藥可以阻止他們的衰老。事實上，伯爵夫人看著就好像一個年輕美麗的女神，像是永恒的化身。那些一有時間就到這個香氣撲鼻的房間裏來的老少男人們，應該更多的是迷戀她靚麗、惹人憐愛的雙眸和有豐富啟發性的教誨，而不是對她神力的迷信。雖然德·卡格裏奧斯特羅夫人一直被神龕前的香氣環繞著，但她對自己的丈夫忠貞不渝。她給人希望，但她從來不會兌現。她引誘了男人的羨慕，但她總會將它控製在一定限度裏。她令男人們成為她的奴隸，但卻從來沒給一點恩惠讓最虛榮的人去誇耀。
他們認識很多這個城市裏的知名人士，其中包括紅衣主教德·羅罕王子，這個人必定會對他們的命運造成一些不好的影響。紅衣主教好像很相信他這個哲人，而且勸服他跟他一起去巴黎。卡格裏奧斯特羅隻在那裏停留了13天，他覺得他還是更願意待在斯特拉斯堡，回來後就下決心要在離首都很遠的地方定居。但他不久就發現人們對他們的興趣遠沒有他剛到斯特拉斯堡時那樣強烈了。人們開始理智地想問題，並且將羨慕他們當成是恥辱。他曾經大量救助的人們竟然開始責難他是一個反基督教徒，一個流浪的猶太人，一個人形妖怪，一個活了1400年的老怪物，一個被指派來要摧毀他們的人。而那些生活條件比較富裕和學識淵博的人們就說他是外國政府派來的間諜，警察的代表、大騙子、一個作惡多端的人。抗議和責難與日俱增，卡格裏奧斯特羅覺得另尋發財之處才是明智的。
他先是到了那不勒斯，但這裏離巴勒莫太近了，他怕以前的那些朋友把他認出來。沒住多久，他又返回了法蘭西，將巴爾的摩選為他的新定居處，這竟然激起了很大的震動，就和之前在斯特拉斯堡的情形一樣。他公開聲明自己創立一個新醫藥和哲學派別，大肆誇耀自己能治百病，他將病人和窮人都召集到他這裏，說他能減輕這個人的痛苦，能治好那個人的病。一整天，他下榻的豪華飯店門前的街道上人流擁擠，瞎子、跛子、抱著生病孩子的女人、身上患有各種疾病的病人都聚集到這個神醫的住所來。與其說萬能藥有效，還不如說他給予的物質幫助有作用。鑒於人數太多，市政官員隻好專為他設一個警衛，全天候地駐守在他的門前來維持秩序。卡格裏奧斯特羅預想的情景終於實現了，富人們十分讚賞他的大方和仁慈而且堅信他的神功。長生不老藥賣得相當紅火，想要買長生不老藥的有錢傻瓜擠滿了他的大廳。保持百年美麗麵容對女性的誘惑力無以複加，而健康和力量則是對男人的誘餌。同時美麗誘人的伯爵夫人也通過算命、測投胎指出或幫助樂意花大價錢的女士調製氣精發了一大筆財。她甚至在巴爾的摩舉辦十分盛大的宴會來維護丈夫的聲譽。
但是，就像在斯特拉斯堡一樣，公眾的瘋狂隻持續了幾個月就不見了。正當卡格裏奧斯特羅陶醉在成功之中時，他忽視了騙人一旦超過了一定底線，是會招來危險的這一點。當他裝做在墳墓裏召喚神靈時，人們就不再信任他了。人們控告他是基督的宗教敵人，是流浪的猶太人。最開始謠言隻在幾個人之間流傳，他一點兒也不在乎。但是後來整個鎮上都傳遍了，他再也賺不著錢了。人們不再參加他的晚會，在街上熟人碰見他轉身就走，此時他意識到自己又到了離開的時候了。
這一回他對小地方感到厭煩了，開始轉移到首都了。剛到那裏，他就說他是埃及共濟會的複會人，還開創了一套新哲學。在他的朋友紅衣主教德·羅罕的幫助下，他很快就進入了上流社會，變成了一個卓越的魔術師。當時首屈一指的人物接見了他，他大肆誇耀自己能像玫瑰十字會員那樣跟小精靈們交談，能喚醒陵墓中死去的人，能變出黃金，能在神靈賦予他的特庇的輔助下發現一些神秘的東西。比如，他能夠像迪博士那樣召喚天使們來預知未來，天使們或者在水晶球中出現或是在玻璃鍾下，來和他交談。《當代人傳記》中講道：“幾乎所有的巴黎淑女都曾在卡格裏奧斯特羅的房間裏和盧克雷特（Lou krayt）一起用晚餐，幾乎所有的軍官都和愷撒、漢尼拔漢尼拔·巴卡（Hannibal Barca，公元前247年—公元前182年）：北非古國迦太基名將，軍事家。——譯者注、亞曆山大亞曆山大大帝（Alexander the great，公元前356年—公元前323年）：古代馬其頓國王，亞曆山大帝國皇帝。——譯者注一起商量過軍事，幾乎所有的演說家或議員都和西賽羅西賽羅（Cicero，公元前106年—公元前43年）：古羅馬的一位重要的曆史人物，他是古代羅馬共和後期的一個政治家、雄辯家、文學家，同時也是一個有影響的教育家，對於古代羅馬的教育有著重要貢獻。——譯者注的靈魂辯論過法律。”跟死人見麵的花費很大。因為卡格裏奧斯特羅解釋說死人是不會無緣由出現的。為維護丈夫的名聲，伯爵夫人一如既往地展示了她的各種才能，尤其受到女士們青睞，她對很多既好奇又激動的聽眾仔細地講了卡格裏奧斯特羅的神奇力量，還說他會隱身術，能用閃電般的速度周遊世界，而且能夠一次到多個地方。
到巴黎沒過多久，卡格裏奧斯特羅就卷入了一度十分著名的皇後項鏈事件之中。他的紅衣主教朋友德·羅罕一直愛慕瑪麗·安托瓦妮特，而她總是表現得很不喜歡他而且對他態度很冷淡，這使他很傷心。那時有一個叫拉·莫德的女人是皇後身邊的侍女，紅衣主教愚蠢地將她當成知己。於是拉·莫德夫人便開始利用紅衣主教，她成功了，但事情卻做過了頭。在她做皇後的侍衛女和女貴賓的時候，有一次皇後陛下在跟巴黎一個有錢的珠寶商波莫爾見麵時，拉·莫德也在場。波莫爾打算賣給皇後一串項鏈，這項鏈價值160萬法郎或64萬英鎊，皇後愛不釋手，但又很遺憾地說她無力購買，於是就將珠寶商打發走了。拉·莫德夫人謀劃著自己能得到這個昂貴的飾物，她決定把紅衣主教利用起來給她充當一次工具。於是她找了個適當的時機去見他，裝做對皇後不喜歡他和對他的痛苦狀態表示同情，然後對他說她有一個好辦法能讓他再次受寵。她就提到了項鏈這件事，以及皇後沒錢買下的苦惱，這個富有的傻紅衣主教立刻說要將那條項鏈買下來，作為獻給皇後的禮物。拉·莫德夫人說絕對不能這樣做，因為這樣一來會刺激到皇後陛下的，他最好誘導珠寶商賒給皇後陛下，讓他收下她的期票券，將金額、日期寫好，留著以後再說。紅衣主教很高興地采納了這個建議，並告訴珠寶商為皇後起草一份協議，他再令皇後簽名。這份協議被紅衣主教交到拉·莫德夫人手中，拉·莫德夫人很快就將簽好的協議還給他了，在協議的邊上寫著“好，好——同意——瑪麗·安托瓦尼特”。同時拉·莫德夫人對他說他的所作所為使得皇後大悅，並打算安排一次機會和他在凡爾賽花園會麵，到時候她會贈給他一束花來表示感謝。紅衣主教將假文件給了珠寶商，又從珠寶商那裏拿了項鏈交給拉·莫德夫人，事情到了這裏一切進展順利。她接下來的計劃就是要滿足主教，他的皇室情婦允諾的約會他已經等得不耐煩了。那時候在巴黎有一個叫德·奧麗弗的年輕女人，因長得特別像皇後而遠近聞名。在拉·莫德夫人豐厚報酬的誘惑下，她答應假冒皇後瑪麗·安托瓦尼特，趁著夜色蒙矓來跟紅衣主教德·羅罕在凡爾賽花園約會。約會開始後，紅衣主教被隱約的光線、十分相似的贗品以及自己的期望欺騙了。自從接到德·奧麗弗小姐的花後，他那很多天以來沉重的心終於放鬆了。