1935年，根據莫斯科的指示，佐爾格集中精力贏得德國駐東京使館的信任，並獲準向他們捉供一定的情報。佐爾格開始接近德國大使館武官尤金·奧特。憑借他們過去在一個師內服役的舊情，兩人關係搞得十分融洽。當奧特還在名古屋時，佐爾格就給他提供過關於日本軍事方麵的有用情報或有關日本形勢的新見懈。這充實了奧特給東京武官的彙報內容，增加了他在上級心目中的份量。由於佐爾格的幫助，奧特升了官，後來還當上了大使。
1936年，佐爾格獲得“武官奧特上校非官方秘書”這一職位，德國使館內設有他的辦公室。當然，大使讓佐爾格看機密文件時，他不便拿到：自己的辦公室去照相或抄錄，隻是死記硬背其中的要點，然後追記摘要。但當使館其他人向他討教時，他往往要求對方讓他把有關文件帶到自己的辦公室去。他老是說：“我希望能夠慢慢地仔細地讀一遍。”他一回到自己的屋裏，便把材料中較重要的部分拍攝下來。
1939年9月初歐戰爆發後，佐爾格與德國使館第一次正式發生工作關係，他負責把柏林發來的官方電訊稿編成。新聞簡報。他的一小間辦公室在使館舊樓的第二層，緊挨著德國新聞社的監聽室。他的第一件事是把來電分門別類地加以整理，挑選較重要的新聞給使館高級人員過目，然後著手編新聞摘要，發給僑居日本的德國人。此外，他還編新聞通報，分發給日本報刊。
佐爾格因幹這份差事而獲得報酬，但他不在使館編製之內。他考慮再三，幾次拒絕成為使館人員。柏林外事局敦促奧特給他1安排一個相當高的職務，負責情報和宣傳工作。但他還是拒絕了。奧特感到很惱火，最後佐爾格隻好答應繼續給奧特當私人顧問。
佐爾格避免正式從屬使館有個特殊原因，他不僅認為正式職務會影響他力莫斯科工作，他還擔心，他的詳細經曆一經必不可少的安全審查，還沒等他被接納為外交使團的一員就會敗露。
不管怎麼說，佐爾格與大使以及使館高級官員之間的關係特殊，使館的高級官員遇事經常征求他的總見。比如，他們時常告訴他，他們聽到這樣或那樣的消息，問他是否也聽到了，有何看法·有時人使拿出一份電報稿給佐爾格看，請他提出修改意見。因此他從中了解到重要電報、信件的內容。有時他的意見引起一番爭論，這樣便能得到更多的情報。
經過長期的精心準備，佐爾格已經成功地全麵地滲入了德國使館。
組建小組設立密台
莫斯科指派給佐爾格兩個夥伴，一個是日本人，另一個是無線電報務員。1933年初，佐爾格首先聯係了小組的報務員“伯恩哈特”。他先期到達日本，和妻子住在橫濱郊區，以商人身份為掩護。佐爾格告訴他，要立即著手在他寓所內架設無線電台。
他接著去聯係小組的第三位成員，南斯拉夫籍的勃蘭科·伏開利克。他們初次見麵，佐爾格發現伏開利克身體欠佳，又短缺經費。佐爾格在經濟上資助了他，並引導伏開利克廣泛結識了許多外國新聞團體和英、法使館高級官員，給伏開利克打開了局麵。
那位日本夥伴，名叫宮木佑德，年紀與伏開利克不相上下，也在市裏等待著“拉姆賽”(即佐爾格)的召喚。他10月從加利福尼亞趕來，住在一個朋友家裏，堅持天天讀英文日報《日本廣告》。2月中的一個早晨，他見到了自己長期尋找的東西，那是“征求”欄中的一個告示：
“老東家征求浮士繪，並急需有關該問題的英文書籍。東京《日本廠告》423號信箱。”
這是伏開利克根據佐爾格指示辦的。宮木給該報寄去一封回信，於是他和伏開利克在《日本廣告》社見了麵。宮木和伏開利克各自在皮夾中帶了一張一美元的鈔票。這兩張鈔票號碼連著，兩個人便接上了頭。