盡管朝鮮方麵堅持認為，應該按照政府間協議，將這5名探親者送返朝鮮，然後再讓他們舉家遷居日本。但是日本政府已經鐵了心了，安倍晉三抓緊召開解決綁架問題的專門會議，商量對策。安倍先後說服了福田康夫官房長官和小泉首相，決心不惜中止日朝恢複邦交的談判，也不讓這5個人按期返回。其公開的理由是“為給這些綁架受害者，包括他們留在北朝鮮的家屬創造一個能自主決定的環境”。並要求朝方立刻歸還其在朝家屬，嚴懲綁架凶手。
將這5個人留在了日本，滿足了一部分極端民族主義分子的虛榮心，卻導致日朝關係重陷僵局，朝方指責這是“違反協議”。原定於當月底在吉隆坡舉行的第12次雙邊關係正常化談判也因此而破裂。而日本政府明知自己理虧心虛，卻反唇相譏“綁架才是重大的違反國際公約的做法，朝鮮沒有資格指責日本違反協議”。小泉訪朝打開的日朝建交談判機製中途擱淺，《朝日平壤宣言》也成了一紙空文。另外，2001年10月美國特使凱利訪朝，朝鮮半島核危機從此升級，作為美國重要盟國的日本的對朝態度也隨之陡然變臉。
隨著朝核問題的再次出現以及美朝關係的日趨惡化，日本政府以及日本輿論對朝鮮的態度發生了很大的變化，他們利用綁架事件大做文章。人們在日本輿論中看到的是朝鮮的確是一個不折不扣的“邪惡軸心”國家。日本國內一些人卻將日朝邦交正常化進程陷入僵局的責任完全推給朝鮮，並不斷煽動反朝情緒。媒體上出現大量的醜化朝鮮的宣傳，右翼團體的反朝聲勢更是日益高漲，這使得日朝關係進一步跌入低穀。
反朝、排朝、對朝不信任成為日本對朝鮮社會輿論的主流，日本出現了“妖魔化朝鮮”的局麵。極右的政治勢力更是借機大做文章，宣揚對朝采取經濟製裁等強硬政策。同時由“綁架問題”受害者親屬組成的民間組織和支持這一組織的議員聯盟則提出了遠遠超過這個數字的受害者名單，並且堅持認為朝鮮政府認定死亡了的人，並沒有死亡，肯定還活著，還無中生有地說什麼：“有人看見橫田惠在平壤的超市購物等。”要求朝鮮政府立即將他們交出來。除此之外，還有一份更大的“可能被綁架者名單”。究竟朝方給出什麼樣的答複，才算是“完全解決綁架問題”，連日本政府內部都沒有一個統一的看法。
日本政府稱“朝鮮對於日本的製裁措施加強了反抗，很有可能實施包括恐怖襲擊在內的對日危險行動”。為此製定了《保護國民法》，《武力攻擊事態法》等“有事7法案”，閹割了《日本國憲法》中關於“永遠放棄以國家權力發動的戰爭、不使用武力或武力威脅作為解決國際爭端的手段”的原則，完備了日本國內的戰爭立法，為成為軍事大國確立了法律依據。同時也限製國民的自由，強迫國民服從國家的戰爭動員需要。另外，日本政府2004年度開始建立導彈防禦係統。日本政府聲稱，建立導彈防禦係統是為了防禦朝鮮已具備實戰能力的“勞動”中程彈道導彈的襲擊。日本的《防衛白皮書》，連年提出日本麵臨的兩大威脅是恐怖襲擊和大規模殺傷性武器與彈道導彈的擴散，提出將徹底改革防衛力量裝備體係，將參與“國際活動”作為自衛隊的基本任務。