海絲特·白蘭拘禁的期限滿了。她抱著孩子走出了牢獄，靠做針線的技藝維持她和孩子的生活。她處境孤寂，沒有一個朋友敢來接近她，佩在身上的那個紅字把恥辱深深地烙在她心上，她無言地忍受著人們的侮辱和詛咒，為社會所摒棄。她最感到欣慰又最擔心的是她的女兒，她給這嬰兒取名”珠兒”，是因為這是她惟一的寶物。珠兒形態完整、精力充沛，有一種天生的優雅，她有著奔放蓬勃的精神和非常倔強的性格。珠兒和母親同處在為人類社會所隔絕的一個圈子裏，很早就體會到那種孤獨，並且從母親那裏承繼了仇恨與熱情。
丁梅斯代爾先生是一個青年牧師，他從英國牛津大學畢業，學識淵博，善於辭令，在教區有著很高的聲譽。但自從海絲特當眾受到侮辱，戴上永不能取下的紅字時起，他的健康就開始衰退了。他時常徹夜不眠並施行齋戒，每逢略受驚恐或是突然遇到什麼意外事件時，他的手就會攏在心上，先是一陣紅潮，然後便是滿麵蒼白，顯得十分苦痛。這時候，齊靈窩斯對他產生了強烈的興趣，熱心地希望給他治療，在眾人的勸說下，丁梅斯代爾同意讓齊靈窩斯做他的醫藥顧問，倆人住進同一所房子。齊靈窩斯有著非常精深廣博的知識修養，他漸漸接近丁梅斯代爾的日常生活，與丁梅斯代爾建立起一種親密的關係，而他的麵孔上開始出現醜惡和邪氣，他在用一切方法向丁梅斯代爾的靈魂掘進。
一天正午，丁梅斯代爾坐在椅子裏沉睡，齊靈窩斯走了進來，撥開他的法衣，終於發現了丁梅斯代爾一直隱藏的秘密，他欣喜若狂。原來，丁梅斯代爾就是他尋找的人！
齊靈窩斯掌握了丁梅斯代爾的秘密，開始實施他精心計劃的、惡毒的報複手段。他利用丁梅斯代爾敏感、富於想像的特點，抓住他負罪的心理折磨他的精神，使他神情恍惚、氣息奄奄。終於，在一個漆黑的夜裏，丁梅斯代爾夜遊般地走到市場中的絞刑台上，發出一聲痛苦的嘶叫。
海絲特·白蘭和珠兒剛剛守護過一個人去世，恰巧從絞刑台旁經過，她看到丁梅斯代爾已處於崩潰的邊緣，大為震驚，她決定向丁梅斯代爾告知齊靈窩斯的真實身份，使他明白他所處的險境。
在廣漠無邊的森林裏，海絲特和珠兒見到丁梅斯代爾，她告訴丁梅斯代爾那個醫生齊靈窩斯就是她的丈夫。她勸丁梅斯代爾離開這裏，到沒有白種人足跡的荒野裏去；或者回到歐洲，這樣就可以避開齊靈窩斯的雙眼，隱藏起來，而她願意和他一起去重新開始新的生活：”我們不要回頭看，過去已經過去了，現在我們何必還要留戀呢？你看，我要除掉這個符號跟這個符號一起，什麼都除掉了，像從來沒有過這回事情一樣！”
海絲特的鼓勵使丁梅斯代爾重新有了生活的勇氣和希望。恰巧有一隻停泊在港灣裏的船3天之內就要到英國去，海絲特和丁梅斯代爾商定坐這隻船返回歐洲，一切都十分順利，丁梅斯代爾決定宣講完慶祝選舉的說教後就離開。
新英格蘭的節日到了，丁梅斯代爾的宣講就將在這天的集會上進行，海絲特帶著珠兒來到市場，心裏充滿了對新生活的憧憬：”你們最後再看一次這個紅字與佩戴紅字的人吧！”她想，”可是再過一會兒，她便不在你們的掌握之中了！再過幾小時以後，那深深的神秘的海洋，便會把你們放在胸上燃燒著的符號，永遠吞沒了去！”
那準備開往英國的船隻的船長漫步走過來，他告訴海絲特本地的醫生齊靈窩斯準備和她以及丁梅斯代爾一同出發，這消息使海絲特徹底絕望了。
丁梅斯代爾牧師開始宣講，他獲得了巨大的成功，但他變得衰弱而蒼白，在經過絞刑台時，他不顧齊靈窩斯的攔阻，拉著海絲特和珠兒走了上去，在眾人麵前說明了他和海絲特的關係，露出法衣佩帶著的紅字來，然後死去。
齊靈窩斯曾經把追求複仇與有係統地執行複仇當作了他人生的惟一原則；可是，等到完全勝利和成功以後，他那種邪惡的原則再也尋不到什麼東西為支持，他迅速地枯萎了，不到一年就死去了。他把他在英國的一份很大的財產，遺贈給海絲特·白蘭的女兒珠兒。
齊靈窩斯死後不久，海絲特和珠兒就不見了。好多年以後，珠兒定居在大洋那一邊，非常幸福，而海絲特又回到了波士頓，佩戴上那個紅字，從那以後紅字就永遠沒有離開過她的胸前。但是隨著那形成海絲特生涯的、艱辛、深思、獻身的年月的消逝，紅字已不是一個引起世人輕蔑和嘲笑的烙印，而變成一個符號，使人哀傷，使人望著它生起又敬又畏的念頭。
四主要人物形象。
海絲特·白蘭。
海絲特·白蘭是有形的紅字。她出身沒落的世家，父母貧窮而正直。她的不幸的婚姻，加之兩年中丈夫音訊皆無．謠傳他已葬身海底，這個孤苦夫依的少婦與才貌相當的丁梅斯代爾的愛情便顯得合情合理。事情敗露後，她被迫終身佩戴紅字，為了愛人的名聲，她獨自承擔了全部罪責與恥辱。出於對他的眷戀之情，她不但在他生前不肯遠離他所在的教區，就是在他死後，仍然放棄了與女兒共享天倫之樂的優越生活，重返埋有他屍骨的故地，重新戴上紅字，直到死後葬在他身邊，以便永遠守護、偎依著他。這個勇敢的女性還精心刺繡那紅字，著意打扮她的小珠兒，不僅出麵捍衛自己教養她的權利，而且尊重孩子狂野的天性，努力培養她成人。在作者的筆下，海絲特遠不隻是個爭取個性解放的女人，她還汲取了”比紅字烙印所代表的罪惡還要致命”的精神，把矛頭指向了“與古代準則密切相關的古代偏見的完整體係這是那些王室貴胄真正的藏身之地”，稱得起是一位向愚昧的傳統宣戰的鬥士了。這樣的高度，是很多文學作品中的婦女形象所難以企及的。她的這種精神境界盡管沒有為她的那些請教徒鄉親和愚不可及的長官們所理解（否則，不分要和來何等橫禍），但無論如何，由於她的合辛茹苦、助人為樂等美德，使她胸前的紅字不再是“通奸”的恥辱徽記，麵成了“能幹”，甚至“值得尊敬”的標誌了。