邢澍一麵大力建設文化教育基礎設施，一麵在社會公益事業建設方麵也投入了大量心血，取得了良好的社會效果。以下從三個方麵加以闡述。
其一：修建留嬰堂。邢澍認為“好生者，天地之大德，保赤者，帝王之仁心”（《留嬰堂碑記》）。過去，長興民眾曾送孩子到湖州府育嬰堂，但家境困難的人苦於路途遠涉，仍不免遺棄傷生。邢澍的前任曾在縣城宜春門，募征民房作為育嬰堂，因經費短缺，方興旋廢。邢澍任職長興後，聽聞無人收養的孤兒和無力撫養的嬰孩或棄或亡，慘痛的現實觸動了邢澍的內心傷痛，勾起了他對自己兒時苦難生活的回憶。麵對現實，他作為一縣父母官，內心愧疚焦慮。他感歎道：“父母生之，為民父母者不能使之自育，而又不能代為育之，於心安乎？ ”（《留嬰堂碑記》）邢澍決意倡建留嬰堂。
嘉慶七年（1802年），他捐俸倡導，孝廉朱適等鄉伸捐款2200兩作經費，光祿寺署正朱黻升捐出嘉會門內6間房舍，稍加修葺作為留嬰堂。邢澍親自主持，“詳議條規，通詳立案”（《留嬰堂碑記》），製定管理條例，開堂育嬰，擇媼分哺。開堂後，邢澍又捐廉俸，補充留嬰堂的經費。留嬰堂開辦，在社會上引起了很大反響，邢澍本人也比較滿意，認為自己完成了一項“上揚聖世育物之仁，下殖兆姓生靈之命”（《留嬰堂碑記》）的光輝事業。
其二：建造橋梁，浚導渡津。長興地處江南水鄉，位於太湖西岸，水道縱橫交錯。境內有廿字河、箬溪水、四安水、笤溪水穿城而過。縣署前廿字河上原建有程氏橋，宋初名廣利橋，明萬曆間知縣熊明遇重修後，到邢澍時已經曆了200餘年，杠梁侵損，形勢欹危。嘉慶六年（1810年）秋，邢澍考績歸來，捐俸倡舉，紳士耆民共同籲請，“願以城廂市房本年租金捐一月之半，其租戶亦捐半月以成此舉”（《重建平政橋記》）。於是，邢澍派縣尉為工程監督，以當地名宿負責管理修建。民眾紛紛捐資出工，八月動工，十一月建成。因管理嚴格，工程順利進展非常，“事不煩而民為擾”，邢澍稱讚此舉是平政之道，欣然名之為平政橋。
次年，邢澍又倡導修建了豐樂橋，原橋係明嘉靖間縣令著名的唐宋派散文家歸有光創建，在縣城便名倉前，跨箬溪水、四安水和笤溪水。因在八卦中以震卦象征龍和東方，地形家謂龍自震方而來，所以橋建成後，歸有光命名為震龍，俗稱倉橋。由於年久失修，損圮嚴重，嘉慶七年九月邢澍捐資重建，經過三個月的奮力修建，終於告成。邢澍高興地說：“予既樂其歲物之豐成，而民亦知所以安，此豐年之樂也。”（《重建豐樂橋記》）橋建成後，紳士耆舊紛紛籲請更名，邢澍命名豐樂橋。
長興瀕臨太湖，入湖之水口有近40處，風起浪湧，屢有船舶陷於蛟窟。明嘉靖時，邑人聯合掘鑿山趾，開通了自長興縣坍湀至徐婁的裏河，並築石塘以捍衛湖水衝突侵襲。舟行裏河，如過枕席之上，平穩自如。至嘉慶間，石塘港逾260餘年，沙石淤積，難以暢通，直接影響了長興交通經濟的發展。邢澍親臨石塘港勘察後，慨然捐俸，清理港道，並躬身到工地解決問題，不到兩個月工程完竣，裏河重新暢行無阻，過往商旅無不交口稱讚。
其三：保護森林，重視消防。邢澍具有積極的環境保護意識和消防意識，具有人與自然和諧共處的思想理念。長興縣境名山環簇，有顧渚山、金蓮山、弁山、子山、五峰山等，山山相連，林木茂盛。由於管理不嚴，地方頑民鑿山開窯，伐木燒炭，謀取暴利，長期得不到根治。邢澍到任不久，白石山護龍庵主持丁元薦立即上書邢澍，反映白石山自然生態遭到破壞的情況。邢澍率領官員親自到白石山實地察看，了解詳情。麵對慘景，他痛心疾首，即刻派人抓捕毀山者處以重罰。他又擔心嗜利之徒，日久而故智複萌，親撰《白石山碑記》，樹碑永禁，警示民眾，隻許上山采樵，不得開山燒鑿，“並以告後之蒞斯土者”，必須嚴加管束。在邢澍重力治理下，長興縣境毀壞森林破壞生態的事件終被禁止。
邢澍是一位很有遠見的封建官吏，他看到長興雖為水鄉，但居民稠密，火患頻繁。為了減少火災給民眾帶來的損失，嘉慶七年（1802年），他親手組建了一支消防隊，捐俸購置了消防用具鐵撓鉤、粗拉鉤、繩索、钅郎頭、大雲梯、燒籠、水缸等，又從各役中挑選了80 名精幹者充為火兵，同目兵一起訓練，輪班值日，日夜整裝待命。這支火兵，為保護民眾生命財產做出了巨大貢獻。邢澍撰寫了《救火記》一文，記述了組建火兵的過程和火兵的功績。