圖書在版編目（犆犐犘）數據學術Ｗｅｂ主題結構挖掘研究／楊波著．—南京：南京大學出版社，２０１８．１１ＩＳＢＮ９７８７３０５１９８２６７Ⅰ．①學…Ⅱ．①楊…Ⅲ．①學術研究網絡信息資源主題分析Ⅳ．①Ｃ７９５②Ｎ７９５中國版本圖書館ＣＩＰ數據核字（２０１７）第３３００５６號出版發行南京大學出版社社址南京市漢口路２２號郵編２１００９３出版人金鑫榮書名學術犠犲犫主題結構挖掘研究著者楊波責任編輯陳佳編輯熱線０２５８３６８６３０８照排南京紫藤製版印務中心印刷江蘇鳳凰數碼印務有限公司開本７８７×９６０１／１６印張１３．５字數２１４千版次２０１８年１１月第１版２０１８年１１月第１次印刷ＩＳＢＮ９７８７３０５１９８２６７定價４５．００元網址ｈｔｔｐ：／／ｗｗｗ．ｎｊｕｐｃｏ．ｃｏｍ官方微博ｈｔｔｐ：／／ｗｅｉｂｏ．ｃｏｍ／ｎｊｕｐｃｏ官方微信ｎｊｕｐｒｅｓｓ銷售熱線０２５８３５９４７５６版權所有，侵權必究凡購買南大版圖書，如有印裝質量問題，請與所購圖書銷售部門聯係調換目錄目錄第一章引言………………………………………………………………００１１．１研究背景…………………………………………………………００１１．１．１基於文本的主題聚類…………………………………００２１．１．２基於鏈接分析的主題聚類……………………………００３１．１．３基於複合網頁特征的主題聚類………………………００４１．１．４基於宏觀網絡拓撲結構的Ｗｅｂ主題社區發現………００５１．１．５基於Ｗｅｂ訪問日誌的用戶社區發現…………………００６１．１．６基於Ｗｅｂ主題圖的信息瀏覽和檢索可視化…………００７１．２研究意義…………………………………………………………００８１．３Ｗｅｂ主題結構分析研究現狀…………………………………００９１．３．１Ｗｅｂ顯著性指標研究…………………………………００９１．３．２基於學術Ｗｅｂ的機構主題聚類研究…………………０１１１．３．３非學術Ｗｅｂ空間的行業主題顯著性研究……………０１２１．３．４學術Ｗｅｂ社區的地域影響因素研究…………………０１３１．４研究內容…………………………………………………………０１３第二章犠犲犫主題結構挖掘相關算法……………………………………０１８２．１概述………………………………………………………………０１８２．２Ｗｅｂ搜索中的主題分析算法…………………………………０１９２．２．１主題敏感的ＰａｇｅＲａｎｋ…………………………………０１９２．２．２ＨＩＴＳ……………………………………………………０２２００１學術Ｗｅｂ主題結構挖掘研究２．３基於圖的社區發現算法…………………………………………０２４２．３．１Ｔｒａｗｌｉｎｇ………………………………………………０２４２．３．２最大流算法……………………………………………０２５２．４基於局部網絡關係的社區發現算法……………………………０２８２．４．１基於共鏈的社區發現…………………………………０２８２．４．２基於ＳＮＡ的社區發現…………………………………０３１２．５基於複雜網絡的社區發現算法…………………………………０３３２．５．１ＧＮ及其衍生算法………………………………………０３４２．５．２基於模塊度優化的算法………………………………０３６２．５．３派係過濾算法（ＣＰＭ）…………………………………０３８２．５．４ＬＰＡ算法………………………………………………０３９２．５．５ＣＯＰＲＡ算法……………………………………………０４１２．５．６ＳＬＰＡ算法………………………………………………０４３２．５．７算法對比………………………………………………０４４２．６小結………………………………………………………………０４６第三章犠犲犫主題結構挖掘中的數據采集技術研究……………………０４７３．１相關研究…………………………………………………………０４７３．１．１概述……………………………………………………０４７３．１．２搜索引擎………………………………………………０４８３．１．３通用Ｗｅｂ信息采集工具………………………………０５１３．１．４自主開發的專用采集工具……………………………０５２３．２數據采集模型與策略……………………………………………０５５３．２．１數據采集模型…………………………………………０５５３．２．２鏈接解析………………………………………………０５７３．２．３鏈接統計規則…………………………………………０５８３．２．４頁麵選擇與鏈接分類…………………………………０５９３．２．５鏈接預測………………………………………………０６１３．３Ｗｅｂ數據采集係統的設計……………………………………０６５００２目錄３．３．１總體架構………………………………………………０６５３．３．２功能介紹………………………………………………０６７３．３．３參數配置………………………………………………０６９３．３．４任務監控………………………………………………０７１３．４小結………………………………………………………………０７２第四章學術犠犲犫宏觀主題結構挖掘研究………………………………０７４４．１概述………………………………………………………………０７４４．２大學網站的鏈接特征……………………………………………０７６４．２．１鏈接動機………………………………………………０７６４．２．２鏈接集中規律…………………………………………０７７４．３封閉樣本的數據采集和結構分析技術研究……………………０７９４．３．１數據采集策略…………………………………………０７９４．３．２基於ｋ核的鏈接結構分析研究………………………０８１４．３．３基於複雜網絡的鏈接結構挖掘研究…………………０８３４．４實驗………………………………………………………………０８４４．４．１樣本選擇………………………………………………０８４４．４．２數據有效性分析………………………………………０８５４．４．３基於ｋ核的社區發現結果分析………………………０８８４．４．４基於力導向的社區發現結果分析……………………０８９４．４．５基於複雜網絡的社區發現結果分析和評測…………０９０４．４．６結果對比………………………………………………０９２４．５小結………………………………………………………………０９４第五章多層次網絡中的犠犲犫主題結構挖掘研究………………………０９６５．１概述………………………………………………………………０９６５．２研究對象選擇與數據預處理……………………………………０９７５．２．１樣本選取………………………………………………０９８５．２．２主題標注………………………………………………１００００３學術Ｗｅｂ主題結構挖掘研究５．２．３網站域名識別…………………………………………１０２５．３基於學院層麵的主題顯著度研究………………………………１０７５．３．１基本數據特征…………………………………………１０７５．３．２社區主題顯著性評價指標……………………………１１０５．３．３社區主題結構分析算法性能比較……………………１１１５．３．４社區主題結構分析結果………………………………１１６５．４基於大學層麵的主題顯著度研究………………………………１１７５．４．１基本網絡特征…………………………………………１１７５．４．２主題特征優化策略……………………………………１１８５．４．３不同閾值下的主題顯著度分析………………………１２０５．５小結………………………………………………………………１２１第六章多維度機構網絡主題一致性比較研究…………………………１２３６．１相關研究…………………………………………………………１２３６．２數據采集與預處理………………………………………………１２５６．３單一機構網絡分析………………………………………………１２６６．３．１引用網絡分析…………………………………………１２６６．３．２合著網絡分析…………………………………………１２８６．４機構網絡主題一致性比較………………………………………１３０６．５小結………………………………………………………………１３１第七章開放犠犲犫空間的主題結構挖掘研究……………………………１３３７．１社區擴展相關算法………………………………………………１３４７．１．１ＨＩＴＳ……………………………………………………１３４７．１．２Ｃｏｍｐａｎｉｏｎ和Ｃｏｍｐａｎｉｏｎ……………………………１３６７．１．３基於網頁的社區發現研究的不足……………………１３８７．２基於網站的社區擴展算法研究…………………………………１３９７．２．１算法設計………………………………………………１３９７．２．２基於鏈接強度的樣本選擇規則………………………１４２００４目錄７．２．３基於域名結構的樣本選擇規則………………………１４３７．２．４基於鏈接耦合的向下擴展……………………………１４５７．２．５基於鏈接評估的向上擴展……………………………１４７７．３基於開放集合的Ｗｅｂ主題圖實現框架和相關度評價………１４８７．３．１實現框架………………………………………………１４８７．３．２社區成員相關度評價…………………………………１５１７．４實驗………………………………………………………………１５２７．４．１樣本選擇………………………………………………１５２７．４．２數據采集與處理………………………………………１５４７．４．３基於核心擴展的Ｗｅｂ主題圖…………………………１５７７．４．４基於二次擴展的Ｗｅｂ主題圖…………………………１６０７．４．５多層次擴展的Ｗｅｂ主題圖結構對比…………………１６２７．４．６基於核心擴展的Ｗｅｂ主題圖評價……………………１６４７．４．７基於二次擴展的Ｗｅｂ主題圖評價……………………１６５７．４．８研究結果對比…………………………………………１６６７．５小結………………………………………………………………１６７參考文獻……………………………………………………………………１６９附錄………………………………………………………………………１９０００５學術Ｗｅｂ主題結構挖掘研究圖目錄圖１１Ｗｅｂ社區概念圖………………………………………………０１４圖２１主題敏感的ＰａｇｅＲａｎｋ之單主題衝浪（分別以１０％的概率到體育主題或者以１０％的概率到健康主題）……………………０２１圖２２主題敏感的ＰａｇｅＲａｎｋ之多主題衝浪（分別以９％的概率到體育主題或者以１％的概率到健康主題）……………………０２１圖２３中心性……………………………………………………………０２２圖２４權威性……………………………………………………………０２２圖２５最大流算法描述…………………………………………………０２６圖２６基於快速聚類算法的Ｚａｃｈａｒｙ“空手道”網絡聚類圖…………０３５圖２７ｋ派係重疊社區，ｋ＝４…………………………………………０３８圖２８標簽傳播過程，狏＝２……………………………………………０４２圖３１ＳｏｃＳｃｉＢｏｔ………………………………………………………０５３圖３２ＷｅｂｏｍｅｔｒｉｃＡｎａｌｙｓｔ……………………………………………０５４圖３３鏈接數波動模式…………………………………………………０６４圖３４數據采集係統結構圖……………………………………………０６６圖３５ＬｉｎｋＤｉｓｃｏｖｅｒｅｒⅢ主界麵……………………………………０６８圖３６係統設置…………………………………………………………０７０圖３７任務監控…………………………………………………………０７２圖４１出鏈深度分布……………………………………………………０８０圖４２ｋ核原始網絡……………………………………………………０８２圖４３基於鏈接強度的ｋ核網絡………………………………………０８２圖４４ＭＤＳ數據分布圖………………………………………………０８７圖４５ｋ核結構圖………………………………………………………０８８００６圖目錄圖４６基於力導向的可視化效果………………………………………０９０圖４７社區劃分準確率評測……………………………………………０９２圖４８基於入鏈的ＭＤＳ圖……………………………………………０９３圖５１ＵＲＬ結構圖……………………………………………………１０３圖５２入度分布…………………………………………………………１０８圖５３出度分布…………………………………………………………１０８圖５４不同樣本主題範疇的社區主題一致性…………………………１１４圖７１ＨＩＴＳ擴展算法…………………………………………………１３５圖７２Ｃｏｍｐａｎｉｏｎ………………………………………………………１３７圖７３Ｃｏｍｐａｎｉｏｎ………………………………………………………１３７圖７４ＨＩＴＳＳｉｔｅ………………………………………………………１４１圖７５網絡鏈接關係圖…………………………………………………１４６圖７６Ｗｅｂ主題圖構建實現框架……………………………………１５０圖７７基於核心擴展的Ｗｅｂ主題圖…………………………………１５８圖７８基於核心擴展的Ｗｅｂ主題圖社區結構圖……………………１６０圖７９基於多次擴展的Ｗｅｂ主題圖…………………………………１６１圖７１０基於入度的相關度（核心擴展）………………………………１６４圖７１１基於最短路徑的相關度（核心擴展）…………………………１６５圖７１２基於最短路徑的相關度（二次擴展）…………………………１６６００７學術Ｗｅｂ主題結構挖掘研究表目錄表４１鏈接源網頁類型前十位…………………………………………０７５表４２共鏈關係…………………………………………………………０７５表４３基於邊排斥力導向的社區結構…………………………………０８９表５１主題標引一致性…………………………………………………１０１表５２域名識別結果……………………………………………………１０６表５３學院網站鏈接網絡基本參數……………………………………１０９表５４不同狉取值下學院網絡社區劃分結果（ＳＬＡＰ）………………１１２表５５不同算法下學院網絡社區劃分結果……………………………１１５表５６ＴＯＰ５主題社區（按社區規模排序）…………………………１１６表５７大學鏈接網絡基本參數…………………………………………１１８表５８ＴＯＰ狀學科門類下的主題社區評價…………………………１２１表６１引用網絡基本指標………………………………………………１２７表６２引用網絡社區特征………………………………………………１２７表６３合著網絡基本指標………………………………………………１２８表６４合著網絡社區特征………………………………………………１２８表６５不同學術網絡主題與地域影響力對比…………………………１３０表７１初始樣本集合……………………………………………………１５３表７２采集任務列表……………………………………………………１５５表７３基於核心擴展的主題社區………………………………………１５８表７４基於二次擴展的主題社區………………………………………１６２００８第一章引言第一章引言１．１研究背景根據不同的研究目標和技術方案，學術Ｗｅｂ結構挖掘的數據粒度可以是宏觀的國家層麵、區域層麵或者網站層麵，也可以是較為微觀的網頁層麵，甚至是概念或關鍵詞。因此最終獲得的Ｗｅｂ結構可以是比較寬泛的學科關係（ｄｉｓｃｉｐｌｉｎｅ／ｓｕｂｊｅｃｔ／ｄｏｍａｉｎ／ｆｉｅｌｄ），也可以是具體的主題關係（ｔｏｐｉｃ／ｔｈｅｍｅ）。由於涉及不同層麵的研究對象，在數據粒度上也不盡相同，為了敘述方便，本研究將上述兩種關係統稱為主題關係。
由於頻繁的跨區域科研合作和交流活動的需要，網上學術社區逐漸形成並且壯大。對萬維網上學術社區的主題結構進行有效地揭示，是發現、評價和利用海量在線和離線學術資源的主要途徑之一。社會網絡分析理論認為，社會上人和人之間都是由一定的關係網絡連接起來的，人和人之間的關係就是這個網絡的邊（Ｅｄｇｅ），人是社會網絡上的結點（Ｎｏｄｅ）。整個社會是個巨大的網絡，在這個網絡中同時存在很多個子網，對子網的劃分是通過社會網絡中結點之間的距離（關係）和局部區域內結點（人）的疏密程度來進行的。每個子網代表了社會上的各個社區，這些社區具有較強的內聚性和較弱的耦合性，即社區內成員之間具有相似的興趣，而不同社區的成員的興趣差異比較大。可以試想，在萬維網上是否也同樣存在類似的社區？在社會網絡中，人和人之間是通過模糊的興趣愛好聯係起來的，而在萬維網上，可以把網頁視為一個個結點，這些結點之間是通過精確清晰的ＵＲＬ聯係在一起的。網頁和網頁之間的聯係則體現為網頁之間主題的相似性，這就給萬００１書學術Ｗｅｂ主題結構挖掘研究維網上的社區理論提供了最好的理論基礎———我們稱之為Ｗｅｂ社區。
Ｗｅｂ社區是由多個成員組成的，社區內成員之間的鏈接關係明顯要強於它們和社區外成員之間的鏈接關係。每個社區的主題以及鏈接特征都不同於其他社區，社區之間存在鬆散的鏈接關係，社區內部則具有緊密的鏈接關係。社區內部根據鏈接關係的緊密程度可進一步劃分社區的邊界。
利用Ｗｅｂ信息的社會網絡性進行知識發現是對複雜的網絡學術社區中的主題關係進行識別、抽取、評價和再組織的新途徑。對Ｗｅｂ主題結構進行分析的本質是對網頁（Ｐａｇｅ）、網站（Ｗｅｂｓｉｔｅ）、域（Ｄｏｍａｉｎ）等不同層麵的網絡對象之間的主題關係進行描述、分析和度量。目前對Ｗｅｂ文檔主題結構進行挖掘的研究主要從文本分析、鏈接網絡分析、複合特征分析、宏觀網絡拓撲結構分析、用戶聚類和基於Ｗｅｂ主題圖的信息檢索可視化這六個方麵展開。
１．１．１基於文本的主題聚類和傳統的文本檢索係統一樣，以文本分析為基礎的Ｗｅｂ主題結構挖掘主要依賴的是網頁之間在文本表示上表現出來的相似性。這種方法把網頁的文本相似度近似等同於網頁主題的相似度，從而實現Ｗｅｂ資源的分類和聚類。早期著名的分類搜索引擎Ｙａｈｏｏ！和Ｖｉｖíｓｉｍｏ等采用的就是這種方法，不同的是Ｙａｈｏｏ！以人工來進行網站分類，其他分類搜索引擎大多是用自動分類的方式來構建主題目錄。
Ｖｉｖíｓｉｍｏ是由美國卡耐基梅隆大學三位科學家聯合開發的分類搜索引擎，它的設計目的就是要解決互聯網信息過載問題（Ｉｎｆｏｒｍａｔｉｏｎｏｖｅｒｌｏａｄ）［１］。它與Ｇｏｏｇｌｅ最大的不同在於，Ｖｉｖíｓｉｍｏ不是追求文檔庫的龐大，而是注重讓搜索結果更接近用戶的信息需求。Ｖｉｖíｓｉｍｏ對搜索結果進行實時聚類，並且以層級方式將結果顯示給最終用戶。和Ｖｉｖíｓｉｍｏ類似的分類搜索引擎ＳＮＡＫＥＴ是由意大利學者開發的開源係統，可為Ｗｅｂ搜索、圖書、新聞和博客等提供等級聚類服務，它同時綜合了常用的１６個搜索引擎的檢索結果，可對結果進行實時自動聚類［２］。由北京大學計算機係網絡與分布式係統實驗室開發的中文搜索引擎“天網”也利用中文網頁自動分類００２第一章引言技術，開發了用於目錄導航的中文網頁分類目錄［３］。雖然上述係統作為獨立的產品，大多已經退出了曆史舞台，但產業界一直在沿用和優化相關的技術策略。
在Ｗｅｂ頁麵特征提取和表示方麵，涉及自然語言處理以及人工智能方麵的諸多技術。尤其是在中文信息處理方麵，中文的語言特點決定了在Ｗｅｂ頁麵特征提取和表示中必然遇到不同於西文語言的若幹技術上的難點。在中文分詞過程中，經常需要在漢語分詞的粒度上做出選擇。在自動標引環節是采用主題詞標引還是采用元詞標引？是采用賦詞標引還是抽詞標引？一般認為，在通用主題的中文信息處理中，宜采用元詞標引，而在處理專業Ｗｅｂ文檔時，專指的主題詞可能更為合適。在考慮同義詞轉換或者用專業分類法進行分類時，可能需要考慮使用賦詞標引，而在處理混合主題的海量文本信息時一般采用抽詞標引。在文本分類和聚類方麵，設計和訓練一個高性能的分類器（Ｃｌａｓｓｉｆｉｅｒ）是一項很有挑戰的研究，尤其是要適應多主題和交叉主題的Ｗｅｂ文本分類器。
用文本分析的方法進行Ｗｅｂ主題挖掘具有很多優點，如文本特征提取比較方便，可以在比較小的範圍內實現主題分類，可以借助分類知識庫等經驗知識來幫助文本主題的判斷。但文本分析麵對的是書寫符號，因此在將書寫符號轉換為主題的過程中也存在很多固有的缺陷，如上述的頁麵特征提取、自然語言處理、機器翻譯，以及垃圾信息過濾等問題。
１．１．２基於鏈接分析的主題聚類鏈接分析（ＬｉｎｋＡｎａｌｙｓｉｓ）類似於文獻之間的引文分析（ＣｉｔａｔｉｏｎＡｎａｌｙｓｉｓ），即利用網頁、網站、機構、地區和國家之間的鏈接（Ｌｉｎｋｉｎｇ）與被鏈接（Ｌｉｎｋｅｄ）關係，通過定量的方法來評價和發現核心資源。鏈接分析算法以ＰａｇｅＲａｎｋ和ＨＩＴＳ最為著名，它們之間的最大不同在於ＰａｇｅＲａｎｋ計算的是基於數據庫中全部Ｗｅｂ文檔的穩定的全局值，而ＨＩＴＳ是在用戶查詢的基礎上進行動態權威值（Ａｕｔｈｏｒｉｔｙ）和中心值（Ｈｕｂ）計算的。
利用ＨＩＴＳ算法來發現Ｗｅｂ主題社區有兩個前提假設：①由網頁設計者所創建的超級鏈接（Ｈｙｐｅｒｌｉｎｋ）隱含了足夠的主題信息，通過這些信息可００３學術Ｗｅｂ主題結構挖掘研究以計算出該主題下的權威頁麵；②在前提１的基礎上，必然存在以相同寬泛主題為特征的、由多個相互鏈接的Ｗｅｂ頁麵組成的主題社區。Ｇｉｂｓｏｎ和Ｋｌｅｉｎｂｅｒｇ等人利用ＨＩＴＳ算法［４］，針對“哈佛”“英語文學”“滑雪”等主題進行了主題社區挖掘的研究。實驗結果表明，ＨＩＴＳ可以有效地發現隱含於ＷＷＷ中的主題社區，並且在一定程度上可以反映其中子主題之間的關係，如“德國文學”主題社區和“歐洲文學”主題社區有相當明顯的聯係。
Ｃｈａｋｒａｂａｒｔｉ等人將鏈接的錨點周邊文字信息和ＵＲＬ中包含的字符信息的匹配度作為權重［５］，在ＨＩＴＳ算法的基礎上提出了ＡＲＣ算法（ＡｕｔｏｍａｔｉｃＲｅｓｏｕｒｃｅＣｏｍｐｉｌａｔｉｏｎ），實驗證明該算法生成的資源目錄質量與Ｙａｈｏｏ！和Ｉｎｆｏｓｅｅｋ相當，甚至某些情況下質量要優於手工分類的主題目錄。Ｄｅａｎ和Ｈｅｎｚｉｎｇｅｒ利用改進的ＨＩＴＳ算法———Ｃｏｍｐａｎｉｏｎ、共鏈算法（Ｃｏｌｉｎｋ）分別做了發現相關網頁的實驗，並且將實驗結果和瀏覽器Ｎｅｔｓｃａｐｅ提供的“相關網頁”服務做了對比。結果顯示，即便Ｎｅｔｓｃａｐｅ提供的“相關網頁”服務利用了內容分析、使用模式分析和鏈接分析等多種分析方法，Ｃｏｍｐａｎｉｏｎ和共鏈算法還是明顯占優［６］。Ｔｏｙｏｄａ和Ｋｉｔｓｕｒｅｇａｗａ對Ｃｏｍｐａｎｉｏｎ做了進一步改進，形成了新的Ｃｏｍｐａｎｉｏｎ—算法。利用該算法，他們成功地分析了日本國內和計算機產業有關的Ｗｅｂ主題網絡［７］。
１．１．３基於複合網頁特征的主題聚類無論是ＰａｇｅＲａｎｋ還是ＨＩＴＳ，都是依靠Ｗｅｂ頁麵之間存在的ＵＲＬ來構建關係網絡，這些鏈接分析算法的理論假設借鑒於引文分析，即來源文獻和被引用文獻之間存在主題上的相關性。然而，引文分析也存在非主題相關引用的問題，如假引、誤引等現象。網絡上一個網站鏈接另外一個網站的動機更為複雜，很多商業網站知道搜索引擎的網頁排名算法後，利用交換鏈接等手段來提高自己網站的排名，從而增加被用戶點擊的概率。ＳＥＯ（搜索引擎優化，ＳｅａｒｃｈＥｎｇｉｎｅＯｐｔｉｍｉｚａｔｉｏｎ）研究的一個主要內容就是如何通過設置合理的鏈接使企業在搜索引擎排名中獲益。對於互聯網垃圾製造者來說，買賣鏈接的方式讓他們有了很好的機會來通過其他網站的聲譽來操縱搜索引擎排名結果。ＡｌａｓｔａｉｒＧＳｍｉｔｈ提出了實質網絡影響因子００４第一章引言（ＳｕｂｓｔａｎｔｉｖｅＷｅｂＩｍｐａｃｔＦａｃｔｏｒｓ）［８］，他認為對網站的評價隻有以指向真正信息資源的Ｗｅｂ頁麵為基礎才是有意義的。他把大學網站的鏈接按照鏈接目的分成九個大類，從分類來看，真正指向重要信息資源的、主題相關的鏈接很少。
為了防止主題漂移現象的發生，使某個網域（Ｄｏｍａｉｎ）內具有相同主題的頁麵能夠被順利發現，從而提高主題社區分析的可靠性，Ｗｅｂ頁麵上除了鏈接以外的信息單元也有重要的參考意義，如頁麵結構、元數據、錨文本、標題和正文文本、正文字體特征等。頁麵的文字特征，如字體大小、顏色等雖然和主題沒有直接的相關關係，但在頁麵主題特征的提取和表示方麵有很好的輔助作用，頁麵結構也同樣具有很重要的相似性判斷的功能。
Ｃｒｅｓｃｅｎｚｉ等人通過對網頁內部結構建模的方式實現了對網頁的分類。他們以２００２年韓日世界杯的專題網站為樣本，分析了每個網頁的ＤＯＭ樹後，對每個網頁建立了網頁模板。如果兩個頁麵是可達的（存在鏈接關係），則分析它們模板的相似度，如果相似度達到一定程度，可以認為兩個頁麵的內容是相關的［９］。
１．１．４基於宏觀網絡拓撲結構的犠犲犫主題社區發現利用網絡拓撲結構分析的方法嚴格來說也屬於鏈接分析的研究範疇，但和ＨＩＴＳ等不同的是，這種方法把ＷＷＷ作為一個網絡圖（Ｗｅｂｇｒａｐｈ）來分析，網絡中的結點和邊分別代表網頁和鏈接。基於網絡拓撲結構來構建Ｗｅｂ主題圖的依據是，整個網絡圖中存在一個或者多個比較稠密的子圖，這些子圖明顯不同於其他部分，每個子圖就是一個Ｗｅｂ主題社區。子圖以及它們之間的關聯關係組成了整個Ｗｅｂ主題圖。基於Ｗｅｂ結構挖掘的鏈接圖分析方法具有很多文本主題分析和日誌挖掘不具備的優勢，主要表現在以下幾個方麵：（１）避開了複雜的文本分析難題。
文本分析需要通過複雜的自然語言處理技術進行主題表示和匹配，而網絡鏈接圖中可以通過有無人工標注語義的網絡鏈接來表示頁麵之間的相關與否。
００５學術Ｗｅｂ主題結構挖掘研究（２）解決了跨語言Ｗｅｂ資源的主題相關性判斷問題［１０］。
文本分析技術在遇到跨語言Ｗｅｂ資源的主題判斷時，需要進行語料轉換，也就是機器翻譯，而網絡拓撲結構分析具備了網絡鏈接天然的語義相關性特質。
（３）噪音信息過濾效果良好。
雖然網絡鏈接的作假很容易，但主題圖構建過程中所用到的社區發現算法以人工選定的起點出發，經過良好的鏈接評價算法，對垃圾頁麵的過濾效果比單純的文本分析方法更加有效。
（４）便於進行結構化的Ｗｅｂ資源的評價、獲取和利用。
基於Ｗｅｂ結構挖掘的主題圖構建方法可以實現不同層次的資源聚合，如按照主題進行聚合、按照網頁、網站、域等信息單元進行聚合。
目前基於網絡拓撲分析的主題圖構建研究主要集中在兩個方麵，以資源評價和獲取為目的的資源發現研究和以科學評價為目的的鏈接行為研究。
１．１．５基於犠犲犫訪問日誌的用戶社區發現為了滿足個體用戶或者團體用戶的個性化信息需求，Ｗｅｂ日誌挖掘是解決問題的最好辦法之一。Ｗｅｂ個性化是通過充分利用用戶瀏覽行為，根據每個用戶的特殊需要而定製網站內容和結構的方法。通過對站點用戶訪問記錄的統計或者模式識別，可以建立用戶社區（ＵｓｅｒＣｏｍｍｕｎｉｔｉｅｓ），社區內的用戶具有相似的興趣。例如，當用戶在電子商務網站進行一定的瀏覽操作後，會有一些同類用戶感興趣的商品被推薦給當前用戶。通過用戶社區的發現，以及對這些具有相似興趣的用戶所共同關注的主題進行跟蹤和挖掘，可以發現具有相同或者相似興趣和主題的用戶社區和資源社區。
Ａｌｍｅｉｄａ等人以巴西的網上書店和音樂流媒體網站作為分析案例，使用訪問日誌對兩個網站的用戶進行了聚類分析，分別發現了不同的用戶社區，其中以流媒體網站的用戶社區分析效果最為明顯。他們共發現了１０個頂００６第一章引言層社區，每個社區代表了不同的音樂風格。即使是在沒有訓練的情況下，仍然發現了用戶對巴西本地音樂具有強烈興趣的規律［１１］。以往的用戶社區發現是限定在某個網站上的，而Ｐｉｅｒｒａｋｏｓ等人利用從ＩＳＰ的代理服務器上獲取的用戶訪問日誌，分析了多個站點的用戶瀏覽行為。尤其是在沒有涉及網站邊界等有關的鏈接結構信息的情況下，他們通過對用戶訪問過的目標ＵＲＬ和頁麵主題內容進行分析後，采用了一種擴展的分類器ＣＤＭ（ＣｏｍｍｕｎｉｔｙＤｉｒｅｃｔｏｒｙＭｉｎｅｒ）來構建多層次的Ｗｅｂ社區目錄［１２］。
１．１．６基於犠犲犫主題圖的信息瀏覽和檢索可視化在用戶利用搜索引擎檢索Ｗｅｂ信息時，關鍵詞的選擇會影響結果的相關性。沒有經驗的用戶往往很難將自己的檢索意圖轉化為合適的檢索詞，所以經常很難從搜索引擎獲得比較滿意的檢索結果。Ｙａｈｏｏ！和Ｄｉｒｅｃｔｏｒｙ等主題分類目錄部分解決了檢全率的問題。同樣，可以利用Ｗｅｂ社區發現技術所獲取的相互關聯的文檔集合來構建單主題或者多主題的Ｗｅｂ文檔主題圖（ＴｏｐｉｃＭａｐ）。主題圖上的結點可以是網絡上的一個域（國家、地區、Ｗｅｂ主機等），也可以是一個Ｗｅｂ頁麵。代表域或者頁麵之間相互關係的邊以鏈接和主題相關度相結合的方式來描述，用戶可以通過擴展或者收縮Ｗｅｂ社區的方式來實現Ｗｅｂ主題內容的瀏覽，也可以實現對選定社區內資源的輔助檢索。
Ｃｈｅｎ等人設計的基於語義網的交互性可視化係統ＩＳＷＩＶＥ將主題圖整合進ＲＤＦ中，實現了主題信息的微觀和宏觀的顯示［１３］。Ｃｈａｋｒａｂａｒｔｉ等人開發的ＦｏｃｕｓｅｄＣｒａｗｌｅｒ係統以目錄樹的方式顯示了各個主題的層次關係［１４］。在該係統中，可以通過目錄樹來瀏覽每個主題目錄下的Ｗｅｂ文檔，也可以在相鄰文檔顯示區顯示和選定主題相關的文檔。如選定的主題是“自行車”，係統會將包含“緊急救援”的文檔顯示出來。基於ＴｏｕｃｈＧｒａｐｈ的ＧｏｏｇｌｅＢｒｏｗｓｅｒ給用戶提供了輸入檢索詞的接口，最後對檢索結果進行可視化顯示。每個包含檢索詞的結點圍繞在展示區中心，相關結點之間以線連接［１５］。
００７學術Ｗｅｂ主題結構挖掘研究１．２研究意義利用數據挖掘技術，綜合采用社會網絡分析、複雜網絡算法和網絡計量指標，來揭示存在於學術網絡空間的主題集中規律，對於發現學術網絡空間基於主題的資源評價和組織模式有重要的理論價值和應用價值：（１）提高基於Ｗｅｂ社區發現的學術資源采集和評價的效率和可靠性。
雖然本研究的研究對象是網絡學術社區，但由於線下的學術研究活動往往和網絡上的資源創建、發布和共享行為是密不可分的，因此它們在資源的數量、種類、結構和傾向性等方麵可能存在一定的一致性。這種潛在的規律給基於網絡社區分析的方法提供了發現和組織線上Ｗｅｂ信息資源和線下軟硬件資源的可能性。
（２）有助於發現學術網絡中隱含的主題關係。
當前各種與科學研究相關的分類體係，比如學科分類和期刊分類，主要是通過專家預先構建分類目錄的方式對機構、學科、期刊進行組織和評價，這種方法可能在局部的子學科分析中存在一定的缺陷。基於Ｗｅｂ資源的社區主題分析技術有望通過網絡文獻的自組織屬性突破傳統分類體係的局限性，從而發現網絡學術社區中隱含的主題關係。
（３）實現大規模、多主題的Ｗｅｂ社區中宏觀主題結構的自動化抽取和動態演化分析。
基於社區發現的Ｗｅｂ顯著性研究成果，可應用於大規模的混合主題的主題結構抽取實踐中，從而實現Ｗｅｂ宏觀主題圖的自動構建，並通過長期的監測，和其他傳統文獻資源相互結合，實現科學研究中學科融合現象的動態演化分析。最終為學科發展重心轉移方向的預測和跨學科研究態勢的掌握，以及為相關科技管理政策的製定提供決策支持。
（４）競爭對手和合作夥伴識別。
在商業領域，可以通過Ｗｅｂ結構分析方法識別處於同一競爭領域的競爭對手、發現相似領域的潛在競爭對手和合作夥伴；在學術研究領域，可以幫助研究者快速定位領域內的核心研究團隊，從而跟蹤處於領域最前沿的００８第一章引言研究成果。
１．３犠犲犫主題結構分析研究現狀無論是對機構或者是對個人、學術社區還是商業領域或者政治團體而言，通過Ｗｅｂ結構分析發現機構、組織、個人或者企業之間在網絡上自發形成的局部關係，是了解相關領域或者主題的資源集中規律並加以充分利用的主要途徑之一。
１．３．１犠犲犫顯著性指標研究根據研究對象和計算指標的差異性，不同的學者對Ｗｅｂ顯著性的定義有所不同。Ｋｒｅｔｓｃｈｍｅｒ是較早提出Ｗｅｂ顯著度衡量指標的學者，她根據資源類型的不同，提出了兩個顯著性指標［１６］：（１）出版物Ｗｅｂ顯著性（ＷＶＲＰ，ＷｅｂＶｉｓｉｂｉｌｉｔｙＲａｔｅｏｆＰｕｂｌｉｃａｔｉｏｎ）。