Word Sense Disambiguation-based Sentence Similarity

Chukfong Ho, Masrah AzrifahAzmi Murad

Department of Information SystemUniversity Putra Malaysia

Rabiah Abdul Kadir, ShyamalaC. Doraisamy

Department of MultimediaUniversity Putra Malaysia

Coling 2010

Outline• Abstract• Introduction• Related Work• Sentence Similarity• Experimental Design• Results and Discussion• Conclusion

Abstract

• 先前的研究對於兩句話的相似度以最接近的 meanings 作比較，但其中 meanings 不全是代表語句中真正的含意。

• 這一篇論文提出整合修改一個現今突出的語意相似度模組並使用消歧義增加相似度評估。

Introduction

• 探討兩大論點

– 使用 Corpus-based measure 與 Knowledge-based measure 產生的效果比較。

– 使用消歧義 (word sense disambiguation) 在量測句子相似度的影響度

Related Work

• 相關研究大至上分為三大類– corpus-based-methods.– knowledge-based-methods. – Hybridbased-methods.

Sentence Similarity

Semantic Text Similarity (STS)model (Islam and Inkpen, 2008).

作者準備的 model 由上述修改而成

Sentence Similarityfor string similarity measure

• 計算對象 :two words ( 最高 =1) • a , b : 分別是兩句話長度 ( 刪除 stop words 後 )• l (x):x 的長度• i , j : 字串中字元位址• LCS: 最長相同子字串• (Islam, Aminul, and Diana Inkpen. 2008.)

Sentence Similarityfor string similarity measure

Sentence Similarityfor Adopted word similarity measure

• l :wi 和 wj 之間在 Wordnet 中語義距離。• t : 表示兩個 sense 關係 ( 數字 ) ( 上位語 (hypernyms)/ 下位語

(hyponym)/ 同位語 (synonym)/x 包含在 y 的語義關係 (holonym)(x和 y 為英文字串 )) 。

• 透過經驗法則設定 :α=0.9,β=0.85,γ=12 。• Based on Wordnet2.1 • 此 model:YP(Yang and Power.2005)• 作著修改 YP 部分為 MYP( 改變其 length ) 。

word similarity measure 問題

• 舉例 dog 和 cat 作比較 :– 句 1:The dog barked all night.– 句 2:What a cat she is ！第一句的 dog:”a member of genus Canis that has been Meanwhile by man since prehistoric times”第二句的 cat:”a spiteful woman’s gossip”dog 和 cat 在這兩句真正語義距離為 7 ，但一般最短路徑狀態下距離為 4 ，造成頗大的差距。

Sentence Similarityfor WSD-STS

• Baseline:STS

• a,b : 個別為 a 和 b 語句長度。• δ : a , b 之間出現相同的字數。• : 前 : 最高的 match score 後 : 取兩 sense 距離較近

的。• c : 所有語義配對。• STS 的 採用 corpus-based 計算，本篇改用

knowledge-based -> MYP 。

Sentence Similarityfor WSD-STS

• 最終將兩句話語義相似度分數和字面相似度相加除以二 ( 正規化 ( 兩者最大值皆為 1)) 為最終分數。

Experimental Design

• 資料 : – (Li et al., 2006) 建構 65 對人工評分產生的標準

實驗資料語句，抽取於 Collin Cobuild Dictionary 。

– 從其中選擇相似度分數介於 0.01 到 0.96 的 30對當作實驗資料

Experimental Design

• 實驗過程 :– 利用 stanford parser 處理這 30 對語句，並標上

詞性。– Structural Semantic Interconnections (SSI)• 是一個線上 WSD 系統 : 找出特定詞性的真正語義。

– 除去 30 對語句中的 stop words• Stop words: 本篇 baseline 定義在 BNC 語料庫中出現

次數前 100 名的字皆算停止字。– 剩下的字用 Natural Language Toolkit 作還原，

但如果還原前的字可以在 wordnet 查詢到並且與還原後的語意不同就保留不還原。

Experimental conditions

• OLP-STS: 只計算兩句語句中重複出現的字，所以在公式 (6) 的 不需要計算。

• SPD-STS: 上述系統加上最短路徑 (YP) 的評估。

• WSD-STS: 將 SPD-STS 的 YP 改成 MYP 。

Results and Discussion

• Hnman similarity 當作 benchmarks 以及各實驗中不同文字配對的相似度分數

Results and Discussion

• Pearson correlations 0.7~0.99 即算高度相關• WSD-STS 和 SPD-STS 皆優於 STS 代表 knowledge-base 比

corpus-base 好用。• OLP-STS 和 STS 作比較沒顯著差異代表 corpus-base 幫助不大。

Results and Discussion

• 檢查使用不同 stop words list ,WSD-SPD 的影響程度，發現差異並不大 ( 不會造成實驗公平度問題 ) 。

Results and Discussion

• 如果將全部 word sense 使用 SSI 結構語義互連系統解 WSD ，也不盡然是最佳的， SSI 系統有提供信心分數 ( 介於 30%~100%) ，當信心分數低於百分之70% 時，出現錯誤會升高，所以將低於 70% 部分利用原來的 word sense similarity 。

Results and Discussion

• 由此圖可見 SPD 和 WSD 分別在 WSD-SPD 使用上差不多各為一半時效果最佳。

SPD

WSD

Results and Discussion

• 橫軸 Weight: word similarity 所佔權重， string similarity : 1 – Weight

• 以圖看來 word similarity(70%) ,string similarity (30%) 效果最佳• 但是也不可以只使用 word similarity 因為 : 只有比較名詞動詞而

且詞性相同才能作比較。

SPD-STS

WSD-STS

WSD-SPD

Conclusion

• 由實驗結果得知 knowledge-base 比較 corpus-base 的 baseline STS 都較佳，比較意外 SPD-STS意外的高。

• 未來不僅僅是處理名詞和動詞還需要加入形容詞和副詞。