第3回構文解析意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつチャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語名詞句や動詞句をまとめる

共生社会特論

2013年10月15日

第3回構文解析意味解析

ヘボン式ローマ字表記

• マッチ matchi• 新聞 shimbun• 新庄 Shinjō または SHINJOO• 譲治 Jōji または JOOJI

2

ローマ字表記での長音の扱い

• 「えー」 ex.映画

eiga

• 「おー」 ex. 伊藤（いとう）、大野（おおの）

訓令式 Itô, Ôno ヘボン式 Itō, Ōno 駅名 Itō, Ōno パスポート Ito, Ono, 特例 Itoh/Itou, Ohno/Oono 道路標識 Ito, Ono

3

読み仮名と一致しない例: 講師 kōshi子牛 koushi

句構造文法

構文解析

4

構文解析 (Parsing)

5

VP

S

V

saw

N

girlJohn

N

telescope

N

a

DET

a

DET

with

PNP

NP

NP

PPVP

文の構造を解析する

句構造文法 (Phrase Structure Grammar)

文脈自由文法 (CGF)G = (V, T, S, P)

V: 非終端記号（変数）の集合

N: 終端記号(単語）の集合

S: 開始記号

P: 生成規則の集合

6

• 文を文法Gで生成する• 文を文法G（に基づく構文解析器で受理する

文脈自由文法の例

7

S → NP VPNP → N | DET N | ADJ N | NP PPVP → V | V NP | VP PPPP → P NPN → John | girl | telescopeV → sawDET → a | an | theP → in | on | with

G = (V, T, S, P)

構文木(syntax tree / parse tree)

8

VP

S

V

saw

N

girlJohn

N

telescope

N

a

DET

a

DET

with

PNP

NP

NP

PPVP

S → NP VPNP → N | DET N | ADJ N | NP PPVP → V | V NP | VP PPPP → P NPN → John | girl | telescopeV → sawDET → a | an | theP → in | on | with

曖昧な構文木

9

VP

S

V

saw

N

girlJohn

N

telescope

N

a

DET

a

DET

with

PNP

NP

NP

PPVP

VP

S

V

saw

N

girlJohn

N

telescopeN

a

DET

a

DET

with

P

NP

NP

NP

PP

NP

構文解析

• CYK法チョムスキー標準形にのみ適用可能

• チャート法

• LR法 LR文法にのみ適用可能

コンパイラなどで使用

• LL法 LL文法にのみ適用可能

コンパイラなどで使用

10

チョムスキー標準形

• 右辺は

変数2個単語1個

のいずれか

• CFGから等価な変換

11

S → NP VPNP → DET N | ADJ N | NP PPVP → V NP | VP PPPP → P NPN → John | girl | telescopeNP → John | girl | telescopeV → sawVP → sawDET → a | an | theP → in | on | with

CYK法

12

saw girlJohn telescopea awith

動的計画法に基づく

CYK法

13

N,NP


N → JohnNP → John

CYK法

14

N,NP V,VP


V → sawVP → saw

CYK法

15

N,NP V,VP DET N,NP P DET N,NP


N → girl | telescopeNP → girl | telescopeDET → aP → with

CYK法

16

S



S → NP VP

CYK法

17

S



CYK法

18

S

N,NP V,VP

NP

DET N,NP P DET N,NP


NP → DET N

CYK法

19

S

N,NP V,VP

NP

DET N,NP P DET N,NP


CYK法

20

S

N,NP V,VP

NP

DET N,NP P DET N,NP


CYK法

21

S

N,NP V,VP

NP

DET N,NP P

NP

DET N,NP


NP → DET N

CYK法

22

S

N,NP V,VP

NP

DET N,NP P

NP

DET N,NP


CYK法

23

S

N,NP

VP

V,VP

NP

DET N,NP P

NP

DET N,NP


VP → V NP

CYK法

24

S

N,NP

VP

V,VP

NP

DET N,NP P

NP

DET N,NP


CYK法

25

S

N,NP

VP

V,VP

NP

DET N,NP P

NP

DET N,NP


CYK法

26

S

N,NP

VP

V,VP

NP

DET N,NP P

NP

DET N,NP


CYK法

27

S

N,NP

VP

V,VP

NP

DET N,NP P

NP

DET N,NP


CYK法

28

S

N,NP

VP

V,VP

NP

DET N,NP

PP

P

NP

DET N,NP


PP → P NP

CYK法

29

S

S

N,NP

VP

V,VP

NP

DET N,NP

PP

P

NP

DET N,NP


S → NP VP

CYK法

30

S

S

N,NP

VP

V,VP

NP

DET N,NP

PP

P

NP

DET N,NP


CYK法

31

S

S

N,NP

VP

V,VP

NP

DET N,NP

PP

P

NP

DET N,NP


CYK法

32

S

S

N,NP

VP

V,VP

NP

DET N,NP

PP

P

NP

DET N,NP


CYK法

33

S

S

N,NP

VP

V,VP

NP

DET N,NP

PP

P

NP

DET N,NP


CYK法

34

S

S

N,NP

VP

V,VP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


NP → NP PP

CYK法

35

S

S

N,NP

VP

V,VP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


CYK法

36

S

S

N,NP

VP

V,VP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


CYK法

37

S

S

N,NP

VP

V,VP

NP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


NP → NP PP

CYK法

38

S

S

N,NP

VP

V,VP

NP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


CYK法

39

S

S

N,NP

VP

VP

V,VP

NP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


VP → V NP

CYK法

40

S

S

N,NP

VP

VP,VP

V,VP

NP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


VP → V NPVP → VP PP

CYK法

41

S,S

S

S

N,NP

VP

VP,VP

V,VP

NP

NP

DET

NP

N,NP

PP

P

NP

DET N,NP


S → NP VP

構文木の変換による翻訳

42

VP

S

VN P

NP

N

PPVP

NDET

NP

NDET

NP



43

VP

S

V

見た少女ジョン

N

望遠鏡で

P

NP

N

PPVP

NDET

NP

NDET

NP


44

VP

S

V


N

望遠鏡で

P

NP

N

PPVP

NDET

NP


45

VP

S

V


N

望遠鏡で

P

NP

N

PPVP

NDET

NP


46

VP

S

V


N

望遠鏡で

PN

NP

N

PPVP


47

VP

S

V


N

望遠鏡で

PN

NP

N

PPVP


48

VP

S

V


N

望遠鏡で

P

N

NP

N

PPVP

を

P

PP


49

VP

S

V


N

望遠鏡で

P

N

NP

N

PP VP

を

P

PP


50

VP

S

V


N

望遠鏡で

P

N

PP

N

PP VP

を

P

PP

は

P

依存文法

構文解析

51

依存文法 (Dependency Grammar)

52

girlJohn telescopea awithsaw


主辞付き構文木

53

VP*

S

V*

N*

John

N*

N*

a

DET

a

DET

with

P*NP

NP

NP

PPVP*

S → NP VP*

NP → N* | DET N* | ADJ N* | NP* PPVP → V* | V* NP | VP* PPPP → P* NPN → John | girl | telescopeV → sawDET → a | an | theP → in | on | with

saw girl telescope

文節

• 日本語において、

からなる単位

54

ジョンは見た望遠鏡で少女を

一つの自立語＋０個以上の付属語

日本語の依存関係

三つの前提条件

• 非交差性

• 係り先の唯一性

ただし、文末の文節のみ係り先がない（ゼロ）

• 後方修飾性

55

ジョンは望遠鏡で少女を見た

例外

• 交差する例

• 複数に係る例

• 前方に係る例

56

蕎麦を信州へ食べに行く

蕎麦を食べた、昨日。

蕎麦を買って食べた

依存文法による翻訳

57

girlJohn

telescopea

a

with

saw

ジョンは

見た

少女を

望遠鏡で


依存文法による翻訳別の例

58

girlJohn

telescope

a

a

with

saw

ジョンは

見た

望遠鏡を

少女を


もつ

チャンキング (Chunking)

浅い構文解析 (shallow parsing) とも

• 英語

名詞句や動詞句をまとめる

• 日本語

文節に区切る

名詞句や動詞句の抽出

59

統計的構文解析

• 確率文脈文法

規則に確率を付与

文が生成される確率は、適用した確率の積

生成確率が最大の構文を出力

60

S → NP VP (1.0)NP → N (0.2)

→ DET N (0.3)→ ADJ N (0.2)→ NP PP (0.3)

Treebank

• 構文的な構造が付与されたコーパス

Penn Treebank 京都テキストコーパス

61

コーパスから文法を作成

一致(agreement)の扱い

62

S → NP VPNP → DET NVP → V NPN → boy | boys | girlV → love | lovesDET → a

A boy loves a girl.

*A boy love a girl.

*A boys love a girl.文頭の * は非文の印

N-sg → boy | girlN-pl → girls 変数を増やすと文法が複雑に

文脈自由文法の補強

素性構造(Feature Structure)の導入

63

S → NP VP {NP = VP}NP → DET N {DET = N}VP → V NP {VP = V}N → boy {number = sing, person = 3}N → boys {number = plur, person = 3}N → girl {number = sing, person = 3}V → love {number ≠ sing, person ≠ 3}V → loves {number = sing, person = 3}DET → a {number = sing}

単一化

素性情報が一致するように構文を構成

64

loves girlaboyA

V NDETNDET

n=1 n=1p=3

n=1p=3

n=1 n=1p=3

n=1p=3

number=singperson=3 をと略記

単一化

65

V NDET

NP

loves girla

N

boyA

DET

n=1 n=1p=3

n=1p=3

n=1p=3

n=1

n=1p=3

NP → DET N {DET=N}

単一化

66

V

VP

NDET

NP

loves girla

N

boyA

DET

n=1 n=1p=3

n=1p=3

n=1p=3

n=1

n=1p=3

n=1p=3

VP → V NP {VP=V}

単一化

67

V

VP

NDET

NP

loves girla

N

NP

boyA

DET

n=1 n=1p=3

n=1p=3

n=1p=3

n=1

n=1p=3

n=1p=3

n=1p=3


単一化

68

V

S

VP

NDET

NP

loves girla

N

NP

boyA

DET

n=1 n=1p=3

n=1p=3

n=1p=3

n=1

n=1p=3

n=1p=3

n=1p=3

n=1p=3

S → NP VP {NP=VP}

非文の排除

N

NP

boysA

DET

n=1 n=2p=1

n=1 vs n=2 p=1


girl

V

S

VP

NDET

NP

love a

N

NP

boyA

DET

n=1 n=1p=3

n≠1p≠3

n=1p=3

n=1

n≠1p≠3

n=1 vs n≠1p=3 vs p≠3

n=1p=3

S → NP VP{NP=VP}

意味解析

70

格文法(Case Grammar) [Fillmore, 96]

• 表層格と深層格

• 必須格(obligatory case)と任意格(optional case)

71

*John gave her.必須格である与格がない

表層格 (Surface Case)

• 主格(nominative)• 目的格

対格(accusative)与格(dative)

• 所有格

属格(genitive)

72

• ガ格

• ヲ格

• ニ格

• デ格

• カラ格

• ヘ格

• ト格

• ヨリ格

• マデ格

深層格 (Deep Case)

• 動作主格(Agent)• 対象格(Object)• 目標格(Goal)• 道具格(Instrument)• 場所格(Location)• 時間格(Time)• 経験者格(Experiencer)• 源泉格(Source)

73

格文法による翻訳

74

John opened the door with the key.

open

John door key

対象格道具格動作主格

開けた

ジョン扉鍵

をでが

格形態と文法関係のずれ

• 主格でない「が」

• 目的格でない「を」

75

公園を歩く

橋を渡る

彼女は花が好きだ

表層格から深層格へ

曖昧性がある

76

ゲームで遊ぶ play a game対象格

公園で遊ぶ play at the park場所格

おもちゃで遊ぶ play with a toy道具格

一人で遊ぶ？ play alone

格フレーム (Case Frame)

• 単語の共起に関する知識

• 動詞の場合、格への制約

77

eat: 食べる

(subj, 人間, 動作主)(obj, 食物, 対象)

fly: 飛ぶ

(subj, {鳥,航空機}, 動作主)

take: 撮る

乗る

飲む

(subj, 人間, 動作主)(obj, 写真, 対象)

(subj, 人間, 動作主)(obj, 乗り物, 対象)

(subj, 人間, 動作主)(obj, 薬, 対象)

シソーラス (Thesaurus)

• 上位・下位関係、同義関係などによって単語を分類し体系化したもの

78

car train crane1

クレーン

vehicle

transport

aircraft

machine

object

organism

airplane crane2

鶴

bird

animal plant

語義曖昧性解消(Word Sense Disambiguation)

79

格フレームとシソーラスを利用

fly: 飛ぶ

(subj, {鳥,航空機}, 動作主)

A crane flies.take: 撮る

乗る

飲む

(subj, 人間, 動作主)(obj, 写真, 対象)

(subj, 人間, 動作主)(obj, 乗り物, 対象)

(subj, 人間, 動作主)(obj, 薬, 対象)

He took a bus.

オマケ

Garden path sentence

80

The old man the boat.

The girl told the story cried.その物語を聞いた少女は泣いた。

老人達はボートに人を配置した。

The raft floated down the river sank.川を浮きながら下ったいかだは沈んだ。

Documents

第3回 構文解析 意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつ チャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語 名詞句や動詞句をまとめる

第3回構文解析意味解析yasuhiro/MT/mt03.pdfJohn saw a girl with a telescope もつチャンキング(Chunking) 浅い構文解析(shallow parsing) とも • 英語名詞句や動詞句をまとめる