Predavanje IX. : STATISTIKA U JEZIKOSLOVLJU · PDF fileUvod u jezikoslovnu statistiku Rije c kao element skupa Statistika u NLP-u ... Recall is the probability that a (randomly selected)

Predavanje IX. : STATISTIKA U JEZIKOSLOVLJU- rijec postaje obican broj ?

Prof.dr.sc. Mario Essert ([email protected])

Fakultet strojarstva i brodogradnje, Zagreb

Osijek, 4. prosinca 2017.M.Essert (FSB, Zagreb) Statistika u jezikoslovlju Osijek, 4. prosinca 2017. 1 / 25

[email protected]

Sadrzaj:

1 Uvod u jezikoslovnu statistikuRijec kao element skupaStatistika u Python modulimaR-statistikaDohvacanje dokumenata

2 StohastikaNeuvjetovana vjerojatnostUvjetovana vjerojatnostMarkovljevi lanciMonte Carlo metoda

Uvod u jezikoslovnu statistiku Rijec kao element skupa

Statistika u NLP-u

Dokumenti - skupovi rijeci;rijeci - elemenati skupa, brojevi

deskriptivna statistika

distribucije vjerojatnosti i statisticki testovi

metrika uspjesnosti dohvacanja informacije(eng. information retrieval)

pokusi: nadgledano i nenadgledano ucenje

5 super alata: Numpy/Scipy ; Scikit-learn;Pandas; Tensorflow ; R

Poveznice na izvore:

http://www.numpy.org/ i https://www.scipy.org/

https://scikit-learn.org/ i https://www.tensorflow.org/

https://pandas.pydata.org/ i https://www.r-project.org/

M.Essert (FSB, Zagreb) Statistika u jezikoslovlju Osijek, 4. prosinca 2017. 3 / 25

http://www.numpy.org/

https://www.scipy.org/

https://www.tensorflow.org/

https://pandas.pydata.org/

https://www.r-project.org/


Dokumenti (corpora) u sredistu



Rudarenje teksta


Uvod u jezikoslovnu statistiku Statistika u Python modulima

Numpy funkcije - deskriptivna statistika

Primjeri iz numpy/scipy + FSB zavrsniradovi iz stohastike:http://www.scipy-lectures.org/http://elte.fsb.hr:8080/markovljevi lancihttp://elte.fsb.hr:8080/monte carlo


http://www.scipy-lectures.org/

http://elte.fsb.hr:8080/markovljevi_lanci

http://elte.fsb.hr:8080/monte_carlo


Scikit-learn



Pandas funkcije - deskriptivna statistika



Tensorflow - Google’s Machine Intelligence

TensorFlow is an open source software library for numerical computation usingdata flow graphs. Nodes in the graph represent mathematical operations, whilethe graph edges represent the multidimensional data arrays (tensors)communicated between them.


Uvod u jezikoslovnu statistiku R-statistika

library(”languageR”)

R. H. Baayen (2007) Analyzing Linguistic Data: A practical introduction tostatistics using R, Cambridge: Cambridge University Press.


Uvod u jezikoslovnu statistiku Dohvacanje dokumenata

Precision and recall

Precision is the probability that a (randomly selected) retrieved document isrelevant. Recall is the probability that a (randomly selected) relevant document isretrieved in a search.



Pretrazivanje i filtriranje

iz stvari dohvatiti voce

iz voca dohvatiti jabuke

razlikovati jabuke

Dohvatiti jabuke kao:

crveno voce

srednje velicine

Rezultat: PRECISION ⇒ 3/6 = 50% RECALL ⇒ 3/5 = 60%



Precision i recall su (najcesce) inverzne velicine

Oslabiti uvjet:

jabuka moze biti i zuta

Rezultat:

PRECISION ⇒ 4/9 = 44.4%RECALL ⇒ 4/5 = 80%

Pojacati uvjet (prema pocetnom):

jabuka smije biti samo male velicine

Rezultat:

PRECISION ⇒ 2/3 = 66.6%RECALL ⇒ 2/5 = 40%



”Precision and recall” u NLTK metrici

F-Measure = (2 · 0.706 · 0.678)/(0.706 + 0.678) = 0.692


Stohastika Neuvjetovana vjerojatnost

Neuvjetovana vjerojatnost



Vjerojatnost za uzimanje dva uzorka



Dvije uzastopne rijeci - uvjetovana vjerojatnost


Stohastika Uvjetovana vjerojatnost

Uvjetovana vjerojatnost uz asocijativnost


Stohastika Uvjetovana vjerojatnost

Put od Bayes-a do Markov-a ,


Stohastika Markovljevi lanci

Andrei Andreevich Markov (1856 – 1922)



Programski - bez memorije

Tvorba lancaIspis poruke



Markovljevi lanci (eng. Markov chain)

A Markov chain process is by definition a random process with different states,where the probability distribution between transitions to a new state is dependentonly on the current state. It is not taking into account any previous states thusthe process has no ”memory”.



Programski - s matricom vjerojatnosti

Rezultat


Stohastika Monte Carlo metoda

Monte Carlo

https://academo.org/demos/estimating-pi-monte-carlo/


https://academo.org/demos/estimating-pi-monte-carlo/

Stohastika Monte Carlo metoda

Python program za izracunavanje π

Rezultat:


Documents

Predavanje IX. : STATISTIKA U JEZIKOSLOVLJU · PDF fileUvod u jezikoslovnu statistiku Rije c kao element skupa Statistika u NLP-u ... Recall is the probability that a (randomly selected)