added material

nltk_data/tokenizers/punkt_tab/estonian/abbrev_types.txt

@@ -0,0 +1,48 @@
+eos
+c
+a.d
+t.a.s.s
+e.t
+päevapiltnikud
+c.h
+b.p
+amm
+ameerika-mees
+n.-ö
+cm
+b
+mhm
+a.s
+m.e
+j.l
+j
+u.t
+vm
+g.u.n
+hajutada
+p.s
+a.b
+c.h.-r
+i.q
+gr
+fido
+pankurit
+s.v
+l.l
+c.-h
+m.h
+h.l
+m.k
+j.r
+t.k
+k.h
+89/90
+h
+a
+dost
+v.k
+e.q
+t.j
+m.b
+d
+p.k

nltk_data/tokenizers/punkt_tab/estonian/collocations.tab

@@ -0,0 +1,100 @@
+##number##	juuni
+##number##	novembril
+##number##	juulilt
+r	järve-vomm
+##number##	mida
+n	liidu
+##number##	milliseid
+##number##	oktoobri
+##number##	iidol
+m	e
+##number##	klassist
+##number##	millest
+##number##	august
+##number##	pariis
+##number##	septembrist
+##number##	oktoober
+##number##	märtsini
+##number##	kust
+k	mägi
+##number##	detsembrist
+##number##	jaanuari
+##number##	epee
+##number##	nimetage
+##number##	novembrini
+##number##	eluaasta
+s	mill
+##number##	helsingi
+##number##	jaanuarini
+##number##	aastail
+##number##	augustil
+##number##	millise
+##number##	juulist
+##number##	mai
+##number##	novembri
+##number##	oktoobrist
+##number##	juunini
+##number##	septembriks
+##number##	detsembril
+p	s
+##number##	jaanuar
+##number##	aastate
+##number##	milline
+##number##	kelle
+##number##	jaanuaril
+s	stadnikov
+##number##	aastaks
+##number##	stockholm
+##number##	suurim
+##number##	aasta
+##number##	sajandi
+##number##	millega
+##number##	aastast
+##number##	aastal
+##number##	kumb
+##number##	septembril
+##number##	korruselt
+##number##	septembri
+##number##	veebruarini
+##number##	london
+##number##	aastatel
+##number##	september
+##number##	veebruari
+##number##	oktoobrini
+##number##	mail
+m	kassovitz
+##number##	action-film
+##number##	mis
+k	herkül
+n	n
+##number##	detsembrini
+##number##	imre
+t	jõgeda
+##number##	casino
+##number##	septembrit
+##number##	augustini
+##number##	juulil
+##number##	november
+##number##	kuupäeval
+##number##	taevas
+##number##	septembrini
+##number##	detsember
+##number##	detsembri
+##number##	juunil
+##number##	augustist
+n	jurist
+##number##	missugust
+##number##	aastatesse
+##number##	aprillil
+##number##	augusti
+##number##	oktoobril
+##number##	märtsil
+##number##	a
+##number##	the
+##number##	sajandil
+##number##	aastani
+##number##	juuli
+##number##	septembrile
+##number##	millist
+##number##	millised
+##number##	veebruaril

nltk_data/tokenizers/punkt_tab/estonian/sent_starters.txt

@@ -0,0 +1,89 @@
+kalad
+õnneks
+selle
+maimu
+teisipäeval
+ma
+skorpion
+aga
+lisaks
+selleks
+maitse
+esiteks
+erinevalt
+pealegi
+praegu
+kas
+tegelikult
+neitsi
+nädalavahetus
+tema
+kui
+seega
+täna
+lugupidamisega
+miks
+teiseks
+väldi
+pohlak
+osades
+sõnn
+samas
+nimelt
+juhtkiri
+krimi
+nädalavahetusel
+näiteks
+kuidas
+ambur
+telgmaa
+laupäeval
+seetõttu
+rezhissöör
+kahjuks
+ent
+samuti
+ehkki
+veevalaja
+seepärast
+muidugi
+kuna
+tänaseks
+mina
+loomulikult
+ometi
+arvamus
+lõvi
+ee
+niisiis
+mul
+kaksikud
+tõsi
+hinnete
+sestap
+tõenäoliselt
+samal
+see
+paraku
+jäär
+kokkuvõttes
+küllap
+muide
+nüüd
+kolmapäeval
+võibolla
+kuid
+nädalavahetuse
+kuigi
+võid
+lõpuks
+kaalud
+areen
+kirjad
+vähk
+esmaspäeval
+nii
+need
+uue
+ta
+minu