added material

nltk_data/tokenizers/punkt_tab/finnish/abbrev_types.txt

@@ -0,0 +1,81 @@
+t
+suom
+dr
+st
+970125090.jtun
+p
+sis
+t.h
+961221327.jtun
+a.i
+milj
+ski
+kp
+970131067.jtun
+970124030.jtun
+nk
+va
+pan
+yhteystiedot
+ruots
+jne
+t.a
+l.-g
+k
+j.w
+p2
+oik
+970102248.jtun
+hj
+s
+vt
+muistelmia
+o.s
+elo
+h
+ortod
+o.l
+w
+tms
+970120219.jtun
+pj
+ok
+toissapäiväinen
+28.t1
+pelintekijä
+970111011.jtun
+op
+os
+ns
+m.g
+o.-i
+m3
+pros
+mr
+970102171.jtun
+waller
+hels
+rotary-järjestössä
+ins
+esim
+apul
+fil
+id
+ym
+j
+rf
+v.o
+lis
+c.a
+em
+kand
+r.y
+valt
+dipl
+ö
+970111092.jtun
+ponteva
+y
+kapakoista
+970130160.jtun
+th

nltk_data/tokenizers/punkt_tab/finnish/collocations.tab

@@ -0,0 +1,167 @@
+##number##	sm
+##number##	ohjelmassa
+##number##	a3
+##number##	rc3
+##number##	rxd4
+##number##	hxg4
+o	stenberg
+##number##	lg5
+##number##	tallitontun
+##number##	lähetysohjeet
+##number##	uimakoulu
+##number##	jaana
+##number##	alustuksen
+##number##	uppo-nallen
+##number##	anne
+##number##	rxf3
+a	sjögren
+##number##	kamarikuoro
+##number##	vetäjänä
+##number##	pääsymaksu
+##number##	kerros
+##number##	kurssi
+##number##	kuori
+##number##	g4
+##number##	h3
+##number##	tiede-teatterissa
+##number##	kh2
+##number##	kausimaksu
+##number##	tia
+##number##	gxf5
+##number##	täky-galleria
+##number##	le2
+##number##	te8+
+##number##	la4
+##number##	keitä
+##number##	huhtikuuta
+##number##	menotiedoissa
+##number##	valmista
+##number##	txb5
+##number##	maskeerauskurssin
+##number##	rd2
+##number##	re2
+##number##	solisteina
+##number##	esitelmä
+##number##	puupiirrossarja
+##number##	ta1
+##number##	vaahdota
+##number##	h4
+##number##	kesäkuuta
+##number##	liikkeitä
+##number##	tuolloin
+##number##	viikko
+##number##	mittaa
+a	sjögrenin
+##number##	exf6
+##number##	rc6+
+##number##	viimeistele
+##number##	ld1
+##number##	elokuuta
+##number##	dh5+
+##number##	syyskuuta
+##number##	opettajina
+##number##	b3
+##number##	rauhankatu
+c	clarke
+##number##	saakka
+##number##	elokuvat
+b	huggins
+g	gahmberg
+##number##	luento
+##number##	lf3
+##number##	tammikuuta
+##number##	ryömä
+##number##	meller
+##number##	jäsenkortti
+##number##	esiintyjinä
+##number##	maria
+##number##	lf4
+##number##	siirto
+##number##	aurinko
+##number##	lxg6
+##number##	marraskuuta
+##number##	harjoituksissa
+##number##	romantika-yhtye
+##number##	g3
+##number##	heinäkuuta
+##number##	rxd5
+##number##	kuumenna
+e	hämäläisen
+##number##	bxc4
+##number##	te1
+##number##	kg2
+##number##	osallistumismaksu
+##number##	re5
+##number##	ohjelma
+##number##	varapuheenjohtajaksi
+##number##	raisa
+##number##	päivään
+##number##	luokan
+##number##	sulata
+##number##	levitä
+##number##	kaustinen
+##number##	kuoroa
+##number##	df3
+v	helsingistä
+##number##	mieskuoro
+##number##	lokakuuta
+##number##	kerho
+##number##	helmikuuta
+##number##	kokkola
+##number##	suuruusluokan
+v	kaupungista
+##number##	krs
+##number##	tekstit
+##number##	menyy
+##number##	rf3
+##number##	ulkoasiainministeriön
+##number##	kaada
+##number##	cxd5
+##number##	ilmailumuseo
+e	waris
+##number##	kierros
+##number##	tunnille
+##number##	kh3
+##number##	ohjaus
+a	t.
+##number##	postimaksu
+##number##	pane
+##number##	th3
+##number##	joulukuuta
+##number##	vatkaa
+##number##	kokeessa
+l	j.
+##number##	asti
+##number##	opastajana
+##number##	kirsi
+##number##	lc2
+##number##	lh2
+##number##	e4
+##number##	sairaankuljetukset
+##number##	sekoita
+##number##	mervi
+##number##	de2
+a	pietilän
+##number##	kf1
+##number##	toukokuuta
+##number##	maaliskuuta
+##number##	leikkaa
+##number##	ryhmänäytökset
+v	maaseudulta
+##number##	de3-e1
+##number##	c4
+##number##	ta1-b1
+##number##	d5
+##number##	pia
+##number##	lxd6
+##number##	d4
+##number##	f3-f4
+##number##	dxg6+
+##number##	sari
+##number##	pelkkään
+##number##	ld3
+##number##	perkaa
+##number##	lg3
+##number##	kg3
+##number##	kvm
+##number##	tb1xb6

nltk_data/tokenizers/punkt_tab/finnish/sent_starters.txt

@@ -0,0 +1,86 @@
+siinä
+lämpötila
+viiden
+he
+vapaa
+viime
+useimmat
+kansallisooppera
+rooleissa
+näin
+odotettavissa
+tiedustelut
+kansallisteatterin
+sen
+musiikki
+monet
+uusi
+avoinna
+pakkasta
+freeze
+tämä
+lämpö
+lautakunta
+vastaväittäjänä
+päivällä
+tällä
+esimerkiksi
+varoituksia
+merenkurkku
+meriennuste
+näyttelyssä
+kun
+pilvistä
+silloin
+selkämeren
+suurin
+se
+jos
+vaihtelevaa
+vastaväittäjinä
+sivu
+kaupunginteatterin
+pilvisyys
+siellä
+siksi
+kurssimaksu
+tämän
+kotimaa
+näiden
+teatteri
+kaikki
+puolipilvistä
+niiden
+maksimilämpötila
+lisäksi
+kaupunginhallitus
+helsingin
+nyt
+samalla
+hänen
+olen
+kaupunkikierros
+vastaväittäjä
+ne
+tästä
+enimmäkseen
+poika
+niinpä
+viirus
+me
+poliisi
+liput
+ilmoittautuminen
+tarjoa
+hän
+molemmat
+ulkomaat
+rock
+lääketieteen
+tanssi
+sainks
+näyttely
+lisätietoja
+ulkomaiden
+näyttelyn
+palo