janome:形態素解析エンジン
morphological analysis engine
https://github.com/mocobeta/janome
$ pip install janome
pytyonコード(anacondaのjupyterで実行)
from janome.tokenizer import Tokenizer t = Tokenizer() for token in t.tokenize(u'すもももももももものうち'): print(token)
実行結果
すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ の 助詞,連体化,*,*,*,*,の,ノ,ノ うち 名詞,非自立,副詞可能,*,*,*,うち,ウチ,ウチ
コメント