分词器是什么?
来源:学生作业帮助网 编辑:作业帮 时间:2024/10/07 22:52:37
xRKR@`oQx=Ee`D\f3=&Uwӯ{of\x'ܟxXC~9nyrsEPWН2A 8|_m]gc0Y~ܟCAG,2D
7\yhKb3RN\^ea!d[KL
K3}NUbS0۷+D@mK @4!w=fd4,AI@]r
3GGb:RWL-t&1 vdV@;SOcHTa,w}94pkd~ʒ&k>e'%}i~'lXދe6
ⰎnԒ[O=xM߬qUiu%9}8DX.{ T
分词器是什么?
分词器是什么?
分词器是什么?
分词器,是将用户输入的一段文本,分析成符合逻辑的一种工具.到目前为止呢,分词器没有办法做到完全的符合人们的要求.和我们有关的分词器有英文的和中文的英文的分词器过程:输入文本-关键词切分-去停用词-形态还原-转为小写中文的分词器分为:单子分词 例:中国人 分成中,国,人二分法人词:例中国人:中国,国人词典分词:有基本的语意来进行分词的,例:中国人分成中国,国人,中国人,现在用的是极易分词和庖丁分词.停用词:不影响语意的词.网上有很多说分词器效果的,我在这里就不进行多说了