当前位置：
|
主题：基于统计的分词方法虽然分词字典解决了很多问题 [收藏主题] | 转到： |
 xiaoxuesuhe 发表于：2012/6/13 19:11:19 | 显示全部帖子 查看该作者主题
楼主  基于统计的分词方法虽然分词字典解决了很多问题，但还是远远不够的，搜索引擎还要具备不断的发现新的词语的能力，通过计算词语相邻出现的概率来确定是否是一个单独的词语。发现两个相邻的字出现的频率最多，那么这个词就很重要。
所以，掌握的上下文越多，对句子的理解就越准确，分词也越精确。举个例子说，“搜索引擎优化”，在字典中匹配出来可能是：搜索/引擎/优化、搜/索引/擎/优化，但经过后期的概率计算，发现“搜索引擎优化”在上下文相邻出现的次数非常多，那么基于统计就会将这个词语也加入进分词索引库
|
|
www.fxcsjx.com www.lyhwx.com www.tianxiangart.com www.txjyjt.com www.lylywd.com
www.ymhwxwd.com www.jgwshachuang.com www.pdidoor.com www.pdimen.com www.qjqcj.com, www.fxcsjx.com www.lyhwx.com www.tianxiangart.com www.txjyjt.com www.lylywd.com
www.ymhwxwd.com www.jgwshachuang.com www.pdidoor.com www.pdimen.com www.qjqcj.com, | |
 支持(0) |  反对(0)
 顶端  底部
|
![电子邮件:[ 1471873161@qq.com ]](http://bbs.kesion.com/club/images/email.gif){kind=small}
| ＜上一主题 | 下一主题 ＞ |