基于大规模语料的新词发现算法
挖掘新词的传统方法是先对文本进行分词,猜测未能成功匹配片段就是新词。但这种方式依赖于词库的完整性,如果词库中根本没有新词,我们又怎能信任分词结果呢?顾森在文中介绍了一种基于大规模语料的新词发现算法。对中文资料进行自然语言处理时,我们会遇到很多其他语言不会有的困难,例如分词——汉语的词与词之间没有空格,那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已/结婚/的/和/尚未/结婚/的”,还是“已
·
挖掘新词的传统方法是先对文本进行分词,猜测未能成功匹配片段就是新词。但这种方式依赖于词库的完整性,如果词库中根本没有新词,我们又怎能信任分词结果呢?顾森在文中介绍了一种基于大规模语料的新词发现算法。
对中文资料进行自然语言处理时,我们会遇到很多其他语言不会有的困难,例如分词——汉语的词与词之间没有空格,那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已/结婚/的/和/尚未/结婚/的”,还是“已/结婚/的/和尚/未/结婚/的”呢?
基于大规模语料的新词发现算法:http://www.csdn.net/article/2013-05-08/2815186
更多阅读请访问程序员官网新首页:http://programmer.csdn.net/
更多推荐
已为社区贡献1642条内容
所有评论(0)