在英文的行文中，单词和单词之间是以空格作为自然分界符的

中文的字、句和段，通过明显的分界符来简单划界，唯独词没有一个形式上的分界符

中文分词比英文分词要复杂、困难得多

中文分词做不好，会怎样？

分词作为自然语言处理的第一道关卡，分词的质量好坏，直接决定了语言处理是否有歧义，并把歧义发生概率通过学习进一步降低

例子1：

今天，下雨？(优秀)

今，天下，雨？(良好)

今，天，下，雨？(失败)

三者都是在进行中文分词，2和3不能说他们分得不对，但是放进自然语言语境呢，就彻底变味了

例子2：

不知您是否被自己爱车上的语音导航惹毛过？

人：导航你好，我要去天安门！

机：你好，您要去什么门？

人：天安门！天安门广场！

机：。。。。。。

人：天安门广场！天安门广场！

机：正在为您查找附近的天安门广场

机：您要去哪个天安门广场？

为何这么高大上的东东，如此低智商？

人和机器能不能平等对话了？人和机器能不能平等对话了？

实测开始

抓取待分析文本

中文分词

关键词权重分析

模拟矩阵

矩阵降维处理继续服务自然语言处理过程

中文分词应用场景

人机交互，机器翻译(MT)、语音合成、自动分类、自动摘要、自动校对等等