NLP-文本预处理

文章目录1 文本处理的基本方法2 文本张量表示方法3 文本语料的数据分析4 文本特征处理5 数据增强方法1 文本处理的基本方法分词词性标注名词、动词、形容词命名实体识别人名、地名、公司名2 文本张量表示方法one-hot编码稀疏词向量表示Word2Vec稠密词向量表示Word2Vec稠密词向量表示3 文本语料的数据分析标签数量分布针对于y类别是否均衡。句子长度分布针对于x词频统计与关键词词云绘图4 文本特征处理添加n-gram特征n: 1,2,3词的组合情况文本长度规范统一文本长度截断、补齐。5 数据增强方法数据不够如何增加语料回译数据增强方法中文 -法语-德语-小众语言-中文