结巴分词关键词相似度 |
您所在的位置:网站首页 › 实现的相近词 › 结巴分词关键词相似度 |
##基础概念 本文在进行文本相似度分析过程分为以下几个部分进行, 文本分词 语料库制作 算法训练 结果预测 分析过程主要用两个包来实现jieba,gensim jieba:主要实现分词过程 gensim:进行语料库制作和算法训练 ##结巴(jieba)分词 在自然语言处理领域中,分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库,中文文本预处理可选择jieba库。结巴分词是基于统计的分词方法,它对给出大量已经分词的文本,利用统计机器学习模型学习词语切分的规律(称为训练),从而实现对未知文本的切分。例如最大概率分词方法和最大熵分词方法等。随着大规模语料库的建立,统计机器学习方法的研究和发展,基于统计的中文分词方法渐渐成为了主流方法。 ###jieba分词的三种模式: * 精确模式:将句子最精确的分开,适合文本分析 * 全模式:句子中所有可以成词的词语都扫描出来,速度快,不能解决歧义 * 搜索引擎模式:在精确的基础上,对长词再次切分,提高召回 结巴分词的其他特点诸如:支持繁体分词,支持自定义词典,基于Trie树结构实现高效的词图扫描,采用了动态规划查找最大概率路径等特点。 ###jieba库中分词函数 1、jieba.cut()方法 参数string:需要接受分词的字符串。 参数cut_all:控制是否采用全模式分词发,参数为True时表示采用全模式。 参数HMM:控制是否使用HMM模型,参数为True时表示使用HMM模型。 2、jieba.cut_for_search() 参数string:需要接受分词的字符串。 参数HMM:控制是否使用HMM模型,参数为True时表示使用HMM模型。 jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator,可以使用 for 循环来获得分词后得到的每一个词语。jieba.lcut和jieba.lcut_for_search参数和上面两个方法一致但返回的是一个list。 ###python上的分词输出对比 import jieba string='上海市浦东新区世 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |