中文文本挖掘的流程与工具分析
来源:用户上传
作者:李果
摘 要：文本挖掘技术在各行业的应用价值高、范围广，中文文本跟西方语言相比本身具有很大的特点，因此本文的研究内容是针对于中文文本展开的。首先对文本挖掘的基本含义和状况做了简要概述，对于中文文本挖掘的概念和流程做了详细介绍，对于其中所包含的重点步骤做了详细分析，包括特征提取以及算法等。介绍了R中文本挖掘相关的包，以及CHQ'S文本多分类系统。希望可以加强对于中文文本数据处理与使用的研究。
关键词：中文 文本挖掘 流程 工具
中图分类号：G254 文献标识码：A 文章编号：1674-098X（2019）07（a）-0142-02
隨着互联网越来越普及，各式各样的文本层出不穷，这种文本的数据处理跟以前相比增加了不小的难度，但是这种文本数据反映的是人的行为以及思想，这正是它的价值所在。在实际生活当中，文本数据库中所存在的大部分信息都是以文本形式来存储的，而且该数据库中包含了各种数据文档，有的是书籍，有的是文章，有的是网页等等。文本信息随着互联网的发展在飞速增长，因此文本挖掘在信息领域有着重要的研究意义。
文本挖掘的前景非常明了，国内的多数学者以及专家对此都做了很多研究，首先我们开始介绍它的相关概念以及文本挖掘所要遵循的流程。
1 文本挖掘概念
文本挖掘具体指的就是从大量文本数据信息当中提取到用户感兴趣的或者对用户有一定帮助作用的信息的一个过程。业内对于文本挖掘的基本定义为：文本挖掘指的是从海量的文本数据库当中提取人们无法预知但是能够理解的且最终能够为自己可用的信息的一个过程，利用这些所提取到的信息，可以为自己将来的行动做一定的参考。
文本挖掘起源于数据挖掘，因此文本挖掘的定义跟数据挖掘的定义几乎大同小异。但是在本质上跟传统的数据挖掘相比又有着自身独特之处，文档本身属于一种非结构化的数据，这种文本的形式非常随机且机器很难理解它的准确定义;而数据挖掘的对象主要面对的是结构化的数据，这种数据的形式是确定的，因此相对于文本挖掘来说，并不能够全拿照搬，某些方法对于文本挖掘是适用的，有些技术并不适用。
总之来说，对于以文本形式所存储的数据信息必须提取其特征，从所提取的特征当中分析得出我们所需要的信息，根据这些信息搭建相应的模型。
2 中文文本挖掘流程
中文文本挖掘跟西方语言文本相比也有这天壤之别，因此文本挖掘的步骤也不一样，中文文本挖掘包括以下几个过程：
（1）数据来源：文本挖掘就是从数据来源开始，文本数据的来源包含多种，比如说网页、邮件、图书以及文章和文献等等，这些不同的形式都包含了丰富的文本信息。
（2）文本预处理：首先得需要提取信息的文本进行整理，整理好之后进行相关解析操作，解析过程中把握好分词这个关键点。通过这个关键点以及所应用的语音分析算法或者工具可以对相应的文本结构进行处理。
（3）文本挖掘：在完成上述操作之后，可以利用数据分析以及积极学习的各种算法提取我们所需要的信息。
（4）模式评估与展现：这是文本挖掘的最后一个过程，利用之前已经定好的参考标准对获取信息的方式进行评价。如果评价结果达到标准，就可以将该模式呈现给用户。
文本挖掘过程中有两个比较重要的步骤就是特征提取和挖掘分析，本文主要研究的过程是对文本进行如何分类，下面对这两个重要的步骤进行相应分析。
2.1 特征提取及降维
TF-IDF在文本挖掘过程当中使用比较广泛，它的主要目的是评估一份文件当中哪些词比较重要。其中TF指的是该词出现的次数，IDF是逆向文件频率。
这个统计方法的定义比较容易理解，如果某个词在文本当中出现的次数很多，那么这个词往往就是关键词，但是如果在文件集当中出现的频率增加，那么它的重要性相反会降低。对于某一个特定词语来说，如果在某一个具体文件当中频繁出现，但是其他文档当中却很少包含这个词语，那么对于不同文本来说就很容易区分，这样选择出来的特征就能够更直观的体现出某一类文本。此外，TF-IDF方法计算的是词出现的频率，因为不同的文本有长有短，如果按照词的数量来计算的话，某些比较长的文本当中包含该词语的次数肯定比短的文本多。
按照TF-IDF的方法有多种不同的数学公式来计算，应用最为广泛的公式如下：
这种方法本身没有那么复杂，而且定义相对简单，因此在文本挖掘过程中应用非常普遍。但同时它也存在一些缺点，因为对于不同的文档，不同的位置所出现的词语的重要性是各不一样的，这种方法并没有考虑到这点。
2.2 常用分类算法
（1）Vapnik根据统计学理论提出了一种新的解读学习算法，叫做SVM，在分类问题当中这种算法应用较为普遍。它的理论比较简明，而且对于分类问题能够达到比较理想的效果。换句话说，这种理论就是找一个能够使两个不同类的集合尽可能分开的超平面，同时也是让M argin达到最大。
（2）除此之外，还有一个比较常用的分类算法就是决策树，这种分类算法能够很容易让人理解。它的基本思想是把每一个节点都看作一个特征，通过这些不同的特征逐渐的建立起分类模型。
3 中文文本挖掘工具 现在已经有很多学者对文本挖掘展开了相关研究，跟此有关的文献以及著作比较多。接下来要介绍的是R软件当中的文本挖掘工具和CHQ'S文本多分类系统。
3.1 R文本挖掘应用
（1）rsmartcn包，作者：黄荣贵，只能用于简体中文。
（2）rmmseg4j包，作者：黄荣贵，用Chih-Hao Tsai的MMSeg算法。易理解，主要是chunk及四个规则。
（3）Rwordseg包，作者：李舰，能够很方便地定义字典，从而能够不断更新并适应新词的出现，也能够更好地适应有更多行业领域的各类专业分词。
3.2 CHQ'S文本多分类系统
CHQ'S文本多分类系统能够对中文文本进行多分类，例如，中文广告、中文垃圾邮件、中文文本分类等。只要实现模型化之后，文本分类的运行速度能达到很快。
该系统主要基于以下的算法進行开发：
（1）使用中科院的ICTCLAS进行分词，基于自身的数据结构设计。
（2）基于文档频率，TF-IDF，IG的特征选择以及降维方法实现文本的特征提取与降维。
（3）SVM的分类算法，林智仁的LibSVM。
4 结语
互联网的发展为我们的生活提供了很大的方便，随着互联网的不断普及，各种数据也呈现出了一种爆炸式增长，尤其是图书、文章以及邮件等等形式的文本文件，而由于这种文字式的文本跟数据文本有着显著的区别，因此对于它的文本分析就面对着很多困难，所以文本挖掘开始的时间并不长。而且中文文本跟西方文本又有着截然的不同，中文词语不像英文词语那样每个单词之间都是用空格隔开，中文词语之间没有停顿，因此对于中文文本挖掘的过程首先要做的就是分词操作，而针对于如何进行分词，也有很多学者致力于此方面的研究，而且目前已经出现了多个中文分词工具，在未来的研究过程中还需要不断地进行优化与创新。
参考文献
[1] 戚云霞.中文文本挖掘技术的研究与应用[D].西安电子科技大学，2014.
[2] 唐守忠.文本挖掘关键技术研究[D].北京林业大学，2013.
[3] 冷伏海，王林，王立学.基于文本挖掘的形态分析方法的关键问题[J].图书情报工作，2012（4）：27-30.
[4] 潘小换，蒋保建.基于文本挖掘的技术路线图构建研究[J].情报工程，2018（4）：73-81.
转载注明来源:https://www.xzbu.com/1/view-15055241.htm
