文本挖掘的方法主要有哪些？

文本挖掘一直是十分重要的信息处理领域，因为不论是推荐系统、搜索系统还是其它广泛性应用，我们都需要借助文本挖掘的力量。每天所产生的信息量正在迅猛增加，而这些信息基本都是非结构化的海量文本，它们无法轻易由计算机处理与感知。因此，我们需要一些高效的技术和算法来发现有用的模式。文本挖掘近年来颇受大众关注，是一项从文本文件中提取有效信息的任务。

由于以各种形式（如社交网络、病历、医疗保障数据、新闻出版等）出现的文本数据数量惊人，文本挖掘（TM）近年来颇受关注。IDC在一份报告中预测道：截至到2020年，数据量将会增长至400亿TB（4*(10^22) 字节），即从2010年初开始增长了50倍[50]。

文本数据是典型的非结构化信息，它是在大多数情况下可产生的最简单的数据形式之一。人类可以轻松处理与感知非结构化文本，但机器显然很难理解。不用说，这些文本定然是信息和知识的一个宝贵来源。因此，设计出能有效处理各类应用中非结构化文本的方法就显得便迫在眉睫。目前现在的文本挖掘方法主要有：

1. 信息检索（Information Retrieval，IR）：信息检索是从满足信息需求的非结构化数据集合中查找信息资源（通常指文档）的行为。

2. 自然语言处理（Natural Language Processing ，NLP）：自然语言处理是计算机科学、人工智能和语言学的子领域，旨在通过运用计算机理解自然语言。

3. 文本信息提取（Information Extraction from text ，IE）：信息提取是从非结构化或半结构化文档中自动提取信息或事实的任务。

4. 文本摘要：许多文本挖掘应用程序需要总结文本文档，以便对大型文档或某一主题的文档集合做出简要概述。

5. 无监督学习方法（文本）：无监督学习方法是尝试从未标注文本中获取隐藏数据结构的技术，例如使用聚类方法将相似文本分为同一类。

6. 监督学习方法（文本）：监督学习方法从标注训练数据中学习分类器或推断功能，以对未知数据执行预测的机器学习技术。

7. 文本挖掘的概率方法：有许多种概率技术，包括无监督主题模型（如概率潜在语义分析模型（pLSA） [64] 与文档主题生成模型（LDA）[16]）和监督学习方法（如可在文本挖掘语境中使用的条件随机场）[83]。

8. 文本流与社交媒体挖掘：网络上存在许多不同的应用程序，它们可以生成大量的文本数据流。

9. 观点挖掘与情感分析：随着电子商务和网络购物的问世，产生了大量的文本，并在不同的产品评论或用户意见上不断增长。

10. 生物医学文本挖掘：生物医学文本挖掘是指对生物医学科学领域的文本进行文本挖掘的任务。

（1）关键词挖掘工具大全：

常见的文本挖掘和应用包括文本聚类、文本分类、非结构化信息提取、文本纠错、相关文本推荐、文档相似度判别、情感分析等。

文本聚类

文本聚类就是要找到一堆文档中，哪些文档具有较高的相似性，然后可以针对这些相似性文档的聚合进行类别划分。

文本聚类应用场景：提供大规模文档集进行类别划分并提取公共内容的概括和总览；找到潜在的各个文档间的相似度以进行相似度判别、类别修正，以减少浏览相似文档和信息的时间和精力。

文本聚类常用方法：层次聚类法、平面划分法、简单贝叶斯聚类法、分级聚类法、基于概念的文本聚类、混合模型聚类、光谱聚类、潜在语义标引聚类（LSI）等。

文本分类

文本分类也是将文本划分为不同的类别，与文本聚类的区别在于文本聚类没有Label可用于训练，因此它是一种非监督式的学习；而文本分类有特定的Label可供学习和训练，这是一种监督式的学习方法。从实际应用角度，聚类提供的是在没有任何经验或先前知识的前提下，对大规模文本进行类别自动划分；分类提供的是基于已有的训练模式和Label属性，预测其类别所属。

文本分类应用场景：信息的类别划分，例如将网页的资讯自动划分为影视、音乐、健康、财经、汽车、政治等类别，将根据邮件内容进行垃圾邮件过滤，针对论坛、博客等社会化媒体中恶意帖子的识别和过滤等。

文本分类常用方法：朴素贝叶斯、矩阵变换法、K-近邻、支持向量机、神经网络等。

非结构化信息抽取

非结构化信息抽取指的是从文本提取特定非结构化信息，包括摘要、关键字等。非结构化信息抽取能生成简短的关于文档内容的指示性信息，将文档的主要内容或核心关键字呈现给用户，以决定是否要阅读文档的原文，这样能够节省大量的浏览时间并提高信息关键信息的展示能力。

非结构化信息抽取应用场景：帖子、新闻、资讯、评论、问答等。

非结构化信息抽取常用方法：通过词频统计获得文本的主要关键字，而摘要提取方法包括自动摘录、基于理解的自动文摘、信息抽取和基于结构的自动文摘等。

文本纠错

文本纠错能够实现对文本的自动纠错功能，这是一种辅助输入的功能。文本纠错包含字词级别的短文本纠错、语法搭配纠错和长句子的语义纠错，目前主要的文本纠错侧重于短文本纠错。

文本纠错应用场景：文本编辑器纠错、搜索引擎输入内容纠错、输入法的输入纠错、书籍和稿件校正等。

文本纠错常用方法：基于机器学习算法的纠错算法是较为广泛且精确的自动纠错方法，包括SVM、贝叶斯、神经网络、逻辑回归、决策树等，除此之外也有通过特定模式和规则的泛化匹配、N-gram模型判断文本中的错误字词。

相关文本推荐

用户在某些文本之间可能存在频繁的关联查阅关系，而这些关键之间会蕴藏用户的潜在意图，这可以通过相关文本推荐来实现。例如，当用户在搜索引擎搜索“热度分析”一词时，相关的搜索词可能包括: 空间热度分析、关键词热度分析、音频热度分析、热词分析、关键词热度分析十法、关键词热度分析是指、网络游戏热度排行榜等。

相关文本推荐应用场景：新闻资讯推荐、博文帖子推荐、活动推荐、搜索内容推荐等。

相关文本推荐常用方法：Apriori、FP-growth等关联模型。

文档相似度判别

文档相似度是对不同文档间相似程度的判别，某些场景下应用非常广泛，尤其在文档、著作、报告、论文等科学研究和理论著作的原创性知识领域较为广泛，因此文档相似度识别是一个常用的场景。

文本相似度判别常用方法：余弦计算、隐形语义引标、基于语义相似度的文本相似度算法、基于拼音相似度的汉语模糊搜索算法、最长公共子序列、最小编辑距离算法等。

情感分析

情感分析是对情感倾向的分析，是用于分析特定对象对相关属性的观点、态度、情绪、立场以及其他主观感情的技术，通常分析的情感结果会属于正向，中性或负向。

情感分析应用场景：主要应用于竞争情报、舆情监测、客户正负向、话题监督、口碑分析等。

情感分析常用方法：除了非负矩阵分解、基于遗传算法的情感分析之外，使用的最多的还是监督学习算法，例如朴素贝叶斯、K近邻、最大熵和支持向量机等。

其他应用

除此以外，文本分析还广泛应用于简繁转换、自动注音、语音识别后处理、自动校对、机器翻译、基于句子的汉字键盘输入、用户兴趣模式识别等。