什么是数据挖掘？

随着机器学习 (ML) 的演进、数据仓库的发展和大数据的增长，数据挖掘 - 也称为数据库知识发现 (KDD) - 在近几十年里的应用不断加速。然而，尽管这项技术在处理海量数据方面不断进步，企业领导者仍然可能面临可扩展性和自动化方面的挑战。

支撑数据分析的数据挖掘技术主要有两个作用：一是描述目标数据集，二是利用机器学习算法预测结果。

这些方法用于组织和过滤数据，帮助我们发现其中最有用的信息，例如欺诈、用户行为、瓶颈，甚至安全漏洞。使用 ML 算法和人工智能 (AI) 可以实现分析的自动化，从而大大加快这一过程。

借助数据分析和可视化工具，例如 Apache Spark，数据挖掘软件变得更加简便高效，提取相关洞察的速度也比以往更快。AI 的进步不断加速数据挖掘在各行各业的应用。

发现隐藏的洞察和趋势：数据挖掘就是在原始数据中寻找规律，在混乱中发现秩序，好比在茂密的森林中看清整体的树木分布。数据挖掘可以使企业各职能部门和各行业（包括广告、财务、政府、医疗保健、人力资源 (HR)、制造、市场营销、研究、销售和供应链管理 (SCM)）的规划更有依据。

节省预算：通过分析多个来源的性能数据，可以识别业务流程中的瓶颈，从而加快解决速度并提高效率。

解决多重挑战：数据挖掘是一种多功能工具。来自几乎任何来源和组织任何方面的数据都可以进行分析，以发现模式和更好的经营方式。组织中几乎每个收集和分析数据的部门都可以从数据挖掘中受益。

复杂性和风险：要想得出有用的洞察，必须具备有效的数据，同时还需要有编程经验的专家来进行分析。了解数据挖掘语言（包括 Python、R 和 SQL）会很有帮助。不够谨慎的数据挖掘方法可能会产生误导性或危险的结果。数据挖掘中使用的一些消费者数据可能是个人身份信息 (PII)，应谨慎处理以避免法律或公共关系问题。

成本：为了取得最佳结果，通常需要广泛而深入地收集数据集。如果组织要收集新信息，则设置数据管道可能会产生新的费用。如果需要从外部来源购买数据，这也会产生成本。

不确定性：比如，一项大型数据挖掘工作可能运行良好，但产生的结果并不明确，也不会带来重大收益。或者，如果选择的数据不正确，或是预处理不当，那么产生的洞察可能不正确。其他风险包括建模错误或来自快速变化的市场的数据已过时。

另一个潜在问题是，结果可能看似有效，但实际上是随机的，不可信。必须牢记：“相关性不等于因果关系”。最近，博主 Tyler Vigen 给出了一个“数据挖掘”的经典案例，生动地说明了人们有时会看到表面相关性并夸大其重要性：“从 2002 年到 2022 年，亚马逊公司股票的价格与名为 ‘Stevie’ 的儿童数量密切相关”1。显然，Stevies 这个名字并不会影响股价，反之亦然。数据挖掘应用程序会找到这些模式，但人工判断仍然很重要。

数据挖掘是从大数据集中识别模式和提取有用洞察的整体过程。它可用于评估结构化和非结构化数据，以识别新信息。营销和销售团队经常使用它来分析消费者行为。例如，数据挖掘方法可用于观察和预测行为，包括客户流失、欺诈检测、市场篮子分析等。

文本挖掘又称文本数据挖掘，是数据挖掘的一个子领域，旨在将非结构化文本转换为结构化格式，以识别有意义的模式并产生新的洞察。非结构化数据可能包含来自社交媒体帖子、产品评论、文章、电子邮件等来源的文本，或者视频和音频文件等富媒体内容。世界上许多公开的数据都是非结构化的，因此文本挖掘是一种有价值的实践。

流程挖掘位于业务流程管理 (BPM) 和数据挖掘的交叉点上。流程挖掘提供了一种将算法应用于事件日志数据的方法，用以确定有关流程如何展开的趋势、模式和详细信息。流程挖掘应用数据科学来发现瓶颈，然后验证和改进工作流程。

BPM 通常通过研讨会和访谈等非正式的方式收集数据，然后使用软件将该工作流程记录为流程图。由于为这些流程图提供信息的数据往往是定性数据，因此流程挖掘为解决流程问题带来了一种更倾向于定量的方法，通过事件数据来详细说明实际流程。

信息系统（例如企业资源规划 (ERP) 或客户关系管理 (CRM) 工具）可根据日志数据提供流程的审计跟踪。流程挖掘利用 IT 系统中的这些数据来建立流程模型或流程图。在此基础上，组织可以对端到端流程进行审查，并了解其细节和任何变化。

数据挖掘过程涉及从数据收集到可视化等多个步骤，以从大型数据集中提取有价值的信息。数据挖掘技术可用于生成对目标数据集的描述和预测。

数据科学家或商业智能 (BI) 专家通过对模式、关联和相关性的观察来描述数据。他们还通过分类和回归方法对数据进行分类和聚类，并确定用例（如垃圾邮件检测）的异常值。

数据挖掘通常包括五个主要步骤：设立目标、数据选择、数据准备、数据模型构建以及模式挖掘和评估结果。

1. 设定业务目标：这可能是数据挖掘过程中最难的部分，许多组织在这一重要步骤上花费的时间太少。甚至在识别、提取或清理数据之前，数据科学家和业务利益相关者就可以共同来准确定义业务问题，帮助大家聚焦于关键的数据问题和参数上。分析师可能还需要做更多的研究，以充分了解业务背景。

2. 数据选择：问题的范围明确后，数据科学家就更容易确定哪组数据有助于回答与业务相关的问题。他们和 IT 团队还可以确定应当在哪里存储和保护数据。

3. 数据准备：收集和清理相关数据以消除任何噪声，例如重复值、缺失值和异常值。根据数据集的情况，可能需要采取额外的数据管理步骤来减少维数，因为过多的特征会降低后续计算的速度。

数据科学家希望保留最重要的预测因子，以帮助确保模型具有最佳准确性。负责任的数据科学不仅仅关注模型的代码和性能，更要关注数据本身的质量和可靠性。

4. 模型构建和模式挖掘：根据分析的类型，数据科学家可能会调查任何趋势或有趣的数据关系，例如顺序模式、关联规则或相关性。虽然高频模式具有更广泛的应用，但数据中的异常情况有时更值得关注，因为它们可能预示着潜在的欺诈行为。预测模型可以帮助评估未来趋势或结果。在最复杂的系统中，预测模型可以作出实时预测，以快速响应不断变化的市场。

深度学习算法也可用于根据可用数据对数据集进行分类或聚类。如果输入数据有标签（例如在监督学习中），则可以使用分类模型对数据进行分类，或者应用回归来预测某个数据属于特定类别的可能性。如果数据集没有标签（即无监督学习），则比较训练集中的各个数据点以发现潜在的相似性，并根据这些特征对其进行聚类。

5. 结果评估和知识实施：汇总数据后，通常可以利用数据可视化技术为呈现做好准备，以便对结果进行评估和解读。理想情况下，最终结果是有效的、新颖的、有用的且可以理解的。当满足这些标准时，决策者可以利用这些知识来实施新的战略，实现其预期目标。

以下是一些最常见的数据挖掘类型：

关联规则：关联规则是一种基于“如果...那么”形式的规则分析方法，用于发现数据集中变量之间的关系。关系的强度通过支持度和置信度来衡量。置信度基于“如果”或“那么”语句的正确率。支持度衡量相关元素在数据中出现的频率。

这些方法经常用于市场篮子分析，使公司能够更好地了解不同产品之间的关系，例如经常一起购买的产品。了解客户习惯可以让企业开发出更好的交叉销售策略和推荐引擎。

分类：对象的类别是根据组织需要而预定义的，其定义了对象共有的特征。分类使得基础数据能够被分组，以便于分析。

例如，消费品公司可能会检查其优惠券策略，查看过去的优惠券兑换情况以及销售数据、库存统计和手头的消费者数据，以找到未来的最佳活动策略。

聚类：聚类与分类密切相关，聚类报告相似度，但随后也会根据差异提供更多分组。肥皂制造商的预设分类可能包括洗涤剂、漂白剂、洗衣软化剂、地板清洁剂和地板蜡，而聚类可能会创建包括洗衣产品和地板护理的分组。

决策树：这种数据挖掘技术使用分类或回归分析，根据一组决策对潜在结果进行分类或预测。顾名思义，决策树使用树状可视化来表示这些决策的潜在结果。

K 近邻 (KNN)：又称为 KNN 算法，K 近邻是一种非参数算法，它根据数据点与其他可用数据的接近度和关联度对数据点进行分类。这种算法假定在各数据点附近会找到相似的数据点。因此，它通常通过欧几里得距离来计算数据点之间的距离，然后根据最常见的类别或平均值来制定类别。

神经网络：主要用于深度学习算法，神经网络通过节点层模仿人脑的互连来处理训练数据。每个节点由输入、权重、偏置（或阈值）和输出组成。

如果输出值超过设定的阈值，则会“触发”或激活节点，并将数据传递到网络中的下一层。神经网络通过监督学习来学习此映射函数，并通过梯度下降过程，基于损失函数执行调整。当成本函数为零或接近零时，组织可以确信模型的准确度足以获得正确答案。

预测分析：将数据挖掘与统计建模技术和机器学习相结合，利用预测分析来分析历史数据，创建图形或数学模型，从而发现模式、预测未来事件和结果以及识别风险和机会。
回归分析
：该技术根据预定变量预测结果，从而发现数据中的关系。这可以包括决策树以及多变量和线性回归。结果可以根据关系的密切程度来排序，以帮助确定哪些数据最重要或最不重要。例如，软饮料制造商在预报的炎热夏季天气到来之前估计所需的饮料库存。

数据挖掘技术被商业智能和数据分析团队广泛采用，帮助他们为其组织和行业提取有用知识。数据挖掘的一些用例包括：

虽然数据中经常出现的模式可以为团队提供宝贵的洞察，但观察数据异常也有好处，可以帮助组织进行欺诈检测、应对网络入侵和修复产品缺陷。这是银行和其他金融机构中一个众所周知的用例，但基于 SaaS 的公司也开始采用这些做法来消除数据集中的虚假用户帐户。借助异常检测，我们还可以发现以往被忽视的新颖策略或目标市场。

组织可以通过数据挖掘更准确地定位风险和确定风险规模。在网络安全、金融和法律领域，组织可以发现模式和异常，查明疏忽或威胁。

数据挖掘可以搜索多个数据库以发现密切关系，从而准确地将行为和客户背景与特定商品的销售联系起来。这让组织可以开展更有针对性的营销活动，以帮助提升销售额。

组织可以通过数据挖掘来审查客户的全部操作，包括现场、线上、通过移动应用程序或通过电话进行的操作，从而更快地发现和解决客户问题。客户服务代理可以获得有关其所服务客户的更完整、更深入的信息。

组织可以挖掘工业设备的运行数据，以帮助预测未来的性能和停机时间，并支持规划保护性维护。

流程挖掘利用数据挖掘技术降低运营职能成本，使组织运行更高效。这种做法可以帮助找出成本高昂的瓶颈问题，并让企业领导者做出更好的决策。

数据挖掘可以为客户服务创建更丰富的数据源，帮助确定哪些因素最能取悦客户，以及哪些因素会导致摩擦或不满。

教育机构已开始收集数据，以了解其学生群体以及哪些环境有利于成功。由于课程通常使用在线平台，因此他们可以利用数据挖掘使用各种维度和指标来观察和评估绩效，例如击键次数、学生概况、参加的上课和花费的时间。

在研究风险时，金融机构和银行通常希望广撒网，以捕获任何可能对现金流和回收产生负面影响的因素。数据挖掘工具可用于找出各种风险因素，并综合评估其影响。

数据挖掘是一种有用的工具，可帮助诊断病情，包括判读扫描影像，并协助提出有益的治疗建议。

组织可以通过分析多种因素并发现模式，获得对员工绩效和满意度的新洞察。数据可以包括入职日期、任期、晋升、薪资、培训、同行表现、工作交付、福利使用和差旅。

从原材料到最终交付，制造过程的所有方面都可以分析，从而提升性能。材料成本是多少？有哪些选择？生产效率如何？瓶颈在哪里？质量问题有哪些？这些问题出现在哪里（内部和客户方面）？

通过挖掘客户数据和行为，零售商可以确定最有成效的营销活动、定价、促销、特殊产品优惠以及成功的交叉销售和追加销售。

公司收集大量关于客户和潜在客户的数据。公司可以观察消费者人口统计数据、媒体反响和客户行为，利用数据来优化营销活动，更精准地划分目标客户群体，改善客户忠诚度计划，所有这些都有助于提高营销工作的投资回报率 (ROI)。预测分析还可以帮助团队与利益相关者一起设定期望，为营销投资的增加或减少提供收益估算。

通过分析用户数据，可以挖掘出新的编辑选题，或者找到更精准的广告投放目标，从而增加广告收入。

通过数据挖掘，产品经理可以更好地预测需求、加快生产、调整供应商或调整营销策略。供应链经理可以更好地规划运输和仓储。