什么是机器学习?
了解机器学习的历史、重要定义、应用以及目前企业的关注点
轻松训练、验证和部署机器学习模型
黑色和蓝色渐变背景
什么是机器学习?

机器学习是人工智能 (AI) 和计算机科学的一个分支,专注于使用数据和算法,模仿人类学习的方式,逐步提高自身的准确性。 

IBM 拥有丰富的机器学习历史。  业界广泛认为,Arthur Samuel 在有关跳棋的研究 (链接位于 IBM 外部)中创造了"机器学习"这个词。 自称跳棋大师的 Robert Nealey 在 1962 年与 IBM 7094 计算机对弈,结果输给了计算机。 与机器学习今天的成就相比,这看似微不足道,但被公认为人工智能领域的一个重要里程碑。

在过去的几十年里,存储和处理能力方面的技术进步推动一些基于机器学习的创新产品顺利落地,例如 Netflix 的推荐引擎和自动驾驶汽车。

机器学习是不断发展的数据科学领域的重要组成部分。 通过使用统计方法对算法进行训练,使其能够执行分类或预测,以及在数据挖掘项目中揭示关键洞察。 而这些洞察又可以推动应用和业务中的决策,有效影响关键增长指标。 随着大数据的持续增长,市场对数据科学家的需求也水涨船高。 企业要求他们帮助确定最相关的业务问题,并提供数据以找到答案。

机器学习算法通常是使用旨在加速解决方案开发的框架创建的,例如 TensorFlow 和 PyTorch。

认识 watsonx.ai

轻松训练、验证、调优和部署基础模型及机器学习模型

机器学习、深度学习与神经网络

由于深度学习和机器学习这两个术语往往互换使用,因此必须注意这两者之间的细微差别。 机器学习、深度学习和神经网络都是人工智能的子领域。 但是,神经网络实际上是机器学习的一个子领域,而深度学习则是神经网络的一个子领域。

深度学习和机器学习的不同之处在于每个算法的学习方式。 "深度"机器学习可以利用标注数据集(也称为监督式学习)为算法提供所需信息,但并不一定要使用标注数据集。 深度学习能够以原始格式(例如文本或图像)采集非结构化数据,并且可以自动确定用于区分不同类别数据的特征集。 这避免了一些原本必需的人工干预,并能够使用更大的数据集。 可将深度学习视为"可扩展的机器学习",就如 Lex Fridman 在麻省理工学院的这场讲座(链接位于 IBM 外部)中所述的那样。

经典机器学习,也称为"非深度"机器学习,更依赖于人工干预进行学习。 人类专家确定一组特征,用于了解数据输入之间的差异,通常需要使用更为结构化的数据进行学习。

神经网络也称为人工神经网络 (ANN),由节点层组成,包含一个输入层、一个或多个隐藏层和一个输出层。 每个节点也称为一个人工神经元,它们连接到另一个节点,具有相关的权重和阈值。 如果任何单个节点的输出高于指定的阈值,那么该节点将被激活,并将数据发送到网络的下一层。 否则,该节点不会将任何数据传递到网络的下一层。 深度学习中的"深度"就是指神经网络中的层数。 由三层以上组成的神经网络(包含输入和输出)可视为深度学习算法或深度神经网络。 只有三层的神经网络只是基本神经网络。

深度学习和神经网络目前的成就,要归功于计算机视觉、自然语言处理和语音识别等领域的突飞猛进。

请阅读博客帖子"AI、机器学习、深度学习与神经网络:有何区别?",详细了解这些不同概念之间的关系。

机器学习如何工作

加州大学伯克利分校(链接位于 IBM 外部)将机器学习算法的学习系统分为三个主要部分。

  1. 决策过程:通常,机器学习算法用于进行预测或分类。 算法可根据一些已标注或未标注的输入数据,生成有关数据中模式的估算。
  2. 误差函数:误差函数用于评估模型的预测情况。 如果存在已知示例,那么误差函数可以进行比较,评估模型的准确性。
  1. 模型优化过程:如果模型能够更好地拟合训练集中的数据点,那么会调整权重,减少已知示例和模型估算之间的差异。 该算法将重复此"评估并优化"过程,自主更新权重,直到满足准确性阈值为止。   
机器学习方法

机器学习模型主要分为三大类。

监督式机器学习            

监督式学习也称为监督式机器学习,它使用标注数据集来训练算法,以便准确进行数据分类或预测结果。 将输入数据传入模型后,该模型会调整权重,直到适当拟合为止。 这是交叉验证过程的一部分,可确保模型避免过拟合欠拟合。    监督式学习可帮助组织大规模解决各种现实问题,例如将垃圾邮件归类到收件箱的单独文件夹中。 监督式学习中使用的方法包括神经网络、朴素贝叶斯、线性回归、逻辑回归、随机森林和支持向量机 (SVM) 等。

无监督机器学习

无监督学习也称为无监督机器学习,使用机器学习算法,分析未标注的数据集并将这些数据集形成聚类。 这些算法可发现隐藏的模式或数据分组,无需人工干预。 这种方法能够发现信息的相似性和差异,因此是探索性数据分析、交叉销售策略、客户群细分、图像和模式识别的理想之选。 通过降维过程,它还可用于减少模型中的特征数量。 主成分分析 (PCA) 和奇异值分解 (SVD) 是无监督学习中两种常用的方法。 无监督学习中使用的其他算法包括神经网络、k 均值聚类和概率聚类方法。

半监督机器学习 

半监督学习是监督式学习和无监督学习的巧妙结合。 在训练期间,它使用较小的标注数据集,以指导从较大的未标注数据集进行分类和特征提取。 半监督学习可以解决因标注数据不足而无法采用监督式学习算法的问题。 如果标注足够的数据成本太高,也可以使用这种方法。 

要深入了解这些方法之间的差异,请参阅"监督式学习与无监督学习:有何区别?"

强化机器学习

强化机器学习是一种机器学习模型,类似于监督式学习,但不使用样本数据对算法进行训练。  这种模型通过不断试错进行学习。 它通过强化一系列成功结果,为特定问题开发最佳建议或策略。

赢得 2011 年 Jeopardy! 挑战赛的 IBM Watson® 系统便是强化机器学习的绝佳示例。 该系统使用强化学习,决定何时尝试回答(或提问),选择板上的哪个方块,以及下多少赌注,尤其是在双赌题中。  

了解有关强化学习的更多信息。          

常用机器学习算法

目前常用的机器学习算法有很多。 其中包括:

  • 神经网络: 神经网络模拟人脑的工作方式,包含大量相互链接的处理节点。  神经网络擅长模式识别,在自然语言翻译、图像识别、语音识别和图像创建等应用领域发挥着重要作用。
  • 线性回归: 这种算法用于根据不同值之间的线性关系来预测数值。  例如,该方法可用于根据某个地区的历史数据预测房价。
  • 逻辑回归: 这种监督式学习算法可对分类响应变量进行预测,例如,对问题回答"是/否"。 它可用于垃圾邮件分类和生产线质量控制等应用场景。
  • 聚类: 通过使用无监督学习,聚类算法可以识别数据中的模式,从而对其进行分组。 计算机可通过识别人类往往会忽视的数据项之间的差异,为数据科学家提供帮助。
  • 决策树: 决策树既可用于预测数值(回归),也可用于将数据归入不同类别。 决策树使用链接决策的分支序列,可以用树状图表示。 决策树与神经网络的黑盒属性不同,易于验证和审计,这也是其优点之一。
  • 随机森林: 在随机森林中,机器学习算法通过组合多个决策树的结果来预测值或类别。 
现实世界中的机器学习用例

以下只是我们日常可能碰到的机器学习的几个例子:

语音识别:也称为自动语音识别 (ASR)、计算机语音识别或语音转文本,能够使用自然语言处理 (NLP) 功能,将人类语音转变为书面格式。 许多移动设备都在系统中包含了语音识别功能,用于执行语音搜索(如 Siri),或者用于改进文本信息的辅助功能。

客户服务:在客户服务领域,在线聊天机器人正逐步取代人工客服,改变了我们对网站和社交媒体平台中客户互动的看法。    聊天机器人可以回答有关运货等主题的常见问题 (FAQ),或者提供个性化建议、交叉销售产品或为用户建议尺码。 示例包括电子商务网站上的虚拟客服、使用 Slack 和 Facebook Messenger 的消息传递机器人,以及通常由虚拟助理和语音助手完成的任务。

计算机视觉:这种 AI 技术使计算机能够从数字图像、视频和其他可视输入中获取有意义的信息,然后采取相应的行动。 计算机视觉由卷积神经网络提供支持,应用于社交媒体行业的照片标记、医疗保健行业的放射成像以及汽车行业的自动驾驶汽车等领域。 

推荐引擎:AI 算法通过使用过去的消费行为数据,帮助发现可用于制定更有效的交叉销售策略的数据趋势。 在线零售商使用这种方法,在结账流程中向客户推荐相关的产品。

自动股票交易:旨在优化股票投资组合,AI 驱动的高频交易平台每天可处理数千乃至数百万笔交易,而无需人工干预。

欺诈检测:银行和其他金融机构可以使用机器学习来甄别可疑交易。  监督式学习可以使用有关已知欺诈交易的信息来训练模型。 异常检测可以识别看起来异乎寻常而且需要进一步调查的交易。

机器学习面临的挑战

随着机器学习技术的不断进步,它肯定会让我们的工作更加轻松。 然而,在企业中实施机器学习时,也会引发一些有关 AI 技术伦理道德方面的顾虑。 其中一些包括:

技术奇点

虽然这个话题深深吸引了公众的关注,但许多研究人员并不担心有关 AI 会在不远的将来超越人类智慧的想法。 技术奇点也称为强 AI 或超级智能。 哲学家 Nick Bostrum 将超级智能定义为"在几乎所有领域(包括科学创造力、一般智慧和社交技能)都远超最优秀人类大脑的任何智力。" 尽管目前社会上并不急于实现超级智能,但当我们考虑使用自主系统(如自动驾驶汽车)时,这个想法会引发一些有趣的问题。 认为无人驾驶汽车从不会发生事故是不现实的,那么一旦发生事故,该由谁来承担赔偿责任? 我们是应该继续开发自动驾驶汽车,还是只将这项技术限于可帮助人们安全驾驶的半自动驾驶汽车? "陪审团"仍未有定论,但这些都是随着开创性的 AI 技术的发展而产生的道德争论。

AI 对工作的影响

虽然公众对人工智能的认识大都集中于失业问题,但这种担忧可能会发生转变。 借助各种颠覆性的新技术,我们看到了市场对特定工作岗位的需求发生了变化。 例如,在汽车行业,包括 GM 在内的许多制造商正将重心转向电动汽车的生产,以便与绿色计划接轨。 能源行业不会消失,但能量的来源正在从燃油经济转向电力。

同样,人工智能也会导致工作需求转移到其他领域。 AI 系统需要由人员帮助管理。 此外,仍需要有人来解决行业内最有可能受就业需求变化影响的复杂问题,如客户服务。 人工智能带来的最大挑战及其对就业市场的影响,将会帮助人们转而投身于市场所需要的新岗位。

隐私

隐私通常在数据隐私、数据保护和数据安全的背景下讨论。 近年来,这些担忧推动政策制定者取得了更大的进展。 例如,在 2016 年,为了保护欧盟和欧洲经济区的个人数据,让人们能够更有效地控制自己的数据,欧盟出台了《通用数据保护条例》(GDPR) 法案。 在美国,有些州制定相关政策,如《加州消费者隐私法案》(CCPA) ,该法案于 2018 年颁布,要求企业向消费者通报数据收集情况。 诸如此类的立法迫使企业重新思考该如何存储和使用可识别个人身份的信息 (PII)。 因此,随着企业希望消除任何漏洞,杜绝一切监视、黑客攻击和网络攻击机会,在安全方面进行投资已成为他们日益重要的优先事项。

偏见和歧视

一些机器学习系统中的偏见和岐视事例引发了许多关于人工智能使用的伦理道德问题。 当训练数据本身可能由有偏见的人工过程生成时,我们该如何防止偏见和歧视? 虽然企业的自动化工作通常都出于善意,但路透社(链接位于 IBM 外部)的一篇报道着重强调了在招聘实践中使用 AI 所产生的一些不可预测的后果。 在实现流程自动化和简化流程的工作中,Amazon 无意间对某些技术职位的求职者形成了性别偏见,最终不得不放弃该项目。《哈佛商业评论》(链接位于 IBM 外部)围绕招聘实践中 AI 的使用提出了其他尖锐问题,例如,在评估某个职位的候选者时,应使用哪些数据。

偏见和岐视并不局限于人力资源职能领域;它们也可能出现在其他许多应用中,例如人脸识别软件、社交媒体算法,等等。

随着企业日益意识到 AI 的风险,围绕 AI 伦理和价值观的讨论也变得越来越活跃。 例如,IBM 已经淘汰了通用的人脸识别和分析产品。 IBM CEO Arvind Krishna 写道:"IBM 坚决反对并且不会纵容使用任何技术(包括其他供应商提供的人脸识别技术)进行大规模监视、种族分析、侵犯基本人权和自由,或用于和我们的价值观以及信任与透明原则不符的任何目的。"

问责制

由于目前还没有重大立法来规范 AI 实践,因此也就没有真正的执行机制来确保践行符合道德规范的 AI。 目前激励企业遵守 AI 道德规范的因素主要是为了避免不符合道德规范的 AI 系统对利润造成负面影响。 为了填补这方面的空白,道德学家与研究人员开始合作研究道德规范框架,以指导社会中 AI 模型的构建和分发。 但是,目前这些框架只是起到了引导作用。 一些研究(链接位于 IBM 外部)(PDF, 1 MB) 表明,分散的责任加之缺乏对潜在后果的远见,不利于防止对社会造成危害。

阅读有关 IBM 在 AI 伦理方面所持立场的更多信息

相关解决方案
深度学习

设计复杂的神经网络。 在 IBM Watson Studio 中进行大规模实验,以部署优化的学习模型。

探索深度学习
预测性分析

分析数据并构建分析模型,预测未来结果。 揭示企业面临的风险和机遇。

探索预测性分析
使用自然语言处理构建应用

NLP 是一种人工智能技术,会说特定于企业的语言。 使用 IBM Watson Discovery 构建的解决方案在三年内实现了 383% 的投资回报率。

探索如何使用 NLP 构建应用
资源 2021 年企业中的 AI:通过数据创造商机

在过去几十年里,AI 技术迅猛发展。 了解当今企业如何实施 AI。

Gartner 数据科学和机器学习平台魔力象限报告

了解企业用于高效运行和管理 AI 模型的工具,以及如何通过技术为数据科学家赋能,帮助他们优化数据驱动的决策。

机器学习傻瓜书

探索机器学习如何不断地从数据学习并预测未来。

2023 年企业级对话式 AI 平台魔力象限报告

在《2023 年 Gartner® 企业对话式 AI 魔力象限》报告中,IBM 再次被评为领导者。

采取后续步骤

IBM Watson Studio on IBM Cloud Pak for Data 支持数据和 AI 平台上的端到端机器学习生命周期。 无论数据位于何处,您都可以构建、训练和管理机器学习模型,然后将它们部署到混合多云环境中的任何地方。探索如何构建、训练和管理机器学习模型,而无论数据位于何处;然后将模型部署到混合多云环境中的任何地方。

立即探索 IBM Cloud Pak for Data