集成第三方机器学习引擎
可以集成外部机器学习服务引擎(例如 Microsoft Azure ML Studio、 Microsoft Azure ML Service 以及 Amazon SageMaker )来对模型进行评估。
您可以使用以下方法集成第三方引擎:
引擎绑定级别
列出部署并获取部署详细信息的能力。
部署预订级别
您必须以正确的格式对已订阅的部署进行评分,例如 IBM Watson Machine Learning 这种格式,并以相同的兼容格式接收输出结果。 您必须配置模型评估,使其能够处理输入和输出格式。
有效内容日志记录
用户应用程序触发的已部署模型的每个输入和输出必须存储在有效内容存储中。 有效内容记录的格式遵循前面有关部署预订级别的部分中所提及的相同规范。
这些记录在模型评估过程中用于计算偏差、解释结果及其他指标。 无法自动存储在用户站点上运行的交易。 该方法是模型评估过程中保护专有信息的一种方式。 请使用 Rest API 或 Python SDK 来处理安全数据。
实现此解决方案的步骤
- 了解定制机器学习引擎。
- 设置有效内容日志记录。
- 通过试用定制机器学习引擎示例中其中一个示例,设置定制机器学习引擎。