DataOps 的主要目标包括:
- 协作: 促进参与数据管道的不同团队(例如工程师、分析师、科学家和业务利益相关者)之间开展更有效的沟通。
- 整合:无缝连接整个流程中使用的各种工具,例如 ETL(提取-转换-加载)平台或商业智能解决方案。
- 自动化:实施自动化测试程序,确保结果准确,同时最大限度地减少流程每个阶段的人工干预。
为在组织的现有基础设施内有效达成这些目标,需综合运用多种技术,包括用于跟踪代码或配置文件更改的版本控制系统(Git)、持续集成/持续部署(CI/CD)管道;借助 Docker 等工具实现容器化;运用编排框架,如 Kubernetes;采用监控解决方案、警报服务等。