Importante:

IBM Cloud Pak® for Data La versión 4.7 alcanzará el fin de soporte (EOS) el 31 de julio de 2025. Para más información, consulte el anuncio de interrupción del servicio para la versión IBM Cloud Pak for Data 4.X.

Actualice a IBM Software Hub Versión 5.1 antes de que IBM Cloud Pak for Data Versión 4.7 alcance el fin de soporte. Para más información, consulte Actualización de IBM Software Hub en la documentación de la versión IBM Software Hub 5.1.

Capacidades en Linux on IBM Z y IBM LinuxONE

Cuando se instala Cloud Pak for Data en las plataformas IBM Z e IBM LinuxONE , los usuarios de Watson Studio y Watson Machine Learning pueden crear, entrenar y desplegar modelos de aprendizaje automático.

Nota:

Las capacidades descritas para Watson Studio son distintas de una solución independiente denominada IBM Watson Machine Learning for z/OS ( WML para z/OS o WMLz). Watson Machine Learning for z/OS es una solución empresarial de aprendizaje automático que se ejecuta en IBM Z y Red Hat OpenShift Container Platform (OCP). Puede utilizar WML para z/OS como solución independiente o integrarla en la capacidad de IA de su empresa como plataforma escalable. Si desea más información, consulte WML para z/OS.

Revise lo siguiente para Cloud Pak for Data instalado en plataformas IBM Z o IBM LinuxONE :

Prestaciones

Utilizando los servicios Watson Studio, Watson Machine Learning y Analytics Engine powered by Apache Spark, los usuarios de Linux on IBM Z y LinuxONE pueden hacer lo siguiente:

  • Utilice la función de inyección de especificación de recursos (RSI) de Cloud Pak for Data para aplicar parches directamente a los pods asociados a implementaciones de Kubernetes, conjuntos de réplicas de StatefulSets,, controladores de réplicas, trabajos y cronjobs.

  • Descubra, limpie y transforme de forma interactiva los datos utilizando Data Refinery.

  • Cree proyectos para organizar activos como, por ejemplo, datos, entornos y cuadernos.

  • Utilice los datos que se cargan en un proyecto, o conéctese a los datos remotos.

  • Cree y entrene modelos de aprendizaje automático, o codifique funciones o scripts Python utilizando cuadernos Jupyter o Jupyter Lab.

  • Entrene modelos predictivos utilizando AutoAI, una herramienta gráfica en Watson Studio que analiza sus datos y utiliza algoritmos de datos, transformaciones y ajustes de parámetros para crear el mejor modelo predictivo. AutoAI muestra varios modelos potenciales como interconexiones candidatas de modelo y los clasifica en un marcador para que los revise. Guarde un conducto como un activo de modelo que pueda desplegar.

  • Cree espacios de despliegue para organizar los recursos para desplegar modelos y ejecutar funciones y scripts Python .

  • Cree trabajos para ejecutar cuadernos o despliegues.

  • Evalúe los despliegues utilizando Watson OpenScale.

  • Cree tiempos de ejecución de Python 3.9 en Watson Studio.

  • Cree y ejecute aplicaciones Spark en una instancia de Analytics Engine powered by Apache Spark en Cloud Pak for Data. Las versiones de Spark y de idioma soportadas incluyen:

    • Spark 3.3 & Python 3.9
    • Spark 3.2 & Python 3.9 (Las aplicaciones Spark con Spark 3.2 han quedado en desuso. Elija una aplicación Spark con Spark 3.3 en su lugar.)
    • Spark 3.3 & Python 3.10

    Para ejecutar trabajos Spark, consulte Iniciación a las aplicaciones Spark.

  • Aprovechamiento del acelerador de IA en chip IBM z16 en IBM Z y IBM LinuxONE:

    • Soporte para SnapML 1.9 y superior
    • Soporte para Tensorflow 2.7.2 y superior (vista previa técnica)

  • La copia de seguridad y la restauración son compatibles con Cloud Pak for Data en Linux on IBM Z y LinuxONE.

Infraestructuras soportadas

Cree activos utilizando estas populares infraestructuras de aprendizaje automático y software.

Python 3.9 tiempos de ejecución (runtime-22.1-py3.9) con estas infraestructuras:

  • scikit-learn 1.0.2
  • xgboost 1.5.2
  • snapml 1.13.1
  • tensorflow 2.7.2
  • pytorch 1.10.2
  • Opencv, visión antorcha

Python 3.9 tiempos de ejecución ( runtime_22.1-py3.9-nnpa ) con IBM z16 capacidades de acelerador de IA en chip en IBM Z y IBM LinuxONE:

  • snapml 1.13.1

  • tensorflow 2.7.2 (vista previa técnica)

  • runtime_22.1-py3.9-nnpa también da soporte a estas infraestructuras:

    • scikit-learn 1.0.2
    • xgboost 1.5.2
    • pytorch 1.10.2
    • Opencv, visión antorcha

Tiempos de ejecución de Python 3.10 (runtime-22.2-py3.10) con estas infraestructuras:

  • scikit-learn 1.1.1
  • xgboost 1.6.2
  • snapml 1.11.1
  • tensorflow 2.9.3
  • pytorch 1.12.1
  • Opencv, torchvision y lightgbm
  • AutoAI 0.1

Notas de infraestructura:

  • Snap ML 1.11.1 presenta Graph Feature Preprocessor, un preprocesador compatible con Scikit-learn que permite una extracción de características escalable y en tiempo real a partir de datos estructurados en gráficos. El preprocesador de característica de gráfico puede generar un conjunto muy rico de características de borde analizando la topología de gráfico y extrayendo subestructuras significativas. Estas características adicionales pueden aumentar significativamente el poder predictivo de los modelos de aprendizaje automático en entornos prácticos, como cuando se supervisan transacciones sospechosas y actividades de cuentas para el blanqueo de dinero.
  • Este release no da soporte a las especificaciones de software rt23_1 para IBM Z e IBM LinuxONE. Para más detalles, consulte Infraestructuras soportadas

Almacenamiento soportado

Para los clústeres instalados en Linux on IBM Z y LinuxONE,, estas soluciones de almacenamiento son compatibles:

  • Openshift Container Storage (OCS) y OpenShift Container Platform versión 4.9 o posterior, o Openshift Data Foundation (ODF). Requiere OpenShift Container Platform versión 4.8 o posterior.
  • Network File System (NFS)
  • IBM Storage Scale Container Native

Restricciones para los usuarios de Linux on IBM Z y LinuxONE

Cuando se instala Cloud Pak for Data en las plataformas Linux on IBM Z y LinuxONE, los usuarios de Watson Studio y Watson Machine Learning no podrán utilizar, ejecutar ni desplegar los siguientes tipos de activos:

  • Activos formados mediante RStudio, como aplicaciones RShiny o activos basados en el framework R
  • Activos basados en estos tiempos de ejecución: Spark, Python 3.7 o ONNX 1.8.1
  • Activos de Deep Learning creados con versiones en desuso o en desuso de infraestructuras; por ejemplo, activos creados con infraestructuras TensorFlow 2.4 o PyTorch 1.7

Limitaciones:

  • Al intentar utilizar, entrenar o desplegar recursos no compatibles en Cloud Pak for Data en una plataforma Linux on IBM Z o LinuxONE, se producirá un error.
  • En un clúster de Cloud Pak for Data actualizado donde la versión del release es 4.7.0 después de la actualización y el tiempo de ejecución del cuaderno Jupyter es "Runtime 22.1 en Python 3.9", el valor soportado más alto para version proporcionado en el objeto wml_credential para la autenticación utilizando el cliente python Watson Machine Learning es 4.5. Para utilizar la versión más reciente del release, actualice Runtime 22.1 en Python 3.9.
  • La copia de seguridad y la restauración son compatibles con Cloud Pak for Data en Linux on IBM Z y LinuxONE. Sin embargo, actualmente los comandos de cpd-cli oadp deben ejecutarse desde una máquina x86_64.
  • La copia de seguridad de volumen fuera de línea no está soportada para IBM z y LinuxONE. Esta característica está en desuso y se eliminará en un futuro release.
  • cpdbr-agent no es compatible con Linux on IBM Z y IBM LinuxONE.
  • Con los tiempos de ejecución predeterminados, es posible que los modelos entrenados en otras plataformas e implantados en Linux on IBM Z y Linux ONE no funcionen como se espera. Una posible solución es desplegar el modelo en un tiempo de ejecución personalizado de Python.
  • El formato de entrada de ORC (Optimized Row Columnar) no está soportado para evaluar despliegues por lotes utilizando Watson OpenScale.
  • El formato de datos de archivo Parquet no está soportado como entrada para un experimento de serie temporal de AutoAI .
  • No se admite el procesamiento por lotes en Watson OpenScale utilizando IBM Analytics Engine con la clase de almacenamiento OpenShift Data Foundation (ODF). En su lugar, utilice NFS.
  • La ejecución del código generado para añadir datos desde una conexión en IBM Z puede provocar un error de kernel.

Utilización de un cuaderno generado por AutoAI fuera de Cloud Pak for Data

Para utilizar un cuaderno generado por AutoAI fuera de Cloud Pak for Data, utilice estos pasos para instalar los paquetes necesarios para Linux en zSystem.

  1. Instala Conda en el sistema operativo zLinux.

  2. Prepare las dependencias de instalación del paquete pyarrow 8.0.0 Python con Open-CE.

    Nota: Este paquete no está disponible en el canal conda zLinux .

    1. Cree un entorno conda.

      Nota:

      Este ejemplo utiliza /opt como directorio de trabajo para el canal conda local.

       

      cd /opt
conda create -y -n pyarrow-env
conda activate pyarrow-env
conda install -y conda-build
conda install -y -c open-ce open-ce-builder python=3.10

    2. Cree un clon Git del proyecto Open-CE y extraiga el release en la rama open-ce-r1.7 .

      git clone -b open-ce-r1.7 https://github.com/open-ce/open-ce.git

    3. Instale un paquete de parches con el mandato siguiente:

      yum install patch

    4. Vaya al proyecto Open-CE y cree las dependencias de pyarrow.

      cd open-ce
open-ce build env --python_versions 3.10 --build_types cpu envs/arrow-env.yaml

    5. Compruebe la carpeta condabuild para encontrar las dependencias de pyarrow

      ls -1 condabuild/
channeldata.json
index.html
linux-s390x
noarch
opence-conda-env-py3.10-cpu-openmpi.yaml
**************************************************
ls -1 condabuild/linux-s390x/
abseil-cpp-20210324.2-he499f12_0.conda
arrow-cpp-8.0.0-py310h63c5c10_2_cpu.conda
arrow-cpp-proc-8.0.0-cpu.conda
boost-cpp-1.65.1-hebff1d6_4.conda
current_repodata.json
current_repodata.json.bz2
gflags-2.2.2-heb72281_0.conda
glog-0.5.0-he499f12_0.conda
grpc-cpp-1.41.0-hae1bb83_pb3.19_4.conda
index.html
libboost-1.65.1-h896dd0f_4.conda
libevent-2.1.10-h8df5d65_2.conda
libthrift-0.13.0-h333d347_6.conda
libutf8proc-2.6.1-h63165b7_0.conda
orc-1.7.4-hb4085e4_1.conda
pyarrow-8.0.0-py310he9dcaf6_2_cpu.conda
rapidjson-1.1.0-h4cc523a_0.conda
re2-2020.11.01-hcac3278_0.conda
repodata_from_packages.json
repodata_from_packages.json.bz2
repodata.json
repodata.json.bz2
thrift-compiler-0.13.0-h333d347_6.conda
thrift-cpp-0.13.0-6.conda

    6. Desactive el entorno virtual conda pyarrow-env y vuelva al directorio /opt .

  3. Prepare las dependencias de instalación del paquete Tensorflow Python con Open-CE.

    Nota: Este paquete no está disponible en el canal conda zLinux .
    1. Cree un entorno conda.
      cd /opt
conda create -y -n tensorflow-env
conda activate tensorflow-env
conda install -y conda-build
conda install -y -c open-ce open-ce-builder python=3.10
    2. Vaya al proyecto Open-CE y cree las dependencias Tensorflow .
      cd /opt/open-ce
open-ce build env --python_versions 3.10 --build_types cpu envs/tensorflow-env.yaml
    3. Compruebe la carpeta condabuild para encontrar las dependencias tensorflow-cpu.
      ls -1 condabuild/
channeldata.json
icons
index.html
linux-s390x
noarch
opence-conda-env-py3.10-cpu-openmpi.yaml
******************************************************
ls -1 condabuild/linux-s390x/
bazel-5.1.1-h447df78_2.conda
clang-14.0.6-0.conda
clang-14-14.0.6-default_hc034eec_0.conda
clangdev-14.0.6-default_hc034eec_0.conda
clang-format-14.0.6-default_hc034eec_0.conda
clang-format-14-14.0.6-default_hc034eec_0.conda
clang-tools-14.0.6-default_hc034eec_0.conda
clangxx-14.0.6-default_h050e89a_0.conda
current_repodata.json
current_repodata.json.bz2
dm-tree-0.1.5-py310h17e39e8_5.conda
flatbuffers-2.0.0-he499f12_0.conda
googleapis-common-protos-1.52.0-py310hb7eb58e_0.conda
googleapis-common-protos-grpc-1.52.0-h785a63c_0.conda
h5py-3.6.0-py310ha7896db_0.conda
index.html
libclang13-14.0.6-default_h99f1993_0.conda
libclang-14.0.6-default_hc034eec_0.conda
libclang-cpp-14.0.6-default_hc034eec_0.conda
libclang-cpp14-14.0.6-default_hc034eec_0.conda
libtensorflow-2.9.3-hd9d4759_cpu_pb3.19_4.conda
promise-2.3-py310h6d39d64_0.conda
pybind11-2.9.2-py310he3a6269_0.conda
pybind11-global-2.9.2-py310h0c46cd6_0.conda
repodata_from_packages.json
repodata_from_packages.json.bz2
repodata.json
repodata.json.bz2
scipy-1.8.1-py310h5fdd5b3_0.conda
tensorflow-addons-0.17.0-py310h88a663b_2_cpu.conda
tensorflow-addons-proc-0.17.0-cpu.conda
tensorflow-base-2.9.3-cpu_py310_pb3.19_4.conda
tensorflow-cpu-2.9.3-py310_1.conda
tensorflow-model-optimization-0.7.3-py310_2.conda
tensorflow-probability-0.17.0-py310_3.conda
tensorflow_select-1.0-cpu_2.conda
tensorflow-text-2.9.0-hf137b60_py310_pb3.19_3.conda

  4. Ejecute el mandato de índice conda en la carpeta condabuild.

    conda index condabuild

  5. Añada las líneas siguientes en el archivo ~/.condarc para utilizar la carpeta condabuild como canal de conda local.

    channels:
- /opt/open-ce/condabuild
- defaults

  6. Compruebe el canal Conda para encontrar el paquete de instalación pyarrow y tensorflow-cpu.

    conda search pyarrow
conda search tensorflow-cpu

Loading channels: done
# Name             Version       Build                 Channel             
pyarrow            8.0.0         py310he9dcaf6_2_cpu   condabuild 
(tensorflow) [root@recorder1 open-ce]# conda search tensorflow-cpu
Loading channels: done
# Name              Version           Build           Channel             
tensorflow-cpu      2.9.3             py310_1         condabuild          
(tensorflow) [root@recorder1 open-ce]#

  7. Desactive el entorno virtual conda tensorflow-env y vuelva al directorio /opt .

    conda deactivate
cd /opt

  8. Cree un entorno virtual Conda para la instalación de autoai y actívelo.

    conda create -y -n autoai python=3.10
conda activate autoai

  9. Cree el archivo requirements.linux-s390x.txt y añádale este paquete:

    cython
matplotlib
pandas>=0.24.2,<1.6
numpy>=1.20.3,<1.24
packaging
psutil
importlib-metadata
coverage
urllib3<2
xgboost>=1.5.1,<1.7
typing_extensions
pyarrow==8.0.0
scikit-learn>=1.0.2,<=1.1.1
tensorflow-cpu>=2.7.0,<2.10
joblib>=0.11
statsmodels<0.14
dill>=0.3.1.1
networkx>=2.5.1
py4j>=0.10.9,<0.10.10
jpype1>=1.3.0
simplejson==3.17.6
PyWavelets
pytz
traitlets<6

  10. Instale el archivo requirements.linux-s390x.txt .

    conda install -y --file requirements.linux-s390x.txt

  11. Cree el archivo requirements.linux-s390x.pypi.txt y añádale estos paquetes:

    gensim==4.1.2
pytest
pytest-cov
pep8
pytest-pep8
ibm-watson-machine-learning
mlxtend>=0.17.0
lale>=0.6.8,<0.8

  12. Instale el archivo requirements.linux-s390x.pypi.txt .

    pip install -r requirements.linux-s390x.pypi.txt

  13. Instale autoai-libs y autoai-ts-libs:

    pip install autoai-libs==1.15.2 --no-deps
pip install autoai-ts-libs==2.0.13 --no-deps

Más información

Despliegue y gestión de modelos y funciones

Tema principal: Proyectos