En una canalización de ciencia de datos, hay muchos pasos por los que un equipo de ciencia de datos debe pasar para construir un modelo predictivo. Incluso los equipos experimentados de científicos de datos e ingenieros de ML pueden beneficiarse de la mayor velocidad y transparencia que ofrece AutoML. Un científico de datos debe comenzar con una hipótesis, recopilar el conjunto de datos correcto, probar la visualización de datos, diseñar características adicionales para aprovechar toda la señal disponible, entrenar un modelo con hiperparámetros (enlace externo a ibm.com) y, en el caso del deep learning más avanzado, debe diseñar la arquitectura óptima para una red neuronal profunda, a ser posible en una GPU si dispone de ella.

Ingeniería de características automatizada

Una característica de datos es una parte de los datos de entrada a un modelo de machine learning, y la ingeniería de características se refiere al proceso de transformación en el que un científico de datos obtiene nueva información a partir de los datos existentes.La ingeniería de características es uno de los procesos clave que añaden valor en un flujo de trabajo de ML, y las buenas características son la diferencia entre un modelo con un rendimiento aceptable y un modelo con un rendimiento brillante. Estas transformaciones matemáticas de los datos sin procesar se leen en el modelo y constituyen el núcleo del proceso de machine learning.La ingeniería de características automatizada (AFE) (enlace externo a ibm.com) es el proceso de explorar el espacio de las combinaciones viables de características de forma mecánica, en lugar de manual.

La ingeniería manual de características es una alquimia moderna que tiene un gran coste en términos de tiempo: la creación de una sola característica a menudo puede llevar horas, y el número de características necesarias para una puntuación de precisión mínima, por no hablar de una línea de base de precisión a nivel de producción, puede ascender a cientos. Al automatizar la exploración de un espacio de características, AutoML reduce de días a minutos el tiempo que un equipo de científicos de datos dedica a esta fase.

Reducir las horas de intervención manual de un científico de datos no es el único beneficio de la ingeniería de características automatizada.Las características generadas suelen ser claramente interpretables.En sectores estrictamente regulados como la sanidad o las finanzas, esta explicabilidad es importante porque reduce las barreras a la adopción de la IA a través de la interpretabilidad. Además, un científico o analista de datos se beneficia de la claridad de estas características porque hacen que los modelos de alta calidad sean más convincentes y ejecutables. Las características generadas automáticamente también tienen el potencial de encontrar nuevos KPI para que una organización los monitorice y actúe en consecuencia. Una vez que un científico de datos ha completado la ingeniería de características, tiene que optimizar sus modelos con una selección estratégica de características.

Optimización automatizada de hiperparámetros

Los hiperparámetros son una parte de los algoritmos de machine learning que se entienden mejor a través de analogías: actúan como palancas para ajustar con precisión el rendimiento del modelo. No obstante, los ajustes incrementales tienen un impacto enorme. En el modelado científico de datos a pequeña escala, los hiperparámetros pueden establecerse fácilmente a mano y optimizarse por ensayo y error.

Para las aplicaciones de deep learning, el número de hiperparámetros crece exponencialmente, lo que hace que su optimización supere las capacidades de un equipo de ciencia de datos para llevarla a cabo de forma manual y oportuna. La optimización automatizada de hiperparámetros (HPO) (enlace externo a ibm.com) libera a los equipos de la gran responsabilidad de explorar y optimizar todo el espacio de eventos para hiperparámetros y, en su lugar, permite a los equipos iterar y experimentar con características y modelos.

Otro punto fuerte de la automatización del proceso de machine learning es que ahora los científicos de datos pueden centrarse en el porqué de la creación de modelos en lugar del cómo.Teniendo en cuenta las cantidades extremadamente grandes de datos de que disponen muchas empresas y el abrumador número de preguntas que pueden responderse con estos datos, un equipo de analítica puede prestar atención a qué aspectos del modelo deben optimizar, como el clásico problema de minimizar los falsos negativos en las pruebas médicas.

Búsqueda de arquitectura neuronal

El proceso más complejo y lento del deep learning es la creación de la arquitectura neuronal.Los equipos de ciencia de datos dedican mucho tiempo a seleccionar las capas y los ritmos de aprendizaje adecuados que, al final, suelen ser solo para los pesos del modelo, como en muchos modelos lingüísticos.La búsqueda de arquitectura neuronal (NAS) (enlace externo a ibm.com) se ha descrito como "usar redes neuronales para diseñar redes neuronales" y es una de las áreas más obvias del ML que se beneficia de la automatización.

Las búsquedas NAS comienzan con la elección de las arquitecturas que se van a probar. El resultado de NAS viene determinado por la métrica con la que se juzga cada arquitectura. Hay varios algoritmos comunes para utilizar en una búsqueda de arquitectura neuronal. Si el número potencial de arquitecturas es pequeño, las elecciones para las pruebas pueden hacerse al azar. Los enfoques basados en gradientes, por los que el espacio de búsqueda discreto se convierte en una representación continua, han demostrado ser muy eficaces.Los equipos de ciencia de datos también pueden probar algoritmos evolutivos en los que las arquitecturas se evalúan al azar, y los cambios se aplican lentamente, propagando las arquitecturas de cadena hija que tienen más éxito mientras se eliminan las que no lo tienen.

Las búsquedas de arquitecturas neuronales son uno de los elementos clave de AutoML que prometen democratizar la IA. Sin embargo, estas búsquedas suelen conllevar una huella de carbono muy elevada.Aún no se ha realizado un examen de estas compensaciones, y la optimización del coste ecológico es un área de búsqueda en curso en los enfoques NAS.

El machine learning automatizado suena como una panacea de soluciones técnicas que una organización puede utilizar para sustituir a los costosos científicos de datos, pero en realidad, su uso requiere estrategias inteligentes para una organización.Los científicos de datos desempeñan funciones esenciales para diseñar experimentos, traducir los resultados en resultados empresariales y mantener el ciclo de vida completo de sus modelos de machine learning. Entonces, ¿cómo pueden los equipos multifuncionales hacer uso de AutoML para optimizar su uso del tiempo y acortar el tiempo para obtener valor de sus modelos?

El flujo de trabajo óptimo para incluir las API AutoML es aquel que las utiliza para paralelizar las cargas de trabajo y reducir el tiempo dedicado a tareas manuales intensivas. En lugar de dedicar días al ajuste de hiperparámetros, un científico de datos podría automatizar este proceso en varios tipos de modelos simultáneamente y, a continuación, comprobar cuál es el más eficaz.  

Además, hay características de AutoML que permiten que miembros del equipo con distintos niveles de conocimientos contribuyan ahora a la canalización de la ciencia de datos. Un analista de datos sin conocimientos de Python podría utilizar un kit de herramientas, como AutoAI en Watson Studio, para entrenar un modelo predictivo utilizando los datos que es capaz de extraer por sí mismo mediante una consulta. Gracias a AutoML, un analista de datos puede preprocesar los datos, crear una canalización de machine learning y producir un modelo totalmente entrenado que puede utilizar para validar sus propias hipótesis sin necesidad de la atención de un equipo completo de ciencia de datos.

Los investigadores y desarrolladores de IBM contribuyen al crecimiento y desarrollo de AutoML. El desarrollo continuo de productos con AutoAI en IBM Watson y el trabajo de los investigadores de IBM en Lale (enlace externo a ibm.com), una biblioteca automatizada de ciencia de datos de código abierto, son solo algunas de las formas en que IBM ayuda a crear la próxima generación de enfoques de IA. Aunque Lale es un proyecto de código abierto, en realidad es el núcleo de muchas de las capacidades de AutoAI. 

Para los equipos de ciencia de datos que trabajan con Python como el núcleo de su pila de ML, Lale ofrece una biblioteca semiautomatizada que se integra de manera fluida en las canalizaciones de scikit-learn (enlace externo a ibm.com), diferentes de auto-sklearn (enlace externo a ibm.com), o una biblioteca como TPOT (enlace externo a ibm.com). Lale va más allá de scikit-learn con la automatización, las comprobaciones de corrección y la interoperabilidad.Aunque se basa en el paradigma de scikit-learn, tiene un número creciente de transformadores y operadores de otras bibliotecas de Python y de bibliotecas en lenguajes como Java y R.