¿Qué es un almacén de características?

En el machine learning, una característica es una variable o atributo derivado de datos sin procesar que se utiliza como entrada para que los modelos generen predicciones. Representan aspectos medibles del comportamiento, el contexto o el estado dentro de los datos, como la frecuencia de compra o la ubicación geográfica.

Por ejemplo, en la detección del fraude, los modelos se basan en señales seleccionadas en lugar de en datos sin procesar. Las características pueden incluir el número de transacciones de la última semana o la ubicación de compras recientes: representaciones diseñadas para captar patrones que puedan indicar un comportamiento fraudulento.

Las características (a menudo denominadas características de ML) se generan a partir de múltiples fuentes de datos y se organizan en conjuntos de datos que dan soporte tanto a los flujos de trabajo de ciencia de datos como a los de machine learning. A continuación, estas características se utilizan para entrenar modelos, evaluar métricas e implementar modelos en sistemas de producción.

Los modelos de machine learning operan sobre representaciones numéricas de los datos. Cada punto de datos se expresa como un conjunto de valores de características, a menudo en forma de vector, donde cada dimensión corresponde a un atributo específico. Mientras que algunos tipos de datos estructurados son intrínsecamente numéricos, como la información contable, otros (tales como el texto, las imágenes o el audio) son no estructurados y deben transformarse en una forma numérica estructurada antes de que un modelo pueda utilizarlos.

Una forma de transformar los datos no estructurados es mediante la ingeniería de características, en la que los datos sin procesar se convierten en entradas estructuradas y legibles por máquina utilizando técnicas como la agregación, el filtrado y la codificación. La ingeniería de características también incluye la extracción de características (en la que los algoritmos derivan representaciones significativas a partir de los datos sin procesar) y la selección de características (que identifica las variables más relevantes).

Dado que los flujos de trabajo de machine learning abarcan tanto el entrenamiento como la inferencia de modelos, las características se calculan a partir tanto de datos históricos como de datos nuevos en producción. Mantener la alineación requiere coordinación entre las canalizaciones de datos, las canalizaciones de características y los sistemas de ingeniería de datos, un reto para el que están diseñados los almacenes de características.

En la práctica, los almacenes de características dan soporte a cada etapa del ciclo de vida del machine learning:

• Ingeniería y desarrollo de características: proporcionan un entorno estructurado para definir nuevas características, lo que permite a los equipos compartir características, reutilizarlas y evitar implementaciones duplicadas.

• Entrenamiento de modelos: proporcionan datos históricos de características y datos de entrenamiento, garantizando que los modelos se entrenen con conjuntos de datos fiables.

• Inferencia y servicio: proporcionan valores de características en tiempo real a través de sistemas de almacenes de características en línea, lo que permite predicciones de baja latencia.

• Monitorización e iteración: realizan un seguimiento de las métricas, detectan sesgos (o distribuciones desiguales de los datos) y supervisan la calidad de las características dentro de los flujos de trabajo.

El rendimiento de los modelos de machine learning, que sustentan muchos de los sistemas actuales de inteligencia artificial (IA), depende directamente de la calidad de sus variables de entrada. Lo que entra determina lo que sale.

Los valores de las características determinan cómo interpretan los modelos los patrones en los datos de entrenamiento y cómo aplican esos patrones a los nuevos datos. Esta coordinación mejora el rendimiento de los modelos al lograr dos cosas: gestionar los datos de las características a escala y, al mismo tiempo, garantizar la coherencia entre el entrenamiento y la inferencia.

A medida que los sistemas de machine learning se escalan, la gestión de los datos de características se vuelve cada vez más compleja. Las características se generan y circulan a lo largo de múltiples flujos de trabajo, a menudo por parte de equipos de ingeniería de datos y de ML que trabajan en entornos distribuidos.

Sin un sistema centralizado, surgen características duplicadas y definiciones de características incoherentes. Los equipos pueden calcular la misma característica utilizando una lógica ligeramente diferente, lo que da lugar a incoherencias dentro de los conjuntos de datos y los procesos. Estas incoherencias dificultan la reutilización de las características e introducen riesgos en el desarrollo de los modelos.

Durante el entrenamiento del modelo, las características se calculan a partir de datos históricos y se organizan en conjuntos de datos de entrenamiento. Una vez implementadas, esas mismas definiciones de características deben aplicarse a los nuevos datos y recalcularse para la inferencia, a menudo en entornos en tiempo real o casi en tiempo real.

Incluso pequeñas diferencias en la forma de calcular las características pueden introducir inconsistencias entre las entradas de entrenamiento y las de producción (lo que a menudo se denomina sesgo entre entrenamiento y servicio), lo que puede provocar un deterioro del rendimiento del modelo.

Los almacenes de características abordan estos retos centralizando las definiciones de características y estandarizando sus transformaciones. Las características se definen una sola vez, se almacenan en un sistema compartido y se accede a ellas a través de una interfaz de programación de aplicaciones (API) o de un kit de desarrollo de software (SDK). Esta coordinación, gestionada a menudo a través de un registro de características, permite a los equipos reutilizar características en múltiples flujos de trabajo, modelos y casos de uso.

La arquitectura del almacén de características conecta los datos entre varias etapas clave del machine learning, entre las que se incluyen:

• Ingesta y transformación
• Capas de almacenamiento
• Servicio de características
• Registro de características y metadatos
• Orquestación y gestión del ciclo de vida

Los datos se recopilan de múltiples fuentes y se procesan a través de canalizaciones de ingesta. Estas canalizaciones aplican transformaciones de datos y características para convertir los datos sin procesar en valores de características.

El cálculo de características puede realizarse de múltiples formas: procesamiento por lotes de datos recopilados previamente; canalizaciones de transmisión para actualizaciones en tiempo real; y cálculo de características bajo demanda en el momento de la inferencia. Estas transformaciones suelen implementarse utilizando Python, lenguaje de consulta estructurado (SQL) u otros sistemas dentro de flujos de trabajo automatizados.

Los almacenes de características utilizan un modelo de almacenamiento dual que consta de un almacén sin conexión y un almacén en línea. El almacén sin conexión, o almacén de características sin conexión, mantiene los datos históricos de las características y respalda el entrenamiento de modelos al proporcionar acceso a los datos de entrenamiento y a los conjuntos de datos de entrenamiento. Por lo general, se crea sobre almacenes de datos o data lakes.

El almacén en línea, o almacén de características en línea, mantiene los valores actuales de las características y permite la consulta de baja latencia durante la inferencia del modelo. Esta separación entre los almacenes sin conexión y en línea permite tanto la escalabilidad como el rendimiento en diferentes cargas de trabajo.

El servicio de características es el proceso de proporcionar valores de características a los modelos de machine learning. Una capa de API o SDK permite a las aplicaciones recuperar características entre entornos, garantizando que las definiciones de características permanezcan alineadas. También ayuda a minimizar el sesgo entre el entrenamiento y el servicio, y garantiza que los modelos reciban valores de características actualizados al realizar predicciones.

Un registro de características actúa como sistema centralizado de registro de las definiciones de características. Almacena metadatos, información de linaje y de versiones, lo que proporciona visibilidad sobre cómo se crean las características y dónde se utilizan. Esta trazabilidad facilita el descubrimiento de características reutilizables, la aplicación del gobierno y el control de acceso, y el seguimiento de las dependencias dentro de los flujos de trabajo.

Los almacenes de características orquestan los flujos de trabajo y los procesos a lo largo de todo el ciclo de vida de las características. Entre las tareas habituales se incluyen la automatización del cálculo de características, la gestión de operaciones de relleno para datos históricos de características, el recálculo de características cuando cambian las definiciones y la identificación de características duplicadas u obsoletas. La orquestación, por lo tanto, garantiza que los flujos de características sigan siendo fiables y escalables en toda la plataforma de datos.

Aunque las implementaciones varían, la mayoría de los almacenes de características proporcionan un conjunto coherente de capacidades que van más allá de su arquitectura central, lo que permite flujos de trabajo de machine learning escalables y fiables.

En conjunto, estas capacidades definen cómo se gestionan los datos de características en los flujos de trabajo de machine learning. También reflejan cómo encajan los almacenes de características dentro de una arquitectura de datos más amplia.

Los sistemas de datos tradicionales (como los almacenes de datos y otros repositorios) están diseñados para procesar y mover datos por toda la organización. Sin embargo, estos datos no están intrínsecamente preparados para el machine learning.

Los almacenes de características se basan en esta base organizando los datos de características en entradas reutilizables para los modelos de machine learning, y estandarizando la forma en que se definen, calculan y proporcionan las características en las fases de desarrollo y producción.

Los almacenes de características ofrecen una serie de ventajas prácticas que mejoran la forma en que se desarrollan y mantienen los sistemas de machine learning.

• Mayor eficiencia en el desarrollo de modelos: las definiciones de características reutilizables reducen la necesidad de volver a crear características para cada nuevo proyecto, lo que permite a los equipos centrarse en el diseño de modelos en lugar de en la preparación de datos.

• Coherencia entre los modelos de machine learning: los flujos de características estandarizados garantizan que las características se calculen de la misma manera durante el entrenamiento y la inferencia, lo que reduce el riesgo de sesgos entre el entrenamiento y la puesta en servicio.

• Mayor colaboración entre equipos: los datos de características centralizados permiten a los científicos de datos, a los ingenieros de datos y a los equipos de ML compartir características y trabajar desde un sistema de registro común (SOR).

• Gobierno y trazabilidad: los almacenes de características introducen un SOR estructurado para las definiciones de características, lo que facilita la comprensión de cómo se definen y utilizan las características en los distintos modelos, a la vez que se aplican estándares coherentes.

• Compatibilidad con el machine learning en tiempo real: los almacenes de características permiten un acceso de baja latencia a los valores de las características a través de sistemas de almacenamiento de características en línea, lo que da soporte a casos de uso como la hiperpersonalización y los motores de recomendación.

• Flujos de trabajo escalables y repetibles: las canalizaciones automatizadas de características y la orquestación dan soporte a las operaciones de machine learning (MLOps). Esto permite a las organizaciones escalar los sistemas de machine learning entre equipos y casos de uso.

Los almacenes de características también permiten un servicio de características de alto rendimiento mediante capas de almacenamiento optimizadas y sistemas de clave-valor como Redis, que suelen implementarse como servicios gestionados en memoria en las plataformas de datos modernas. Este enfoque ayuda a garantizar que los modelos recuperen valores de características actualizados de manera eficiente.

La elección de un almacén de características depende de la arquitectura de datos, la infraestructura y el grado de madurez en machine learning de la organización. Entre las consideraciones habituales se incluyen:

• Integración con las plataformas de datos existentes
• Opciones de código abierto y gestionadas
• Requisitos arquitectónicos y cargas de trabajo
• Gobierno y confianza

Los almacenes de características deben alinearse con los flujos de datos, los almacenes de datos, los data lakes y los sistemas de plataformas de datos más amplios existentes. Sin embargo, la integración de las canalizaciones de características en los flujos de trabajo establecidos a menudo requiere refactorizar las transformaciones de datos y coordinar a los distintos equipos.

Como resultado, las organizaciones suelen comenzar evaluando cómo se integra un almacén de características con herramientas existentes como Snowflake, Databricks y servicios de AWS como SageMaker Feature Store. A menudo, los almacenes de características se integran como parte de sistemas MLOps más amplios que conectan la ingeniería de datos y la implementación de modelos¹.

Las implementaciones de los almacenes de características varían considerablemente, y las organizaciones deben buscar continuamente un equilibrio entre el rendimiento, la escalabilidad y la complejidad operativa². Los marcos de código abierto para almacenes de características, como Feast, permiten a las empresas crear y gestionar sus propias canalizaciones de características e infraestructura, mientras que plataformas como Tecton ofrecen soluciones totalmente gestionadas y listas para la producción.

Sin embargo, algunas organizaciones optan por desarrollar sus propias plataformas de machine learning de principio a fin, como Michelangelo de Uber, que incluyen la funcionalidad de almacén de características como parte de un sistema más amplio. En última instancia, la decisión de crear o adoptar un almacén de características depende de la experiencia interna y de los requisitos de escalabilidad a largo plazo.

Los requisitos arquitectónicos desempeñan un papel fundamental. Algunos casos de uso requieren la entrega de características en tiempo real o con baja latencia, mientras que otros dependen del procesamiento por lotes o del cálculo de características bajo demanda. Los requisitos de alto rendimiento también imponen exigencias significativas a la infraestructura a medida que aumentan los volúmenes de datos.

Compatibilizar tanto el proceso de datos históricos como la inferencia en tiempo real se vuelve complejo cuando se trata de mantener la coherencia entre los valores de las características sin conexión y en línea. Las investigaciones destacan cómo el diseño de los almacenes de características suele estar impulsado por estos requisitos de carga de trabajo, señalando cuestiones como la latencia, la escalabilidad y la exactitud en un momento dado³.

El gobierno es igualmente importante. Los almacenes de características operan con datos de características compartidos, por lo que las organizaciones necesitan una visibilidad clara de cómo se definen, prueban y utilizan las características.

Dado que los datos de características se comparten entre equipos, las organizaciones deben aplicar controles para evitar la fuga de datos y garantizar que las características se calculen de forma coherente. Los marcos de gobierno formales pueden respaldar la coherencia, el linaje y el cumplimiento normativo en todas las cadenas de características⁴, lo que ayuda a mantener la confianza en los sistemas de machine learning.