Creación de IA para empresas: modelos fundacionales Granite de IBM

Es un momento emocionante en IA para empresas. A medida que aplicamos la tecnología más ampliamente en áreas que van desde el servicio de atención al cliente hasta los recursos humanos y la modernización del código, la inteligencia artificial (IA) nos ayuda cada vez más a trabajar de forma más inteligente, no más dura. Y como apenas estamos al principio de la revolución de la IA para empresas, el potencial para mejorar la productividad y la creatividad es enorme.

Pero la IA actual es un campo increíblemente dinámico, y las plataformas de IA deben reflejar ese dinamismo e incorporar los últimos avances para satisfacer las exigencias de hoy y de mañana. Por eso en IBM seguimos añadiendo potentes nuevas capacidades a IBM watsonx, nuestro portfolio de productos de IA.

Hoy anunciamos nuestra última incorporación: una nueva familia de modelos fundacionales construidos por IBM que estará disponible en watsonx.ai, nuestro estudio de IA generativa, modelos fundacionales y machine learning. Denominados colectivamente "Granite", estos modelos fundacionales de varios tamaños aplican la IA generativa tanto al lenguaje como al código. Y así como el granito es un material resistente y polivalente con muchos usos en la construcción y la fabricación, en IBM creemos que estos modelos Granite aportarán un valor duradero a su negocio.

Pero ahora echemos un vistazo bajo el capó y expliquemos un poco cómo los creamos y cómo le ayudarán a llevar la IA al siguiente nivel en su negocio.

Desarrollados por IBM Research, los modelos Granite (Granite.13b.instruct y Granite.13b.chat) utilizan una arquitectura "Decoder", que es lo que sustenta la capacidad de los grandes modelos de lenguaje actuales para predecir la siguiente palabra de una secuencia.

Con 13 000 millones de modelos de parámetros, los modelos Granite son más eficientes que modelos más grandes, ya que se ajustan a una sola GPU V100-32GB. También pueden tener un impacto menor en el medio ambiente y al mismo tiempo rendir bien en tareas especializadas del dominio empresarial, como resúmenes, respuestas a preguntas y clasificación. Se aplican ampliamente en todos los sectores y admiten otras tareas de la PNL, como la generación de contenido, la extracción de conocimiento y la generación aumentada por recuperación (un marco para mejorar la calidad de la respuesta mediante la vinculación del modelo con fuentes de conocimiento externas) y el reconocimiento de entidades con nombre (identificar y extraer la información clave de un texto).

En IBM nos centramos en crear modelos que estén dirigidos a los negocios. La familia de modelos Granite no es diferente, por lo que los entrenamos en una variedad de conjuntos de datos (con un total de 7 TB antes del preprocesamiento, 2,4 TB después del preprocesamiento) para producir 1 billón de tokens, la colección de caracteres que tiene significado semántico para un modelo. Nuestra selección de conjuntos de datos se orientó a las necesidades de los usuarios empresariales e incluye datos de los siguientes ámbitos:

• Internet: datos genéricos de lenguaje no estructurado tomados de la internet pública
• Académico: datos técnicos no estructurados del lenguaje, centrados en la ciencia y la tecnología
• Código: conjuntos de datos de código no estructurados que abarcan diversos lenguajes de codificación
• Jurídico: datos de lenguaje no estructurados relevantes para la empresa extraídos de dictámenes jurídicos y otros documentos públicos
• Finanzas: datos no estructurados relevantes para la empresa tomados de documentos e informes financieros publicados

Al entrenar modelos en conjuntos de datos, ayudamos a garantizar que nuestros modelos se familiaricen con el lenguaje especializado y la jerga de estos sectores y tomen decisiones basadas en el conocimiento relevante de la industria.

En los negocios, la confianza es su licencia para operar. “Confíe en nosotros” no es un argumento, especialmente cuando se trata de IA. Como una de las primeras empresas en desarrollar IA empresarial, el enfoque de IBM para el desarrollo de la IA se guía por principios básicos basados en compromisos de confianza y transparencia. Los productos IBM watsonx le permiten ir más allá de ser un usuario de IA y convertirse en un creador de valor de la IA. Cuenta con un proceso integral para construir y probar modelos fundacionales e IA generativa (comenzando con la recogida de datos y terminando en puntos de control para el seguimiento responsable de las implementaciones de modelos y aplicaciones) centrado en el gobierno, la evaluación, la mitigación de sesgos y el cumplimiento.

Dado que los modelos Granite estarán disponibles para que los clientes se adapten a sus propias aplicaciones, cada conjunto de datos utilizado en la formación pasa por un proceso definido de revisión de gobierno, riesgo y cumplimiento (GRC). Hemos desarrollado procedimientos de gobierno para incorporar datos en el IBM Data Pile que son coherentes con los principios de ética de la IA de IBM. Abordar los criterios de GRC para los datos abarca todo el ciclo de vida de los datos de entrenamiento. Nuestro objetivo es establecer un vínculo auditable desde un modelo fundacional hasta la versión específica del conjunto de datos sobre la que se entrenó el modelo.

Gran parte de la atención de los medios se ha centrado (con razón) en el riesgo de que la IA generativa produzca output de odio o difamatorio. En IBM sabemos que las empresas no pueden permitirse correr tales riesgos, por lo que nuestros modelos Granite se entrenan con datos examinados por nuestro propio "HAP detector", un modelo de lenguaje entrenado por IBM para detectar y erradicar contenido de odio y profano (de ahí "HAP", por sus siglas en inglés), que se compara con modelos internos y públicos contra una referencia. Después de asignar una puntuación a cada frase en un documento, se ejecutan análisis sobre las oraciones y puntuaciones para explorar la distribución, que determina el porcentaje de oraciones para filtrar.

Además de esto, aplicamos una amplia gama de otras medidas de calidad. Buscamos y eliminamos las duplicaciones que mejoran la calidad del output y utilizamos filtros de calidad de los documentos para eliminar aún más los documentos de baja calidad que no son adecuados para la formación. También implementamos salvaguardias regulares y continuas de protección de datos, incluida la monitorización de sitios web conocidos por piratear materiales o publicar otro tipo de material ofensivo, y evitamos esos sitios web. 

Y dado que el panorama de la tecnología de la IA generativa cambia constantemente, nuestro proceso integral evolucionará y mejorará continuamente, lo que proporcionará a las empresas resultados en los que pueden confiar.

La clave de la visión de IBM de IA para empresas es la noción de empoderamiento. Cada organización implementará los modelos Granite para cumplir sus propios objetivos, y cada empresa tiene sus propias regulaciones que cumplir, ya sean leyes, normas sociales, estándares del sector, demandas del mercado o requisitos arquitectónicos. Creemos que las empresas deben estar capacitadas para personalizar sus modelos de acuerdo con sus propios valores (dentro de los límites), dondequiera que residan sus cargas de trabajo, utilizando las herramientas de watsonx.

Pero eso no es todo. Haga lo que haga en watsonx, conservará la propiedad de sus datos. No utilizamos sus datos para entrenar nuestros modelos; usted conserva el control de los modelos que construye y puede llevarlos a cualquier parte.

Los modelos iniciales de Granite son solo el principio: se planean más en otros idiomas y también se están preparando otros modelos entrenados por IBM. Mientras tanto, continuamos añadiendo modelos de código abierto a watsonx. Recientemente anunciamos que IBM ofrece ahora el modelo Llama 2-chat de 70 000 millones de parámetros de Meta para seleccionar clientes para acceso anticipado y planeamos que esté ampliamente disponible a finales de septiembre. Además, IBM alojará StarCoder, un gran modelo de lenguaje para código, que incluye más de 80 lenguajes de programación, commits de Git, issues de GitHub y Jupyter Notebooks.

Además de los nuevos modelos, IBM también está lanzando nuevas capacidades complementarias en el estudio de watsonx.ai. A finales de este mes llegará la primera iteración de nuestro Tuning Studio, que incluirá ajuste de instrucción, una forma eficiente y de bajo coste para que los clientes adapten los modelos fundacionales a sus tareas posteriores únicas mediante el entrenamiento de modelos con sus propios datos fiables. También lanzaremos nuestro generador de datos sintéticos, que ayudará a los usuarios a crear conjuntos de datos tabulares artificiales a partir de esquemas de datos personalizados o conjuntos de datos internos. Esta característica permitirá a los usuarios extraer conocimientos para el entrenamiento y ajuste fino de modelos de IA o simulaciones de escenarios con menor riesgo, aumentando la toma de decisiones y acelerando el tiempo de salida al mercado.

La incorporación de los modelos fundacionales Granite y otras capacidades a watsonx abre nuevas y emocionantes posibilidades en IA para empresas. Con nuevos modelos y nuevas herramientas llegan nuevas ideas y nuevas soluciones. ¿Y lo mejor de todo? Solo estamos empezando.