La clasificación de textos es una tarea de machine learning que consiste en asignar etiquetas predefinidas a los datos de texto para categorizarlos automáticamente en grupos. A medida que las empresas y las plataformas se ocupan de volúmenes cada vez mayores de texto no estructurado, la clasificación de textos proporciona una forma potente de organizar, interpretar y actuar sobre los datos de texto a escala.
Las organizaciones actuales producen una enorme cantidad de datos de texto en sitios web, aplicaciones y otras redes en forma de reseñas de clientes, publicaciones en redes sociales, documentos legales, correos electrónicos y mucho más. Estos datos contienen conocimientos que podrían ayudar a la organización a tomar mejores decisiones. La clasificación de textos es el primer paso del proceso.
Un tique de soporte etiquetado como "urgente" puede ser dirigido a un flujo de trabajo priorizado. Un correo electrónico etiquetado como "spam" se puede archivar de forma automática. Una reseña de un cliente etiquetada como "positiva" puede servir de base para un informe sobre el sentimiento del cliente sobre un nuevo producto. Los datos clasificados se pueden agregar y visualizar para descubrir tendencias y patrones que de otro modo permanecerían ocultos.
Boletín del sector
Obtenga conocimientos organizados sobre las noticias más importantes e intrigantes de la IA. Suscríbase a nuestro boletín semanal Think. Consulte la Declaración de privacidad de IBM.
Su suscripción se enviará en inglés. Encontrará un enlace para darse de baja en cada boletín. Puede gestionar sus suscripciones o darse de baja aquí. Consulte nuestra Declaración de privacidad de IBM para obtener más información.
La clasificación de textos es una tarea fundamental en el procesamiento del lenguaje natural (PLN), que se utiliza en una amplia gama de aplicaciones. Un clasificador de texto es un modelo de machine learning que resuelve diferentes problemas de clasificación, como clasificar textos por tema, sentimiento o intención. Así es como funciona:
Los modelos supervisados se utilizan normalmente para realizar la clasificación de textos. El primer paso es recopilar un gran conjunto de datos de muestras de texto. Pueden ser correos electrónicos, publicaciones en redes sociales, reseñas de clientes o documentos.
Los anotadores humanos aplican una etiqueta a cada fragmento de texto. Por ejemplo, "spam" o "no spam", o sentimiento "positivo" frente a "negativo". Este conjunto de datos de entrenamiento etiquetados constituye la base para entrenar un modelo de machine learning. Por lo general, cuantos más datos, más precisos son los resultados.
El preprocesamiento del texto de entrada transforma el texto en un formato normalizado y legible por la máquina. Los clasificadores solo pueden trabajar con texto que gaya sido traducido a representaciones numéricas, a menudo utilizando embedding de palabras o arquitecturas de codificador más avanzadas que capturan el significado semántico del lenguaje.
Los hiperparámetros configuran variables como el número de capas de las redes neuronales, el número de neuronas por capa o el uso de una activación. Estos hiperparámetros se eligen antes de que comience el entrenamiento.
A continuación, los datos se introducen en un algoritmo de clasificación, que aprende a asociar patrones en los datos con sus etiquetas asociadas.
Los algoritmos de clasificación de textos incluyen:
Máquinas de vectores de apoyo
Redes neuronales profundas
El modelo entrenado se prueba en un conjunto de datos de validación o prueba independiente para evaluar el rendimiento del modelo con métricas como exactitud, precisión, recuperación y puntuación F1, y se evalúa con respecto a las referencias establecidas.
Un modelo de clasificación de textos con un buen rendimiento puede integrarse en los sistemas de producción, donde clasifica el texto entrante en tiempo real.
Los modelos avanzados pueden mejorar con el tiempo mediante la incorporación de nuevos datos y el reentrenamiento. Los modelos de lenguaje preentrenados como el BERT ya han adquirido una comprensión profunda del lenguaje y pueden afinarse en tareas de clasificación específicas con relativamente pocos datos. El ajuste fino reduce el tiempo de entrenamiento y aumenta el rendimiento, especialmente para categorías complejas o matizadas.
Aunque los métodos supervisados son mucho más comunes, los modelos pueden entrenarse sin datos etiquetados mediante el aprendizaje no supervisado. En lugar de que se le indique la categoría correcta para cada texto, el modelo intenta encontrar estructuras o patrones en los datos por sí solo. Esto contrasta con la clasificación de textos supervisada, en la que cada ejemplo de entrenamiento se etiqueta con una categorización predefinida. Los métodos supervisados son mucho más comunes.
Por ejemplo, con una técnica llamada clustering, el modelo agrupa fragmentos de texto similares en clústeres basados en características compartidas, que luego pueden interpretarse como categorías.
Estas son algunas tareas comunes de PLN que implican la clasificación:
Los sistemas de detección de spam analizan los mensajes entrantes y los clasifican como "spam" o "no spam". Utilizan una combinación de reglas, patrones estadísticos y técnicas de machine learning para detectar correos electrónicos de phishing, mensajes de marketing masivo de remitentes desconocidos, enlaces sospechosos, malware y mucho más.
El análisis de sentimientos es el proceso de analizar grandes volúmenes de texto para determinar su sentimiento. El análisis de sentimientos ayuda a las organizaciones a determinar si las personas tienen asociaciones positivas o negativas en los puntos de contacto digitales.
Un algoritmo de machine learning puede medir el sentimiento mediante las palabras que aparecen en el texto, así como el orden en que aparecen. Los desarrolladores utilizan algoritmos de análisis de sentimientos para enseñar al software a identificar las emociones en el texto de forma similar a como lo hacen los humanos.
El objetivo de la clasificación de temas es asignar categorías de temas predefinidas a un fragmento de texto. Se suele utilizar en la gestión de contenidos, la agregación, la investigación académica y el análisis del feedback de los clientes para organizar grandes volúmenes de texto no estructurado.
Mientras que la clasificación de temas le dice de qué trata un mensaje, la detección de intenciones le dice qué está tratando de hacer el usuario. La detección de intenciones es útil para automatizar conversaciones y enrutar tareas en el servicio de atención al cliente o el comercio electrónico. Sin ella, los sistemas tendrían dificultades para proporcionar una asistencia significativa.
La detección de toxicidad y abuso es una tarea de clasificación de textos que se centra en identificar y marcar contenidos nocivos, ofensivos o abusivos en línea. Esto puede incluir lenguaje que incite al odio, amenazador, acosador, obsceno o inapropiado por cualquier otro motivo. Las grandes plataformas de redes sociales utilizan algoritmos de clasificación para ayudar a su personal de asistencia a gestionar enormes bases de usuarios globales.
Hay muchas herramientas de código abierto disponibles para crear clasificadores de texto. Marcos como TensorFlow y PyTorch ofrecen componentes para crear y entrenar modelos. Por ejemplo, un clasificador basado en TensorFlow podría utilizar una API de Keras con módulos como validation_data, optimizer y loss para entrenar un modelo con datos etiquetados. PyTorch, una biblioteca de machine learning basada en Python conocida por su flexibilidad, también se utiliza ampliamente con herramientas como DataLoader y nn.Module.
Mientras que los clasificadores tradicionales utilizan etiquetas fijas, el auge de los modelos de lenguaje de gran tamaño (LLM) ha introducido enfoques generativos para la clasificación. Se puede pedir a los modelos que produzcan tanto etiquetas como explicaciones en lenguaje natural. Por ejemplo, se podría dar una instrucción a un LLM con una frase y pedirle que clasifique el sentimiento, genere una justificación o sugiera categorías similares, todo ello sin entrenamiento adicional.
Con la aceleración de GPU, los tiempos de entrenamiento se reducen drásticamente, especialmente para grandes conjuntos de datos o arquitecturas complejas de deep learning. Los investigadores y desarrolladores suelen compartir sus pipelines y modelos de entrenamiento en GitHub.
Entrene, valide, ajuste e implemente IA generativa, modelos fundacionales y capacidades de machine learning con IBM watsonx.ai, un estudio empresarial de nueva generación para desarrolladores de IA. Cree aplicaciones de IA en menos tiempo y con menos datos.
Ponga la IA a trabajar en su negocio con la experiencia líder en IA del sector de IBM y junto a su cartera de soluciones.
Reinvente las operaciones y flujos de trabajo críticos añadiendo IA para maximizar las experiencias, la toma de decisiones en tiempo real y el valor empresarial.