A tradução de redes neurais (NMT) fornece uma tradução mais flexível, que acomoda entradas e saídas de comprimentos variáveis. Assim como os sistemas de SMT, as abordagens de NMT podem ser divididas em duas etapas gerais. Primeiro, um modelo lê o texto de entrada e o contextualiza em uma estrutura de dados que resume a entrada. Essa representação contextual geralmente é um modelo vetorial (como nos modelos de bag of words), mas também pode assumir outras formas, como tensores. Uma rede neural recorrente ou convolucional lê essa representação e gera uma frase no idioma de destino.8 Mais recentemente, os pesquisadores se voltaram para arquiteturas de transformação para a NMT. Um exemplo importante é o mBART, um transformador treinado com dados multilíngues para recuperar lacunas artificiais e, em seguida, realizar o ajuste fino para tradução.9
As abordagens de NMT também adotaram grandes modelos de linguagem (LLMs). Especificamente, em vez de realizar um ajuste fino de uma rede neural ou transformador para tradução, os pesquisadores exploraram o uso de grandes modelos de linguagem generativos para tradução. Um desses estudos examina os modelos do GPT para tradução automática. Os sistemas de NMT consistem na arquitetura de codificador-decodificador previamente descrita, treinada em grandes quantidades de dados multilíngues. Os modelos GPT, por outro lado, consistem apenas em configurações de decodificadores treinados com dados principalmente em inglês. Testando vários idiomas (incluindo inglês, francês, espanhol, alemão, chinês e russo), o estudo sugere que a abordagem híbrida dos modelos de NMT e GPT produz traduções de alta qualidade e de última geração.10
Isso sugere que os sistemas de NMT, particularmente quando combinados com LLMs e modelos generativos, são capazes de lidar melhor com expressões idiomáticas e termos fora do vocabulário do que os métodos de SMT. Além disso, enquanto as SMTs processam n-gramas, as NMTs processam a frase de origem completa. Portanto, lidam melhor com funcionalidades linguísticas, como descontinuidade, que exigem a abordagem de frases como unidades. A ambiguidade dos pronomes, no entanto, pode continuar sendo um problema para as NMTs.11