- Custos computacionais. O aprendizado por transferência reduz os custos computacionais necessários para criar modelos para novos problemas. Ao reaproveitar modelos ou redes pré-treinados para lidar com uma tarefa diferente, os usuários podem reduzir a quantidade de tempo de treinamento do modelo, os dados de treinamento, as unidades de processador e outros recursos computacionais. Por exemplo, um número menor de épocas, ou seja, passagens através de um conjunto de dados — pode ser necessário para atingir a taxa de aprendizado desejada. Dessa forma, o aprendizado por transferência pode acelerar e simplificar os processos de treinamento de modelos.

- Tamanho do conjunto de dados. O aprendizado por transferência ajuda em particular a diminuir as dificuldades envolvidas na aquisição de grandes conjuntos de dados. Os grandes modelos de linguagem (LLMs), por exemplo, exigem grandes quantidades de dados de treinamento para obter o desempenho ideal. Os conjuntos de dados de qualidade publicamente disponíveis podem ser limitados, e produzir dados com rotulagem manual suficientes pode ser demorado e caro.

- Generalizabilidade. Além do aprendizado por transferência ajudar na otimização do modelo, ele pode aumentar ainda mais a generalizabilidade do modelo. Como a aprendizado por transferência envolve o retreinamento do modelo existente com um novo conjunto de dados, o modelo retreinado consistirá no conhecimento obtido a partir de vários conjuntos de dados. Ele poderá apresentar melhor desempenho em uma variedade maior de dados do que o modelo básico inicial treinado em apenas um tipo de conjunto de dados. Assim, o aprendizado por transferência é capaz de inibir o overfitting.⁴

É claro que a transferência de conhecimento de um domínio para outro não é capaz de compensar o impacto negativo de dados de baixa qualidade. Técnicas de pré-processamento e engenharia de recursos, como por exemplo aumento de dados e extração de características, ainda são necessários ao usar o aprendizado por transferência.

Não se trata tanto de desvantagens inerentes ao aprendizado por transferência, mas sim de possíveis consequências negativas resultantes de sua aplicação incorreta. O aprendizado por transferência funciona melhor quando três condições são atendidas:

• ambas as tarefas de aprendizado são semelhantes
• a distribuição dos conjuntos de dados de origem e destino não variam muito
• um modelo comparável pode ser aplicado a ambas as tarefas

Quando essas condições não são atendidas, o aprendizado por transferência pode afetar negativamente o desempenho do modelo. A literatura se refere a isso como transferência negativa. As pesquisas em andamento propõem uma variedade de testes para determinar se os conjuntos de dados e tarefas atendem às condições acima, para que não resultem na transferência negativa.⁵ Transferência à distância é um método desenvolvido para corrigir a transferência negativa resultante de uma dissimilaridade excessivamente grande na distribuição dos conjuntos de dados de origem e de destino.⁶

Observe que não há uma métrica padrão generalizada para determinar a similaridade entre as tarefas no aprendizado por transferência. No entanto, alguns estudos propõem diferentes métodos de avaliação para prever semelhanças entre conjuntos de dados e tarefas de aprendizado de máquina e, por consequência, a viabilidade do aprendizado por transferência.⁷

Existem três práticas adjacentes ou subconfigurações de aprendizado por transferência. A distinção entre elas, bem como o aprendizado por transferência de forma mais ampla, resultam em grande parte de mudanças na relação entre o domínio de origem, o domínio de destino e as tarefas a serem concluídas.⁸

- Transferência indutiva. É quando as tarefas de origem e de destino são diferentes, independentemente de qualquer diferença ou semelhança entre os domínios de destino e de origem (ou seja, os conjuntos de dados). Isso pode se manifestar em modelos de visão computacional quando arquiteturas pré-treinadas para extração de características de grandes conjuntos de dados são adotadas para treinamento adicional em uma tarefa específica, como detecção de objetos. O aprendizado multitarefa, que consiste em aprender simultaneamente duas tarefas diferentes (como classificação de imagens e detecção de objetos) no mesmo conjunto de dados, pode ser considerado uma forma de transferência indutiva.⁹

- Aprendizado não supervisionado. Isso é semelhante à transferência indutiva, pois as tarefas de destino e de origem são diferentes. No entanto, na transferência indutiva, os dados de origem e/ou destino são frequentemente rotulados. De acordo com seu nome, a aprendizado por transferência não supervisionado não passa por supervisão, o que significa que não há dados rotulados manualmente.¹⁰ Em comparação, a transferência indutiva pode ser considerada uma forma de aprendizado supervisionado. Uma aplicação comum do aprendizado não supervisionado é a detecção de fraudes. Ao identificar padrões comuns em um conjunto de dados de transações não rotuladas, o modelo pode aprender ainda mais a identificar comportamentos desviantes, como possíveis fraudes.

- Transferência transdutiva. Isso ocorre quando as tarefas de origem e destino são as mesmas, mas os conjuntos de dados (ou domínios) são diferentes. Mais especificamente, os dados de origem são normalmente rotulados, mas os dados de destino não. A adaptação de domínio é uma forma de aprendizado transdutivo, pois aplica o conhecimento adquirido na execução de uma tarefa em uma distribuição de dados na mesma tarefa de uma distribuição diferente.¹¹ Um exemplo de aprendizado por transferência transdutiva é a aplicação de um modelo de classificação de texto treinado e testado em avaliações de restaurantes para classificar avaliações de filmes.

O aprendizado por transferência é diferente do ajuste fino. Ambos, reconhecidamente, reutilizam modelos de aprendizado de máquina preexistentes em vez de treinar novos modelos. Mas as semelhanças em grande parte param por aí. O ajuste fino refere-se ao processo de treinamento adicional do modelo de um conjunto de dados específico de uma tarefa para melhorar o desempenho da tarefa inicial específica para a qual o modelo foi construído. Por exemplo, pode-se criar um modelo de detecção de objetos de uso geral usando enormes conjuntos de imagens, como COCO ou ImageNet, e treinar ainda mais o modelo resultante em um conjunto de dados menor e rotulado, específico para detecção de carros. Dessa forma, o usuário ajusta o modelo de detecção de objetos para a detecção de carros. Por outro lado, o aprendizado por transferência refere-se a quando os usuários adaptam o modelo a um novo problema relacionado, em vez de ao mesmo problema.