O que são incorporações em machine learning?

As incorporações permitem que os modelos de aprendizado profundo entendam os domínios de dados do mundo real com mais eficiência. Eles simplificam a forma como os dados do mundo real são representados, mantendo as relações semânticas e sintáticas. Isso permite que algoritmos de machine learning extraiam e processem tipos de dados complexos e possibilitem aplicações de IA inovadoras. As seções a seguir descrevem alguns fatores importantes. 

Reduzir a dimensionalidade dos dados

Cientistas de dados usam incorporações para representar dados de alta dimensão em um espaço de baixa dimensão. Na ciência de dados, o termo dimensão normalmente se refere a uma característica ou atributo dos dados. Dados de maior dimensão em IA se referem a conjuntos de dados com muitos recursos ou atributos que definem cada ponto de dados. Isso pode significar dezenas, centenas ou até milhares de dimensões. Por exemplo, uma imagem pode ser considerada um dado de alta dimensão porque cada valor de cor de pixel é uma dimensão separada.

Quando apresentados com dados de alta dimensão, os modelos de aprendizado profundo exigem mais poder computacional e tempo para aprender, analisar e inferir com precisão. As incorporações reduzem o número de dimensões identificando semelhanças e padrões entre vários atributos. Consequentemente, isso reduz os recursos de computação e o tempo necessários para processar dados brutos.

Treinar grandes modelos de linguagem

As incorporações melhoram a qualidade dos dados ao treinar grandes modelos de linguagem (LLMs). Por exemplo, cientistas de dados usam incorporações para limpar os dados de treinamento de irregularidades que afetam o aprendizado do modelo. Os engenheiros de ML também podem reutilizar modelos pré-treinados adicionando novas incorporações para o aprendizado por transferência, o que exige o refinamento do modelo básico com novos conjuntos de dados. Com as incorporações, os engenheiros podem ajustar um modelo para conjuntos de dados personalizados do mundo real.

Criar aplicações inovadoras

As incorporações permitem novas aplicações de aprendizado profundo e inteligência artificial generativa (IA generativa). Diferentes técnicas de incorporação aplicadas na arquitetura de rede neural permitem que modelos precisos de IA sejam desenvolvidos, treinados e implantados em vários campos e aplicações. Por exemplo:

• Com a incorporação de imagens, os engenheiros podem criar aplicações de visão computacional de alta precisão para detecção de objetos, reconhecimento de imagens e outras tarefas visuais. 
• Com a incorporação de palavras, o software de processamento de linguagem natural pode entender com mais precisão o contexto e as relações das palavras.
• As incorporações gráficas extraem e categorizam informações relacionadas de nós interconectados para apoiar a análise de rede.

Modelos de visão computacional, chatbots de IA e sistemas de recomendação de IA usam incorporações para concluir tarefas complexas que imitam a inteligência humana.

As incorporações convertem dados brutos em valores contínuos que os modelos de ML podem interpretar. Convencionalmente, os modelos de ML usam codificação única para mapear variáveis categóricas em formas com as quais elas possam aprender. O método de codificação divide cada categoria em linhas e colunas e atribui a elas valores binários. Considere as seguintes categorias de produtos e seus preços.

A representação dos valores com codificação única resulta na tabela a seguir.

A tabela é representada matematicamente como vetores [1,0,0,5.00], [0,1,0,7.00] e [0,0,1,10.00].

A codificação one-hot expande os valores dimensionais de 0 e 1 sem fornecer informações que ajudem os modelos a relacionar os diferentes objetos. Por exemplo, o modelo não consegue encontrar semelhanças entre apple e orange, apesar de serem frutas, nem pode diferenciar orange e carrot como frutas e vegetais. À medida que mais categorias são adicionadas à lista, a codificação resulta em variáveis pouco distribuídas com muitos valores vazios que consomem um enorme espaço de memória. 

As incorporações vetorizam objetos em um espaço de baixa dimensão representando semelhanças entre objetos com valores numéricos. As incorporações de redes neurais garantem que o número de dimensões permaneça gerenciável com a expansão dos atributos de entrada. Os atributos de entrada são características de objetos específicos que um algoritmo de ML tem a tarefa de analisar. A redução da dimensionalidade permite que as incorporações retenham as informações que os modelos de ML usam para encontrar semelhanças e diferenças nos dados de entrada. Os cientistas de dados também podem visualizar incorporações em um espaço bidimensional para entender melhor as relações de objetos distribuídos. 

Os engenheiros usam redes neurais para criar incorporações. As redes neurais consistem em camadas de neurônios ocultas que tomam decisões complexas de forma iterativa. Ao criar incorporações, uma das camadas ocultas aprende como fatorar atributos de entrada em vetores. Isso ocorre antes das camadas de processamento de atributos. Esse processo é supervisionado e orientado por engenheiros com as seguintes etapas: 

1. Os engenheiros alimentam a rede neural com algumas amostras vetorizadas preparadas manualmente.
2. A rede neural aprende com os padrões descobertos na amostra e usa o conhecimento para fazer previsões precisas a partir de dados não vistos.
3. Ocasionalmente, os engenheiros podem precisar ajustar o modelo para garantir que ele distribua os atributos de entrada no espaço dimensional apropriado. 
4. Com o tempo, as integrações operam de forma independente, permitindo que os modelos de ML gerem recomendações a partir das representações vetorizadas. 
5. Os engenheiros continuam monitorando a performance da incorporação e ajustando com novos dados.