A LG AI Research desenvolve um modelo básico usando o Amazon SageMaker

O conglomerado sul-coreano LG Group coleta grandes quantidades de dados de suas empresas, que incluem eletrodomésticos, telecomunicações, baterias e produtos farmacêuticos. Um pilar fundamental da transformação digital do grupo é desenvolver a tecnologia de IA e integrar a IA em seus produtos e serviços. O grupo criou a LG AI Research para aproveitar o poder da IA em sua estratégia de transformação digital, desenvolver melhores experiências para os clientes e resolver desafios comuns do setor.

Quando a LG AI Research decidiu desenvolver seu modelo básico de última geração, que se inspira na forma como o cérebro humano funciona e tem uma capacidade avançada de aprender e fazer julgamentos, ela buscou a plataforma de machine learning (ML) mais eficiente para lidar com grandes quantidades de dados e treinamento e inferência em grande escala. O modelo básico precisava ser treinado em dezenas de terabytes de dados para fazer deduções semelhantes às humanas e compreender textos e imagens. Além disso, o projeto exigiu uma infraestrutura computacional de alto desempenho e a flexibilidade de aumentar o número de parâmetros para bilhões durante o treinamento.

A automação do fluxo de trabalho também era importante, pois vários modelos ou tarefas posteriores precisavam ser concluídos simultaneamente. Para atender a esses requisitos, o instituto analisou uma infraestrutura on-premises, mas os custos eram muito altos e seriam necessários 20 funcionários para configurar e manter o hardware on-premises. Também seria necessário atualizar as GPUs todos os anos e adicionar mais GPUs para suportar picos de workload. Considerando todos os desafios de uma solução on-premises, a LG AI Research decidiu que o Amazon SageMaker era a melhor opção para esse projeto.

A LG AI Research colocou com sucesso seu modelo básico, EXAONE, em produção em um ano. EXAONE, que significa “expert AI for everyone” (ou “inteligência artificial especializada para todos”, em tradução livre), é um modelo multimodal de 300 bilhões de parâmetros que usa imagens e dados de texto.

A LG AI Research usou o Amazon SageMaker para treinar seu modelo básico em grande escala e o Amazon FSx para Lustre para distribuir dados em instâncias para acelerar o treinamento do modelo. Com base na AWS, a LG AI Research conseguiu resolver problemas, implementar pontos de verificação, ajustar e implantar com sucesso o modelo na produção.

Gwang-mo Song, da LG AI Research, explica: “Ao usar a infraestrutura de treinamento distribuído de alto desempenho do Amazon SageMaker, os pesquisadores podem se concentrar apenas no treinamento de modelos em vez de gerenciar a infraestrutura. Além disso, ao aproveitar a biblioteca de dados paralela do Amazon SageMaker, pudemos obter resultados de treinamento rapidamente à medida que o número de GPUs e os parâmetros do modelo aumentavam.”

A LG AI Research reduziu os custos em aproximadamente 35% ao eliminar a necessidade de uma equipe separada de gerenciamento de infraestrutura. Também aumentou a velocidade de processamento de dados em cerca de 60% usando a biblioteca paralela de dados distribuídos do Amazon SageMaker.

Usando o EXAONE, a LG AI Research desenvolveu uma artista virtual de IA chamada Tilda. O poder fundamental das qualidades artísticas de Tilda vem do EXAONE, que foi treinado usando 600 bilhões de peças de arte e 250 milhões de imagens de alta resolução acompanhadas de texto. A artista virtual criou 3 mil imagens e padrões para a estilista Yoon-hee Park, que desenhou mais de 200 roupas para a Semana da Moda de Nova York de 2022 usando as imagens e padrões de Tilda.

O trabalho de Park com a LG AI Research demonstrou o potencial de expandir a tecnologia de IA para a indústria da arte, expandir o ecossistema de IA e promover a colaboração entre setores. Recentemente, a empresa anunciou uma parceria com a Parsons School of Design na cidade de Nova York para realizar pesquisas conjuntas sobre tecnologias avançadas de IA para alavancar na indústria da moda.

Com a Tilda, a EXAONE mostrou como os modelos básicos podem ser usados para transformar uma ampla gama de setores, desde manufatura e pesquisa até educação e finanças. A LG AI Research continua seu trabalho para tornar a vida humana mais valiosa usando seu modelo básico e espera colaborar estreitamente com a AWS em projetos futuros.