O que é machine learning?
O que é machine learning?
Machine learning é um tipo de inteligência artificial que executa tarefas de análise de dados sem instruções explícitas. A tecnologia de machine learning pode processar grandes quantidades de dados históricos, identificar padrões e prever novas relações entre dados até então desconhecidos. Você pode realizar tarefas de classificação e previsão em documentos, imagens, números e outros tipos de dados.
Por exemplo, uma organização financeira poderia treinar um sistema de machine learning para classificar transações fraudulentas e genuínas. O sistema identifica padrões em dados conhecidos para adivinhar ou prever com precisão se uma nova transação é genuína.
O que é machine learning em palavras simples?
ML é a abreviação de machine learning, que é um ramo da inteligência artificial (IA) e da ciência da computação que aproveita dados e algoritmos para permitir que os sistemas de IA aprendam e melhorem de maneira semelhante aos humanos, aprimorando progressivamente sua precisão ao longo do tempo.
Qual é a diferença entre machine learning e inteligência artificial?
Embora os termos machine learning e inteligência artificial (IA) sejam usados de forma equivalente, eles não são a mesma coisa. O machine learning é um dos muitos ramos da IA. Embora o machine learning seja IA, nem todas as atividades de IA podem ser chamadas de machine learning.
Inteligência artificial é um termo abrangente para diferentes estratégias e técnicas usadas para tornar as máquinas mais parecidas com seres humanos. A IA inclui tudo, desde assistentes inteligentes como a Alexa até aspiradores de pó robóticos e veículos autônomos.
Em contraste, os modelos de machine learning realizam tarefas de análise de dados mais específicas, como classificar documentos, rotular imagens ou prever o cronograma de manutenção dos equipamentos da fábrica. A tecnologia de machine learning é baseada principalmente em matemática e estatística, enquanto outros tipos de IA são mais complexos.
Qual é a diferença entre machine learning e aprendizado profundo?
O aprendizado profundo é uma forma especializada de machine learning que usa redes neurais artificiais para imitar o cérebro humano. É uma técnica avançada para lidar com tarefas complexas, como reconhecimento de imagem e fala. O aprendizado profundo estabeleceu as bases para os avanços na inteligência artificial generativa inteligência artificial generativa.
Como o machine learning funciona?
A ideia central por trás do machine learning é uma relação matemática existente entre qualquer combinação de dados de entrada e saída. O modelo de machine learning não conhece essa relação de antemão, mas pode adivinhar se exemplos suficientes de conjuntos de dados de entrada-saída são fornecidos. Isso significa que todo algoritmo de machine learning é construído com base em uma função matemática modificável. O princípio subjacente pode ser entendido da seguinte forma:
- “Treinamos” o algoritmo fornecendo a ele as seguintes combinações de entrada/saída (i,o) – (2,10), (5,19) e (9,31)
- O algoritmo calcula a relação entre entrada e saída como: o=3*i+4
- Em seguida, fornecemos a ele a entrada 7 e pedimos que preveja a saída. Ele pode determinar automaticamente a saída como 25.
Embora essa seja uma compreensão básica, o machine learning se concentra no princípio de que os sistemas de computação podem vincular matematicamente todos os pontos de dados complexos, desde que tenham dados e capacidade de computação suficientes para processar. Portanto, a precisão da saída é diretamente correlacionada à magnitude da entrada fornecida. As fases de machine learning são apresentadas a seguir.
Pré-processamento de dados
Os dados brutos são limpos e transformados para treinar um modelo de machine learning. Isso envolve tarefas como lidar com valores faltantes, normalizar dados em uma escala comum ou codificar dados de texto em formatos numéricos. Os dados também podem ser aumentados ou manipulados para melhorar a capacidade do modelo de lidar com determinado caso de uso. O pré-processamento garante que os dados inseridos no modelo sejam relevantes e estruturados adequadamente.
Treinamento do modelo
Os dados pré-processados são usados para treinar o algoritmo de machine learning. O algoritmo tenta identificar iterativamente a correlação matemática entre a entrada e a saída esperada dos dados de treinamento. O modelo aprende padrões e relacionamentos nos dados, encapsulando esse conhecimento em seus parâmetros. Ele ajusta os parâmetros para minimizar a diferença entre suas previsões e os resultados reais conhecidos nos dados de treinamento.
Avaliação do modelo
O objetivo é garantir que o modelo possa se generalizar além do conjunto de dados de treinamento. Um conjunto de dados separado, chamado conjunto de validação, é usado para essa finalidade. A saída do modelo é medida usando diferentes métricas e referências. Por exemplo, considere um modelo treinado para identificar imagens de frutas, como maçãs e bananas guardadas em cestos. A avaliação verifica se consegue identificar corretamente as mesmas frutas a partir de imagens que mostram as frutas colocadas em uma mesa ou na mão de alguém.
Otimização
A otimização envolve refinar o modelo para melhorar seu desempenho. Dependendo do tipo de modelo, os cientistas de dados podem reconfigurar os processos de aprendizado ou executar a engenharia de recursos, que cria novos recursos de entrada a partir de dados existentes. O objetivo é aprimorar a precisão, a eficiência e a capacidade do modelo de generalizar bem para novos dados.
Quais são os benefícios do machine learning?
Os dados são a força motriz essencial por trás da tomada de decisão nos negócios. As organizações modernas geram dados de milhares de fontes, incluindo sensores inteligentes, portais de clientes, redes sociais e logs de aplicações. O machine learning automatiza e otimiza o processo de coleta, classificação e análise de dados. As empresas podem impulsionar o crescimento, desbloquear novos fluxos de receita e resolver problemas desafiadores com mais rapidez.
Os benefícios do machine learning incluem:
Melhor tomada de decisão
Os sistemas de machine learning podem processar e analisar grandes volumes de dados com rapidez e precisão. Em tempo real, eles podem identificar padrões imprevistos em dados dinâmicos e complexos. As organizações podem tomar decisões baseadas em dados em runtime e responder com mais eficiência às mudanças nas condições. Elas podem otimizar as operações e mitigar os riscos com confiança.
Automação de tarefas rotineiras
Os algoritmos de machine learning podem filtrar, ordenar e classificar dados sem intervenção humana. Eles podem resumir relatórios, digitalizar documentos, transcrever áudio e marcar conteúdo, tarefas que são entediantes e demoradas para os humanos realizarem. A automatização de tarefas rotineiras e repetitivas proporciona ganhos substanciais de produtividade e reduções de custos. Você também obtém maior precisão e eficiência.
Melhor experiência do cliente
O machine learning transforma as experiências do cliente por meio da personalização. Por exemplo, os varejistas recomendam produtos aos clientes com base em compras anteriores, histórico de navegação e padrões de pesquisa. Os serviços de streaming personalizam as recomendações de visualização na indústria do entretenimento. A abordagem personalizada aumenta a retenção de clientes e a fidelidade à marca.
Gerenciamento proativo de recursos
As organizações usam o machine learning para prever tendências e comportamentos com alta precisão. Por exemplo, a analytics preditiva pode antecipar as necessidades de estoque e otimizar os níveis de estoque para reduzir os custos indiretos. Os insights preditivos são cruciais para o planejamento e a alocação de recursos, tornando as organizações mais proativas do que reativas.
Melhoria contínua
Uma vantagem distinta do machine learning é sua capacidade de melhorar à medida que processa mais dados. Os sistemas de machine learning se adaptam e aprendem com novos dados. Eles ajustam e aprimoram seu desempenho para permanecerem práticos e relevantes ao longo do tempo.
Quais são os casos de uso de machine learning?
Vamos dar uma olhada nas aplicações de machine learning em alguns setores importantes:
Manufatura
O machine learning pode dar suporte à manutenção preditiva, ao controle de qualidade e a pesquisas inovadoras no setor de manufatura. Também ajuda as empresas a melhorar as soluções logísticas, incluindo ativos, cadeia de suprimentos e gerenciamento de inventário. Por exemplo, a 3M, gigante da manufatura, usa machine learning para inovar a lixa. OS algoritmos de machine learning permitem que os pesquisadores da 3M analisem como pequenas mudanças na forma, no tamanho e na orientação melhoram a abrasividade e a durabilidade. Essas sugestões informam o processo de manufatura.
Saúde e ciências biológicas
A proliferação de sensores e dispositivos para vestir gerou um volume significativo de dados de saúde. Os programas de machine learning analisam essas informações e ajudam os médicos no diagnóstico e tratamento em tempo real. Pesquisadores de machine learning estão desenvolvendo soluções que detectam tumores cancerígenos e diagnosticam doenças oculares, impactando significativamente os resultados da saúde humana. Por exemplo, a Cambia Health Solutions usa machine learning para automatizar e personalizar o tratamento para mulheres grávidas.
Serviços financeiros
Os projetos de machine learning financeiro melhoram a analytics e a regulamentação de riscos. A tecnologia de machine learning permite que os investidores identifiquem novas oportunidades analisando os movimentos do mercado de ações, avaliando fundos de hedge ou calibrando portfólios financeiros. Além disso, ela pode ajudar a identificar clientes de empréstimos de alto risco e reduzir sinais de fraude. Por exemplo, a NerdWallet, uma empresa de finanças pessoais, utiliza machine learning para comparar produtos financeiros como cartões de crédito, serviços bancários e empréstimos.
Varejo
O varejo pode usar o machine learning para melhorar o atendimento ao cliente, o gerenciamento de estoque, as vendas adicionais e o marketing entre canais. Por exemplo, o Amazon Fulfillment (AFT) reduziu os custos de infraestrutura em 40% usando um modelo de machine learning para identificar inventário extraviado. Isso os ajuda a cumprir a promessa da Amazon de que um item estará prontamente disponível para os clientes e chegará no prazo, apesar de processar milhões de remessas globais anualmente.
Mídia e entretenimento
As empresas de entretenimento recorrem ao machine learning para entender melhor seus públicos-alvo e fornecer conteúdo imersivo, personalizado e sob demanda. Os algoritmos de machine learning são implantados para ajudar a projetar trailers e outros anúncios, fornecer aos consumidores recomendações personalizadas de conteúdo e até otimizar a produção.
Por exemplo, a Disney usa machine learning para arquivar sua biblioteca de mídia. As ferramentas de machine learning etiquetam, descrevem e classificam automaticamente o conteúdo de mídia, permitindo que os escritores e animadores da Disney pesquisem e se familiarizem rapidamente com os personagens da Disney.
Visão computacional
A visão computacional é uma tecnologia que reconhece e descreve imagens automaticamente com precisão e eficiência. Hoje, os sistemas de computação podem acessar muitas imagens e vídeos de celulares, câmeras de trânsito, sistemas de segurança e outros dispositivos. As aplicações de visão computacional usam machine learning para processar esses dados com precisão para identificação de objetos e reconhecimento facial, bem como classificação, recomendação, monitoramento e detecção.
Por exemplo, o CampSite é uma plataforma de software líder para acampamentos de verão. Seus acampamentos carregam milhares de imagens diariamente para conectar os pais à experiência de acampamento de seus filhos. Descobrir fotos de seus acampantes se tornou uma tarefa demorada e frustrante para os pais. CampSite utiliza machine learning para identificar imagens automaticamente e notificar os pais quando novas fotos de seus filhos são enviadas.
Quais são os tipos de algoritmos de machine learning?
Os algoritmos de machine learning podem ser categorizados por quatro estilos de aprendizado distintos, dependendo da saída esperada e do tipo de entrada.
Machine learning supervisionado
Os cientistas de dados fornecem algoritmos com dados de treinamento rotulados e definidos para avaliar as correlações. Os dados de amostra especificam a entrada e a saída do algoritmo. Rotulagem de dados é a categorização dos dados de entrada com seus valores de saída definidos correspondentes. Por exemplo, milhões de imagens de maçã e banana precisariam ser etiquetadas com as palavras “maçã” ou “banana”. Em seguida, as aplicações de machine learning poderiam usar esses dados de treinamento para adivinhar o nome da fruta ao receber a imagem de uma fruta.
Os pontos fortes do aprendizado supervisionado são a simplicidade e a facilidade de design. Ele é útil ao prever um possível conjunto limitado de resultados, dividir dados em categorias ou combinar resultados de dois outros algoritmos de machine learning. No entanto, rotular milhões de conjuntos de dados não rotulados é um desafio.
Machine learning não supervisionado
Os algoritmos de aprendizado não supervisionados são treinados em dados não rotulados. Eles examinam os novos dados, estabelecendo conexões significativas entre as entradas e resultados predeterminados. Eles podem identificar padrões e categorizar dados. Por exemplo, algoritmos não supervisionados podem agrupar artigos de notícias de diferentes sites de notícias em categorias comuns, como esportes, criminalidade etc. Eles podem usar o processamento de linguagem natural para compreender o significado e a emoção do artigo. No varejo, o aprendizado não supervisionado pode encontrar padrões nas compras dos clientes e fornecer resultados de análise de dados. Por exemplo, é mais provável que o cliente compre pão se também comprar manteiga.
O aprendizado não supervisionado é útil para reconhecimento de padrões, detecção de anomalias e agrupamento automático de dados em categorias. Como os dados de treinamento não exigem rotulagem, a configuração é fácil. Esses algoritmos também podem ser usados para limpar e processar dados para modelagem automática. As limitações desse método são que ele não pode fornecer previsões precisas e não pode destacar resultados de dados específicos de forma independente.
Aprendizado semissupervisionado
Como o nome sugere, esse método combina aprendizado supervisionado e não supervisionado. A técnica baseia-se no uso de uma pequena quantidade de dados rotulados e de uma grande quantidade de dados não rotulados para treinar sistemas. Primeiro, os dados rotulados são usados para treinar parcialmente o algoritmo de machine learning. Depois, o algoritmo treinado parcialmente rotula os dados não rotulados. Esse processo é chamado de pseudo-rotulagem. O modelo é então novamente treinado na combinação de dados resultante sem ser explicitamente programado.
A vantagem desse método é que ele não exige grandes quantidades de dados rotulados. Ele é prático quando se trabalha com dados como documentos extensos, que levariam muito tempo para serem lidos e rotulados por seres humanos.
Aprendizado por reforço
Aprendizado por reforço é um método com valores de recompensa associados às diferentes etapas pelas quais o algoritmo deve passar. Portanto, o objetivo do modelo é acumular o maior número possível de pontos de recompensa e, por fim, atingir um objetivo final. A maior parte da aplicação prática do aprendizado por reforço na última década foi no âmbito dos videogames. Os algoritmos de aprendizado por reforço mais inovadores obtiveram resultados impressionantes em jogos clássicos e modernos, muitas vezes superando significativamente seus equivalentes humanos.
O desafio do aprendizado por reforço é que os ambientes do mundo real mudam com frequência, de forma significativa e com aviso limitado. Na prática, isso pode dificultar a eficácia dos algoritmos. O viés do desenvolvedor também pode afetar os resultados. À medida que o cientista de dados projeta as recompensas, elas podem influenciar os resultados.
Aprendizado profundo
Aprendizado profundo é um tipo de técnica de machine learning modelada no cérebro humano. Algoritmos de aprendizado profundo analisam dados com uma estrutura lógica semelhante à usada por humanos. Eles usam redes neurais artificiais para processar informações em camadas. Uma rede neural artificial (ANN) é feita de nós de software, chamados neurônios artificiais, que processam dados coletivamente. Os dados fluem da camada de entrada de neurônios através de várias camadas “profundas” e ocultas da rede neural, antes de chegar à camada de saída. As camadas ocultas adicionais oferecem suporte a um aprendizado muito mais capaz do que os modelos padrão de machine learning.
Os modelos de machine learning são determinísticos?
Se a saída de um sistema é previsível, diz-se que ela é determinística. A maioria das aplicações de software responde de forma previsível à ação do usuário, então você pode dizer: “Se o usuário faz isso, ele obtém aquilo”. No entanto, os algoritmos de machine learning aprendem por meio da observação junto com as experiências. Portanto, eles são probabilísticos por natureza. A declaração agora muda para: “Se o usuário fizer isso, há uma chance de X% de isso acontecer”.
No machine learning, o determinismo é uma estratégia usada ao aplicar os métodos de aprendizado descritos acima. Qualquer um dos métodos de treinamento supervisionado, não supervisionado e outros podem ser determinísticos, dependendo dos resultados desejados dos negócios. A questão de pesquisa, recuperação de dados, estrutura e decisões de armazenamento determinam se uma estratégia determinística ou não determinística é adotada.
Abordagem determinística versus probabilística
A abordagem determinística se concentra na precisão e na quantidade de dados coletados, de modo que a eficiência é priorizada em relação à incerteza. Por outro lado, o processo não determinístico (ou probabilístico) é projetado para gerenciar o fator chance. As ferramentas incorporadas são integradas aos algoritmos de machine learning para ajudar a quantificar, identificar e medir a incerteza durante o aprendizado e a observação.
Como você pode implementar o machine learning em sua organização?
Começar a usar o machine learning exige a implementação do ciclo de vida do machine learning. Ele contém as fases a seguir.
Objetivo de negócios
Uma organização que está considerando o machine learning deve primeiro identificar os problemas que deseja resolver. Identifique o valor comercial que você ganha usando o machine learning na solução de problemas. Você pode medir o valor comercial usando critérios de sucesso específicos para os objetivos comerciais? Uma abordagem orientada por metas ajuda você a justificar os gastos e a convencer as principais partes interessadas.
Definição de problemas
Em seguida, defina o problema de negócios como um problema de machine learning. Identifique o que é observado e o que deve ser previsto. Uma etapa importante nessa fase é determinar o que prever e como otimizar o desempenho relacionado e as métricas de erro.
Processamento de dados
O processamento de dados converte dados em um formato utilizável usando algoritmos de machine learning. Isso inclui identificação, coleta e pré-processamento de dados junto com a engenharia de atributos. Você cria, transforma, extrai e seleciona variáveis de machine learning a partir dos seus dados.
Desenvolvimento e implantação do modelo
Esse é o processo principal de treinamento, ajuste e avaliação do seu modelo, conforme descrito na seção anterior. Isso inclui o estabelecimento de MLOps. Operações de machine learning (MLOps) são um conjunto de práticas que automatizam e simplificam os fluxos de trabalho e as implantações de machine learning (ML). Elas unificam o desenvolvimento de ML com implantação e operações. Por exemplo, você cria um pipeline de CI/CD que automatiza a criação, o treinamento e a liberação em ambientes de treinamento e produção.
Monitoramento
Um sistema de monitoramento de modelos garante que seu modelo mantenha o nível de desempenho desejado por meio de detecção e mitigação antecipadas. Isso inclui coletar feedback do usuário para manter e melhorar o modelo, para que ele permaneça relevante ao longo do tempo.
Quais são os desafios na implementação do machine learning?
Os desafios na implementação do machine learning são apresentados a seguir.
Qualidade dos dados
O desempenho de um modelo de machine learning depende da qualidade dos dados usados no treinamento. Problemas como valores faltantes, entradas de dados inconsistentes e ruídos podem degradar significativamente a precisão do modelo. Além disso, a falta de um conjunto de dados suficientemente grande pode impedir que o modelo aprenda de forma eficaz. Alguns desafios contínuos são garantir a integridade dos dados e ampliar a coleta de dados sem comprometer a qualidade.
Sobreajuste e subajuste
O sobreajuste ocorre quando um modelo de machine learning aprende os detalhes e o ruído nos dados de treinamento a ponto de afetar negativamente a performance do modelo em novos dados. O modelo captura padrões que não se generalizam para outros conjuntos de dados. Por outro lado, o subajuste ocorre quando um modelo não consegue aprender o padrão subjacente dos dados, resultando em baixo desempenho nos dados de treinamento e teste. Equilibrar a complexidade do modelo e sua capacidade de generalização é um desafio crítico.
Vieses
Os dados podem estar desequilibrados em muitas aplicações do mundo real, o que significa que algumas classes são significativamente mais frequentes do que outras. Esse desequilíbrio pode causar vieses no processo de treinamento, fazendo com que o modelo tenha um bom desempenho na classe majoritária e não consiga prever a classe minoritária com precisão. Por exemplo, se os dados históricos priorizarem um determinado grupo demográfico, os algoritmos de machine learning usados em aplicações de recursos humanos podem continuar priorizando esses dados demográficos. Até certo ponto, o problema é atenuado por meio de técnicas como reamostragem de dados, uso de diferentes métricas de avaliação ou aplicação de algoritmos de detecção de anomalias.
Explicabilidade do modelo
À medida que os modelos de machine learning, especialmente os modelos de aprendizado profundo, se tornam mais complexos, suas decisões se tornam menos interpretáveis. Um desafio importante é desenvolver métodos para tornar os modelos mais interpretáveis sem sacrificar o desempenho. Isso afeta a usabilidade, a confiabilidade e as considerações éticas da implantação de sistemas de machine learning.
Escalabilidade
Modelos de machine learning, especialmente aqueles que envolvem grandes conjuntos de dados ou algoritmos complexos, como aprendizado profundo, exigem recursos computacionais significativos. O treinamento desses modelos pode ser demorado e caro. Otimizar algoritmos para reduzir as demandas computacionais envolve desafios no design de algoritmos. Os serviços baseados na nuvem AWS podem oferecer suporte à implementação econômica em escala.
O que é o treinamento em machine learning para iniciantes?
O machine learning exige uma base sólida em matemática, estatística, codificação e tecnologias de dados. Aqueles que desejam ampliar seus conhecimentos sobre machine learning devem considerar concluir um mestrado em inteligência artificial ou ciência de dados. Esses programas geralmente envolvem tópicos como redes neurais, processamento de linguagem natural e visão computacional aprofundada.
No entanto, a educação formal não é o único caminho. Você pode fazer cursos on-line para aprender no seu próprio ritmo e dominar habilidades específicas. O treinamento de machine learning na AWS inclui certificações de especialistas da AWS em tópicos como:
Como o machine learning da AWS pode ajudar?
A AWS disponibiliza o machine learning para todos os desenvolvedores, cientistas de dados e usuários de negócios. Os serviços de Machine Learning da AWS oferecem infraestrutura de alto performance, econômica e dimensionável para atender às necessidades dos negócios.
- Apenas começando? Aprenda machine learning com nossos dispositivos educacionais práticos, como o AWS DeepRacer e o AWS DeepComposer.
- Tem um arquivo de dados existente? Use o Amazon SageMaker Ground Truth para fluxos de trabalho de rotulagem de dados incorporados que oferecem suporte para vídeo, imagens e texto.
- Possui sistemas de machine learning existentes? Use o Amazon SageMaker Clarify para detectar vieses e o Amazon SageMaker Model Training para monitorar e otimizar a performance.
- Quer implementar o aprendizado profundo? Use o Amazon SageMaker Model Training para treinar grandes modelos de aprendizado profundo automaticamente.
Comece a usar o machine learning no AWS criando uma conta gratuita hoje mesmo!