Faraday Lab déploie en quelques jours des LLM conçus pour être accessibles en français à l’aide d’Amazon SageMaker

La société Faraday Lab, fondée en 2023, vise à améliorer l’accessibilité et la diversité de l’IA générative en entraînant et en peaufinant les LLM sur des jeux de données en français afin de donner accès à l’IA à tous, sans limitation géographique. L’architecture sur site d’origine de la start-up n’était pas conçue pour la mise à l’échelle. Elle a donc migré vers AWS et a commencé à utiliser Amazon SageMaker, une solution conçue pour créer, entraîner et déployer des modèles de machine learning pour tous les cas d’utilisation.

Faraday Lab a travaillé avec Data Reply France pour apprendre à utiliser l’infrastructure et les outils AWS. Data Reply France a aidé Faraday Lab à peaufiner son processus de mise au point et à nettoyer un jeu de données open source afin de le réduire de 14 millions à 100 000 échantillons, dont 10 000 de langage de haute qualité provenant du Parlement français. À l’aide de ce jeu de données, Faraday Lab a affiné son modèle sur Amazon SageMaker et l’a déployé en 15 jours en utilisant Llama 2 Chat comme modèle de base. L’outil final, Ares Chat, fournit une interface utilisateur sans programmation permettant aux utilisateurs d’interagir avec Aria LLM et de générer des images à l’aide d’Ares Creative, qui est alimenté par Stable Diffusion XL 1.0.

En formant ses LLM à Amazon SageMaker, Faraday Lab a amélioré la précision de ses modèles. Son modèle ARIA 70B version 3 a un énorme score de compréhension du langage multitâche de 64,75. L’entreprise a réduit la durée de sa formation LLM de 50 % (la formation elle-même ne dure que 2 jours) et a augmenté la vitesse d’inférence de 30 %.

Faraday Lab utilise des modèles de Hugging Face, une communauté d’IA générative open source, dont Llama 2 et Falcon. Les propres modèles de Faraday Lab sont déployés sur Hugging Face et, au cours des 6 premiers mois de l’entreprise, 10 000 utilisateurs les ont téléchargés. L’équipe a également créé une extension Chrome dédiée en tant qu’outil de génération d’images pour Ares Creative. La plupart des outils de Faraday Lab sont accessibles, sans compétences en codage, directement depuis le site Web de Faraday.

Faraday Lab répond également aux exigences du règlement général sur la protection des données (RGPD). Ses points de terminaison d’inférence sont hébergés sur des serveurs AWS situés en Europe, de sorte que les demandes de l’utilisateur et les réponses du modèle restent dans l’UE. En formant ses modèles au français, Faraday travaille sur la diversité des données et sur la réduction des biais liés à la langue et à la culture.

Grâce à Amazon SageMaker, Faraday Lab réduit ses coûts. « Avec AWS, nous pouvons disposer d’une solution de niveau industriel avec un petit budget », déclare William Elong, PDG de Faraday Lab. « La rapidité de formation de nos modèles et les faibles dépenses sont des avantages essentiels. Utiliser Amazon SageMaker pour gagner du temps et économiser de l’argent n’a pas de prix. »

Faraday Lab étend sa solution pour fournir une IA générative accessible à un plus grand nombre d’utilisateurs dans le monde entier. Elle prévoit de mettre en œuvre AWS Inferentia, des accélérateurs conçus par AWS pour les applications d’inférence basées sur le deep learning, afin de réduire encore les coûts d’inférence.

« J’invite toutes les startups à utiliser Amazon SageMaker pour former leurs LLM, déclare M. Elong. « Vous avez le meilleur des deux mondes grâce à une capacité d’inférence et à une capacité de formation rentable. »