Usare l'intelligenza artificiale per formare 300 milioni di persone
L'apprendimento di una lingua straniera era probabilmente uno dei tuoi obiettivi dell'ultimo anno. E di quello prima e di quello prima ancora. Come gli abbonamenti a una palestra, spesso le nostre migliori intenzioni non durano a lungo. Al di là del tempo necessario per acquisire la padronanza di una nuova lingua, la maggior parte delle persone ha difficoltà con gli approcci tradizionali all'apprendimento. Inoltre, molti strumenti linguistici basati sul Web possono essere monotoni e difficoltosi.
La startup Duolingo, con sede a Pittsburgh, sta cambiando tutto questo con la sua piattaforma di apprendimento delle lingue basata sull'intelligenza artificiale. L'azienda ha raggiunto oltre 300 milioni di utenti con più di 32 corsi di lingua, dal francese, al tamil a lingue a rischio di estinzione, come l'hawaiano e il navajo.
Quello che fa la differenza con Duolingo è il suo approccio di apprendimento personalizzato, che ludicizza l'esperienza di apprendimento attraverso un sistema di ricompense basato su punti per coinvolgere gli utenti e spronarli a progredire verso la competenza. Il Dipartimento di Stato Americano stima che sono necessarie 600 ore per imparare una lingua di prima categoria come il francese o l'italiano. Duolingo spera che tu possa farlo impiegando soli 15 minuti al giorno.
Gli utenti iniziano con il test di collocamento adattivo guidato dall'IA di Duolingo, in cui vengono sottoposti a esercizi reali, come quelli che si svolgono durante il corso: se hai studiato il francese per cinque anni alle superiori, non dovrai cominciare dall'inizio del corso più elementare. Ogni domanda o sfida del test viene scelta in modo adattivo in base alla domanda precedente e al fatto che tu abbia risposto correttamente o meno.
"La difficoltà delle parole, la grammatica e il modo in cui le presentiamo durante il test, contribuiscono a determinare la configurazione esatta, in modo che in meno di cinque minuti possiamo farci un'idea precisa del livello da cui farti partire al corso", spiega Burr Settles, Research Director di Duolingo.
Utilizzando un concetto chiamato "ripetizione distanziata", le lezioni di lingua sono progettate in modo che gli utenti esercitino attività personalizzate su intervalli sempre più lunghi, il che si è dimostrato più efficace rispetto alle lezioni stipate in un breve periodo di tempo.
Man mano che la tua esperienza aumenta, interagisci con i contenuti in modi diversi. Ad esempio, per ogni parola nel corso delle lezioni, Duolingo tiene traccia di quante volte l'hai vista, quante volte l'hai interpretata correttamente, le modalità in cui l'hai intesa correttamente e quanto tempo è passato dall'ultima volta che l'hai utilizzata correttamente.
"Utilizzando l'intelligenza artificiale possiamo prevedere in qualsiasi momento la probabilità che tu riesca a ricordare quella parola in un determinato contesto", spiega Burr. "E possiamo assegnarti ciò di cui hai bisogno per continuare a fare pratica, esattamente quando ne hai bisogno".
"Possiamo assegnarti ciò di cui hai bisogno per continuare a fare pratica, esattamente quando ne hai bisogno".
Burr Settles
Research Director
Duolingo
"Possiamo assegnarti ciò di cui hai bisogno per continuare a fare pratica, esattamente quando ne hai bisogno".
Burr Settles
Research Director
Duolingo
L'apprendimento alla base del linguaggio
Per realizzare questo sistema di intelligenza artificiale, Duolingo utilizza il deep learning, un sottoinsieme di intelligenza artificiale e machine learning che sfrutta le reti neurali per imitare il comportamento del cervello, così di analizzare rapidamente i dati e fare previsioni intelligenti. Utilizzando algoritmi di deep learning per l'elaborazione del linguaggio naturale, l'azienda può analizzare i dati di log degli utenti per prevedere la probabilità che essi selezionino una risposta corretta. Queste previsioni sono la base per personalizzare sia il test di apprendimento adattivo che i contenuti dell'app di apprendimento.
Ma all'inizio le cose erano diverse. L'azienda è nata nel 2009 come un progetto di traduzione chiamato Monolingo presso la Carnegie Mellon University (CMU). L'obiettivo era insegnare agli utenti una lingua straniera facendo tradurre documenti come articoli da Wikipedia o siti di notizie. All'epoca, Monolingo (e anche i primi Duolingo) utilizzavano algoritmi di scienza cognitiva più tradizionali. Ad esempio, gli algoritmi di base utilizzavano parametri selezionati in modo manuale, il che significa che non apprendevano necessariamente da dati reali. Mentre i ricercatori di Duolingo A/B testavano vari approcci con gli utenti, è risultato chiaro che, per il livello di personalizzazione a cui miravano, erano necessari modelli di machine learning più sofisticati e personalizzati.
"Si tratta di problematiche molto specifiche, quindi abbiamo dovuto inventare tutto da zero", afferma Burr. "È un normale ciclo di vita per questi casi d'uso provare prima un approccio cognitivo rudimentale per iniziare a raccogliere dati e poi, una volta acquisiti, iniziare a perfezionarli con il deep learning".
Per sviluppare questi algoritmi personalizzati (dal riconoscimento vocale non nativo alla classificazione per il punteggio automatico), Duolingo utilizza il framework di deep learning PyTorch su Amazon Web Services (AWS). Questi modelli di deep learning vengono addestrati e quindi implementati in produzione utilizzando istanze GPU ad alte prestazioni Amazon EC2 P3. La velocità e la scalabilità sono essenziali per la formazione poiché i modelli possono utilizzare da 100.000 a 30 milioni di punti dati alla volta, a seconda del problema, per effettuare più di 300 milioni di previsioni ogni giorno.
"Utilizzeremo una finestra scorrevole perché bastano solo due settimane di dati, considerato il numero di utenti, il numero di test, il numero di lingue, per addestrare i nostri modelli", afferma Burr. Per la gestione delle pipeline di dati per il machine learning, l'azienda utilizza Amazon DynamoDB per la gestione dei dati, Amazon EMR con Amazon EBS come archiviazione temporanea, Amazon S3 per l'archiviazione permanente e Spark per eseguire i calcoli per le previsioni periodiche in batch.
Inoltre, per dare vita alle sue applicazioni, Duolingo utilizza Amazon Polly, uno strumento di sintesi vocale basato sul deep learning che si integra facilmente nelle sue applicazioni, in grado di dare voce ai test e a numerosi corsi.
Utilizzando questi strumenti di deep learning, l'azienda ha registrato un miglioramento sia nell'accuratezza delle previsioni che nel coinvolgimento degli utenti. Il numero di utenti che hanno utilizzato Duolingo e sono tornati il secondo giorno è migliorato immediatamente del 12%.
Burr e il team di Duolingo continuano a testare nuove possibilità con il deep learning, esplorando modelli per la sicurezza dei test, il rilevamento delle frodi, la biometria e la comprensione del contesto. Ad esempio, potresti aver dato una risposta sbagliata a un quesito, ma il motivo dell'errore potrebbe non essere così chiaro. Hai sbagliato perché hai dimenticato la parola? O forse l'hai coniugata male.
"Non è sempre facile ricavare dal segnale che riceviamo quale sia stata la causa", afferma Burr. "C'è molto altro da fare con l'IA".
Man mano che Duolingo migliora la sua offerta linguistica utilizzando il deep learning, è possibile che tu sia in grado di raggiungere almeno un obiettivo nei tuoi propositi per il nuovo anno.