L’ispirazione alla base di ReadToMe nasce dai miei figli. In particolare dai due più giovani, rispettivamente di 3 e 5 anni. Entrambi adorano i libri ma non sono ancora in grado di leggerli da soli. Volevo creare uno strumento che consentisse loro di poterne usufruire anche in assenza di noi genitori.

ReadToMe sfrutta l’apprendimento approfondito e la visione computerizzata in combinazione con i servizi disponibili in AWS. Se desideri leggere una pagina, ti basterà mostrarla ad AWS DeepLens affinché la videocamera la legga ad alta voce.

Creato da: Alex Schultz

Per ulteriori informazioni su Alex e il progetto ReadToMe, consulta questo post sul blog sul machine learning di AWS.

Per quanto il flusso di lavoro risulti semplice in apparenza, ho dovuto superare diverse difficoltà per ottenere il risultato desiderato. Di seguito elenco ogni singolo problema che ho dovuto risolvere.

• Determinare se una pagina debba essere letta necessariamente all’interno dell’inquadratura della videocamera
• Isolare il blocco testuale e ripulire l’immagine utilizzando OpenCV
• Eseguire il riconoscimento ottico dei caratteri (OCR)
• Trasformare il testo in audio
• Riprodurre l’audio attraverso gli altoparlanti

Ciascuno dei passaggi sopra descritti nascondeva problematiche impreviste (al punto tale che non sapevo se sarei riuscito a ultimare il progetto nei tempi previsti).

ReadToMe sfrutta l’apprendimento approfondito e la visione computerizzata in combinazione con i servizi disponibili in AWS. Se desideri leggere una pagina, ti basterà mostrarla ad AWS DeepLens affinché la videocamera la legga ad alta voce. Per consentire a DeepLens di operare correttamente dovevo fare in modo che rilevasse la presenza di un qualcosa da leggere all’interno dell’inquadratura. Ed è qui che entra in gioco il modello dell’apprendimento approfondito.

Ho cercato su internet ma non sono riuscito a trovare modelli preimpostati che fossero in grado di classificare le pagine di un libro. Di conseguenza ho cominciato a pensare a come preimpostare un modello utilizzando dati nuovi al fine di classificare tale tipologia di oggetto.

Ho dunque effettuato una rapida ricerca sul web per trovare immagini di libri per bambini e acquisire in tal modo i dati necessari. Pur trovando moltissime immagini di copertine, nessuna delle foto ritraeva soggetti che stringevano in mano un libro in un’inclinazione che mi permettesse di procedere all’impostazione dell’applicazione. Avevo bisogno delle immagini di pagine vere e proprie comprensive di testo. Per fortuna ho quattro bambini che posseggono centinaia di libri adatti alla loro età. E così, una sera ho preso una quarantina di volumi e ho cominciato a scattare varie foto di me stesso mentre li tenevo in mano orientandoli di volta in volta in maniera diversa, utilizzando vari tagli di luce e oscurando alcune parti della pagina inquadrata nella foto.

Durante tale processo mi sono accorto che i blocchi di testo contenuti nei libri variavano considerevolmente a seconda del caso. Talvolta il testo era bianco su sfondo nero, mentre in altre occasioni era l’esatto contrario. Altre volte il testo era colorato ed emergeva da uno sfondo cangiante. Il testo poteva scorrere a piè di pagina oppure su tutta la superficie del libro senza alcun ordine logico. Di conseguenza ho deciso di restringere il cerchio e catturare unicamente le immagini dei libri il cui testo fosse posizionato in modo “pressoché normale”. Ho pensato che se avessi costituito un dataset troppo ampio avrei realizzato un modello incapace di discernere i blocchi testuali da tutto il resto. Col tempo forse potrò sperimentare con altre tipologie di dati ma per questo progetto ho deciso di operare una selezione meno inclusiva.

Dopo aver acquisito i dati ho usato labelImg per generare i file xml Pascal VOC che avrei utilizzato per impostare il modello. A quel punto ho cercato di capire come formattare i miei data nella maniera corretta in modo da impostarli con MXNet. Avendo trovato alcuni esempi utilizzando TensorFlow, ho scelto di percorrere quella strada. Una volta ultimato il progetto avrei potuto comunque tornare indietro e renderlo operativo tramite MXNet qualora avessi avuto ancora tempo a disposizione. Sono riuscito a seguire uno degli esempi trovati su YouTube e ho creato un modello operativo in grado di rilevare il testo contenuto in una pagina. 

È stato sorprendente capire come fosse facile integrare Tesseract all’interno del progetto. Mi è bastato installarlo sul dispositivo e fare lo stesso con il pacchetto python. Dopo aver eseguito tali passaggi, il flusso di lavoro avrebbe richiesto semplicemente una chiamata di funzione. È sufficiente fornire un’immagine da elaborare per poi ottenerne il testo su schermata. All’inizio pensavo di utilizzare una funzione Lambda separata con Tesseract installato per eseguire l’OCR, tuttavia ho deciso di includerla alla fine nella mia funzione Lambda principale poiché più semplice da ridurre nel flusso da e verso AWS. L’OCR effettivo pareva non necessitare di un’eccessiva potenza di calcolo e, a paragone con il percorso avente AWS come punto di origine e di arrivo, il tempo sembrava comparabile. Inoltre, ciò mi permette di lavorare più “al limite”, rendendo l’operazione più efficace ed econimica allo stesso tempo.

L’impiego di Tesseract nascondeva un piccolo inghippo. La libreria è alquanto esigente in fatto di qualità delle immagini. C’è voluto un po’ di tempo per capire come ripulire le immagini al punto tale da ottenere una lettura chiara e pulita. Inoltre, Tesseract richiede che il testo sia disposto quasi totalmente in orizzontale (il che è praticamente impossibile, visto che il progetto è destinato a bambini in età prescolare). Ho utilizzato OpenCV per la maggior parte del processo di pre-elaborazione e, dopo una serie di tentativi, sono riuscito a produrre immagini che riportassero un testo di colore nero o bianco senza particolari sbavature. È stata la chiave per rendere operativo il mio progetto. Alla fine i risultati si sono rivelati migliori di quanto mi aspettassi. Tuttavia, sono sicuro che ci sia ancora spazio per perfezionare l’applicazione.

Questo passaggio è stato il più semplice in assoluto. Dopo essere riuscito a riprodurre l’audio tramite il dispositivo, ho integrato la stessa logica in un’unica funzione di chiamata che induce AWS Polly a generare semplicemente il file audio. Non scrivo mai il file su disco, piuttosto mi limito a convogliare il flusso di byte verso la libreria audio per poi eliminarlo una volta terminata l’esecuzione del file audio. Utilizzo alcuni file mp3 statici che vengono riprodotti all’avvio del servizio Green Grass. Impiego tali file per informare l’utente di turno sulle modalità di utilizzo del dispositivo. Ho preferito non utilizzare Poly per generare le informazioni poiché il messaggio rimane sempre invariato, pertanto ho preferito generarle in anticipo per poi distribuirle con la funzione Lambda. (Adoro la facilità con cui i servizi AWS si integrano con i miei progetti!)

Green Grass richiede l’esplicita autorizzazione a utilizzare tutti i componenti hardware a cui può accedere il tuo codice. Uno dei modi con cui puoi effettuare la configurazione è attraverso la sezione delle risorse di gruppo nella console AWS IOT. Una volta completata la configurazione devi trasferire tali impostazioni in DeepLens. Tale operazione genera un file JSON che viene distribuito in una directory greengrass sul dispositivo.

Per abilitare la riproduzione dell’audio tramite la funzione Lambda è necessario aggiungere due risorse. La scheda audio di DeepLens è localizzata nel percorso “/dev/snd/”. Per riprodurre il suono bisogna aggiungere sia “/dev/snd/pcmC0D0p” sia “/dev/snd/controlC0”.

Nota a margine: è necessario aggiungere nuovamente queste risorse ogni volta che si assegna un progetto al dispositivo. Al momento in cui scrivo, Green Grass sovrascrive il file delle risorse con un gruppo .json pre-configurato ogni volta che si assegna un progetto a DeepLens.