Jiann

Spunti di riflessione

Il mondo è un posto pericoloso e isolarci dietro muri e gabbie in nome della sicurezza non fa altro che ostacolare momenti importanti di interazione culturale. La violenza sul luogo di lavoro segue tradizionalmente questo modello distruttivo in luoghi che, statisticamente, presentano alta criminalità. Le stazioni di rifornimento, i centri commerciali, le cantine e i negozi specializzati ergono gabbie ostruttive tra i clienti e i loro lavoratori in modo da garantirne la sicurezza. Se questo approccio migliora in qualche modo la sicurezza sul luogo di lavoro, presenta d’altronde un costo piuttosto significativo per la comunità. Jiaan rappresenta un'opportunità per cambiare, in meglio, quelle che sono le reazioni tradizionali, la cultura del luogo di lavoro e la comunità. Il sistema di sicurezza intelligente identifica la minaccia in tempo reale e consente di agire di conseguenza. Il mio obiettivo è ridurre ed eliminare del tutto quegli episodi di violenza prolungati nel tempo, che altrimenti costringerebbero il dipendente a ricorrere alle autorità solo dopo che siano accaduti.

Cosa fa

Jiaan rileva e classifica gli oggetti in un feed dal vivo e misura un livello di minaccia cumulativo che attiverà una risposta configurata. Se il sistema rileva un livello di minaccia elevato a causa della presenza di una pistola, le autorità, le agenzie di sicurezza, la direzione e i dipendenti del luogo di lavoro, riceverebbero immediatamente una notifica. Il sistema riduce, in modo significativo, il tempo necessario a notificare di un eventuale pericolo di violenza l’intero staff e le autorità e, al contempo, contribuisce a diffondere la notizia di minaccia in loco.

Creato da: Matthew Pettit

Come l’ho realizzato

Ho addestrato un modello fine-tuned con un VGG16 ridotto tramite il rilevatore di oggetti Single Shot MultiBox Detector (SSD) su una capacità di 2.6 GB di immagini annotate che raffiguravano interazioni violente e non. Una volta che il modello produceva risultati soddisfacenti nell’ambito del progetto, il modello personalizzato veniva ottimizzato con il kit di strumenti di apprendimento approfondito di Intel e trasmesso al dispositivo DeepLens.

Abbiamo sviluppato microservizi sulle funzioni Lambda di Amazon in Python per pre-elaborare, interpretare e agire sul feed dal vivo, direttamente dal dispositivo DeepLens in modo da misurare il livello di minaccia basato sul calcolo dell'accuratezza dell'oggetto rilevato e dalla relativa classificazione.

Difficoltà

Durante lo sviluppo di Jiian, mi sono imbattuto in tre ostacoli di un certo spessore (e direi almeno in una dozzina di sfide di minore impatto) che dovevo superare. La prima sfida è stata l'identificazione di una rete ottimale per rilevare e prevedere in modo accurato ed efficiente la classificazione di più oggetti all'interno di una singola immagine. La prima fase della realizzazione di questo progetto ha previsto l’utilizzo della classificazione di oggetti CNN, la quale però non è stata in grado di prevedere con precisione una o più minacce all'interno di una singola immagine. Ciò ha comportato la necessità di ampliare la ricerca e la creazione di modelli necessari a portare avanti questo progetto in modo da poter implementare una rete di rilevamento SSD.

La seconda sfida consisteva nella pianificazione di cicli di formazione con set di dati specifici per il progetto. L’addestramento richiedeva l'acquisizione di una raccolta significativa di nuovi asset, la loro annotazione, nonché la formazione del modello in base ad essi. La raccolta e l’annotazione di un set di dati misurabile richiedeva oltre 100 ore di lavoro manuale. Abbiamo impiegato più di 500 ore per addestrare il modello sulla base degli asset, il che doveva essere mitigato dal costo.

Alguni dei problemi legati all’ottimizzatore del modello e al motore di inferenza di Intel hanno richiesto una quantità di tempo che poteva essere spesa in migliorie. Gran parte della settimana finale è stata dedicata a ribaltare il framework tecnico di Intel, alla risoluzione dei bug relativi all’ottimizzatore e all’indicatore del dispositivo DeepLens. L'esperienza, tuttavia, si è dimostrata di insegnamento e ora posso dire di avere una conoscenza approfondita del set di strumenti di apprendimento approfondito di Intel.

Risultati di cui vado fiero

  • La creazione di un modello funzionale con tecnologia SSD r-CNN
  • L’ampliamento delle mie conoscenze che oggi includono il framework Mxnet e le API di SageMaker partendo da una previa conoscenza di OpenCV e Numpy
  • Acquisizione di una maggiore comprensione delle tecnologie alla base di Greengrass, DeepLens e SageMaker
  • Pazienza sbalorditiva durante l'annotazione di migliaia di immagini

Cosa ho imparato

A creare un'applicazione intelligente con tecnologia DeepLens, o qualsiasi progetto di ML, che rappresenta tanto un compito di gestione di progetti quanto di sviluppo. Esistono numerose variabili che influiscono sulla capacità delle risorse e possono comportare tempi di inattività imprevisti che devono essere risolti come parte della pianificazione. 

Cosa fare

La nostra intenzione è espandere Jiian in modo da riuscire ad includere nel nostro progetto un’ampia gamma di classificazioni di minacce che possa adattarsi ad ambienti reali in cui possano essere implementati e donati per il bene della comunità.

Creato con

DeepLens
Python
Greengrass
Lambda
SageMaker
IoT
ssd