A partire da iOS 14 e macOS Big Sur, gli sviluppatori saranno in grado di aggiungere la capacità di rilevare corpo e mani in foto e video nelle loro app utilizzando il framework Vision. Qui la spiegazione completa.
Questa funzionalità consentirà alle app di analizzare le pose, i movimenti e i gesti delle persone, consentendo un’ampia varietà di potenziali funzionalità. Apple fornisce alcuni esempi, tra cui un’app per il fitness in grado di tracciare automaticamente l’attività fisica eseguita da un utente, un’app per l’addestramento sulla sicurezza che potrebbe aiutare i dipendenti a utilizzare l’ergonomia corretta e un’app per l’editing dei media in grado di trovare foto o video basati sulla posa simile.
Il rilevamento della posa delle mani in particolare promette di offrire una nuova forma di interazione con le app. La dimostrazione di Apple ha mostrato una persona che tiene insieme il pollice e l’indice e quindi è in grado di disegnare in un’app per iPhone senza toccare il display.
Inoltre, le app potrebbero utilizzare il framework per sovrapporre emoji o grafica sulle mani di un utente che rispecchiano il gesto specifico, come un segno di pace o dell’ok.
Un altro esempio è un’app della fotocamera che attiva automaticamente l’acquisizione di foto quando rileva l’utente che esegue un gesto specifico della mano in aria.
Il framework è in grado di rilevare più mani o corpi in una scena, ma gli algoritmi potrebbero non funzionare altrettanto bene con le persone che indossano guanti, si chinano, sono capovolte o indossano abiti traboccanti o simili a vesti. L’algoritmo può anche incontrare difficoltà se una persona è vicina al bordo dello schermo o parzialmente ostruita.
Funzionalità simili sono già disponibili tramite ARKit, ma sono limitate alle sessioni di realtà aumentata e funzionano solo con la fotocamera posteriore sui modelli compatibili di iPhone e iPad.
