Cu proiectul lor HoloLens 2, Microsoft și Volkswagen colaborează pentru a lansa ochelari de realitate augmentată

Imaginați-vă că vă puneți o pereche de ochelari de realitate augmentată în timp ce ieșiți dimineața și intrați în mașină. Pe măsură ce mașina cu conducere autonomă te duce la destinație, primești afișaje holografice cu informații despre trafic, condiții meteorologice, recomandări de cumpărături și elemente arhitecturale pe parcurs. Și pe măsură ce soarele răsare, puteți folosi comenzile holografice în fața dvs. pentru a regla temperatura interioară după bunul plac.

Acesta este viitorul mobilității imaginat de cercetătorii de la producătorul german de automobile Volkswagen, care văd realitatea augmentată ca una dintre componentele cheie ale viitoarelor concepte de mobilitate. Pentru a se apropia puțin de această viziune, Volkswagen a colaborat cu Microsoft pentru a permite utilizarea căștilor de realitate mixtă HoloLens 2 în vehicule în mișcare pentru prima dată.

Noul mod „platformă mobilă” pentru HoloLens 2 depășește o limitare majoră a căștilor de realitate mixtă și creează potențial pentru ca tehnologia să fie utilizată în moduri noi: împuternicirea șoferilor să facă față condițiilor dificile ale drumului, de exemplu, sau crearea de noi experiențe de utilizator pentru vehiculele autonome . . Și în timp ce mobilitatea este punctul central al Volkswagen, în viitor capacitatea ar putea fi împărtășită cu alte industrii.

Dr. Andro Kleen.

„Credem că informațiile despre realitatea mixtă sunt cele mai intuitive informații pe care le putem oferi pentru a îmbunătăți experiența de utilizare a clienților noștri”, spune dr. Andro Kleen, șeful echipei de știință a datelor la Volkswagen Group Innovation. „Pentru că ceea ce vezi acolo și ceea ce trebuie să procesezi este foarte aproape de ceea ce văd și procesează oamenii în mod normal. Nu este atât de abstract.”

Volkswagen, unul dintre cei care a adoptat tehnologia de realitate augmentată, a introdus pe ID-ul său un afișaj head-up cu realitate augmentată. familie de mașini electrice în 2020 care proiectează săgeți de navigație, marcaje ale benzilor și alte informații în mediul înconjurător din fața mașinilor.

Dar Volkswagen se gândea la potențialul realității augmentate chiar mai devreme, spune Kleen. În 2015, de exemplu, Volkswagen s-a angajat într-un proiect de cercetare folosind vehicule autonome și realitate augmentată pentru a preda conducerea pe o pistă de curse. Testat la pista Volkswagen din Ehra-Lessien, Germania, sistemul Race Trainer a folosit un afișaj head-up care suprapuse linii de săgeți pe pistă pentru ca șoferii să le urmeze și a oferit indicații de direcție și frânare pentru a-i ghida printr-un set gradat de lecții. .

Volkswagen a sperat să folosească HoloLens pentru proiectul de cercetare, dar în curând a întâmpinat o problemă. Când dispozitivul a fost plasat într-un vehicul în mișcare, senzorii săi și-au pierdut urma și hologramele pe care le afișa în mod normal au dispărut. Echipa Kleen a contactat Microsoft pentru ajutor și a luat legătura cu Marc Pollefeys, directorul științific al Microsoft și expert în viziunea computerizată 3D și învățarea automată. Echipa Volkswagen a călătorit la sediul Microsoft din Redmond, Washington pentru a-i arăta lui Pollefeys și echipei sale munca lor cu HoloLens și viziunea lor pentru tehnologia de realitate augmentată.

„Am avut discuții ample”, spune Pollefeys, acum director al Microsoft AI and Mixed Reality Lab din Zurich, Elveția. „Au prezentat cazurile lor de utilizare și ceea ce sperau să permită. Au fost dornici să lucreze cu noi pentru a găsi o soluție pentru a putea folosi HoloLens în acele situații.”

Cele două echipe au început să colaboreze în jurul anului 2018 pentru a dezvolta caracteristica platformei mobile pentru HoloLens 2, care a necesitat rezolvarea unei probleme fundamentale. HoloLens folosește două tipuri principale de senzori care măsoară mișcarea dvs.: camere cu lumină vizibilă și o unitate de măsurare inerțială, sau IMU, care măsoară accelerația și viteza de rotație. Împreună, senzorii imită modul în care oamenii văd și se mișcă în jurul lumii.

Dar asemănător cu modul în care starea într-o mașină sau o barcă poate provoca rău de mișcare atunci când ceea ce pare a fi un mediu stabil se mișcă de fapt, atunci când senzorii HoloLens strâns cuplati încep să nu fie de acord într-un mediu în mișcare, măsurarea inerțială recunoscând mișcarea și camerele nu pot. – lucrurile se destramă.

Fotografie făcută în interiorul unei mașini care arată imagini de navigație suprapuse pe parbriz folosind HoloLens.
Conexiune în interiorul și în exteriorul vehiculului: un element de navigație situat în exteriorul vehiculului completează harta 3D integrată în tabloul de bord.

Pentru a rezolva această problemă, echipa lui Pollefeys a dezvoltat un algoritm care modelează discrepanțele dintre senzori și permite HoloLens să continue urmărirea. Dar testarea capacității a reprezentat o altă provocare. Întrucât restricțiile Covid-19 din Elveția au făcut imposibilă testarea tehnologiei într-un vehicul cu o altă persoană la acea vreme, Joshua Elsdon, un inginer de software senior Microsoft care a lucrat la proiect, a trebuit să elaboreze soluții din apartamentul său din Zurich.

Elsdon a conceput o platformă simulată folosind o cutie de plastic, lipând bucăți de bandă adezivă în interior pentru a adăuga o textură vizuală și pentru a oferi camerelor HoloLens ceva de urmărit. A mers cu tramvaiele și autobuzele în jurul Zurichului cu un set de căști HoloLens, asigurându-se că hologramele sale s-au menținut constant în timp ce vehiculele se mișcau. Noaptea, Elsdon a alergat în sus și în jos pe lifturile din blocul său, testând tehnologia.

„A trebuit să facem multe teste în apartamentul meu. Acestea nu sunt condiții ideale de dezvoltare”, spune Elsdon, care acum locuiește în Redmond. „Toate aceste lucruri au fost făcute de la distanță și răspândite în diferite țări, ceea ce a fost interesant”.

După realizarea prototipului inițial, echipa a efectuat și teste în Puget Sound, lângă campusul Microsoft Redmond. Au închiriat bărci de agrement, le-au scos pe apă și au folosit echipamente de măsurare externe pentru a evalua performanța sistemului HoloLens de urmărire a capului pe o platformă mobilă.

Microsoft a testat ulterior caracteristica cu Volkswagen. Cercetătorii Volkswagen au stabilit o conexiune de date bidirecțională între vehicul și HoloLens pentru a afișa și controla informațiile în timp real din mașină. În cele din urmă, echipa a implementat mai multe cazuri de utilizare demonstrative pentru a investiga modul în care interfețele virtuale ar putea îmbunătăți interiorul vehiculelor viitoare.

Fotografie făcută în interiorul unei mașini care arată imagini de navigație suprapuse pe parbriz folosind HoloLens.
Modul platformă mobilă, combinat cu datele de poziție a vehiculului, permite HoloLens 2 să fie utilizat în noi moduri.

„Am conectat un sistem de poziționare care urmărește locația vehiculului. În acest fel, am putut plasa și elemente 3D, precum informații despre puncte de interes, în afara mașinii. Acest lucru deschide posibilități complet noi nu numai pentru afișarea hologramelor în câmpul vizual frontal al șoferului, ci și oriunde se uită utilizatorul care poartă ochelari”, spune Michael Wittkämper, expert în realitate augmentată la Volkswagen.

Microsoft a lansat caracteristica platformei mobile în urmă cu câteva luni și deja atrage interesul companiilor și organizațiilor maritime, care au folosit HoloLens pentru a conecta de la distanță lucrătorii marittimi cu experți în mecanică prin Microsoft Dynamics 365 Remote Assist. Aplicația permite unui expert dintr-o altă locație să caute prin HoloLens 2 al celeilalte persoane, să-și împărtășească câmpul vizual, să diagnosticheze o problemă și să ofere feedback.

Anterior, utilizabilă numai când o navă era în port, abilitatea este și mai necesară atunci când navele sunt pe mare și o echipă se defectează.

„Cu cât echipamentul sau mașina sunt mai îndepărtate, cu atât este mai dificil să aduci expertul la fața locului”, spune Pollefeys, care este și profesor de informatică la ETH Zurich, o universitate publică de cercetare. „Această caracteristică s-a dovedit a fi critică pentru deblocarea HoloLens 2 pentru spațiul maritim.”

Caracteristica platformei mobile a HoloLens este acceptată în prezent pentru utilizarea pe nave mari, iar Microsoft intenționează să o rafinească și mai mult pentru utilizarea în lifturi, trenuri, automobile și alte medii mobile. Kleen are în vedere mai multe moduri în care tehnologia ar putea fi utilizată pentru a conecta interiorul vehiculelor cu lumea exterioară, cum ar fi ajutarea șoferilor de camioane sau autobuze să navigheze pe străzi înguste, identificarea punctelor de interes de-a lungul rutelor de conducere sau oferirea de divertisment pasagerilor.

O mână reglează climatizarea utilizând VR într-o mașină Volkswagen.
Comunicarea directă a căștii AR cu datele vehiculului permite reglarea temperaturii sau controlul intensității și direcției fluxului de aer printr-un gest.

Kleen și Pollefeys consideră că realitatea augmentată va deveni un aspect din ce în ce mai important al mobilității în viitor, pe măsură ce vor fi disponibile versiuni mai mici și mai compacte de ochelari inteligenți. Pollefeys caracterizează ochelarii de realitate mixtă ca fiind a treia generație de dispozitive de calcul personale, după computerele personale și telefoanele mobile.

„Microsoft nu este interesat doar de dispozitive comerciale precum HoloLens, ci și, pe termen lung, de dispozitive care au sens pentru consumatori să le folosească în viața de zi cu zi”, spune Pollefeys. „Cu ochelarii de realitate augmentată, te poți plimba prin lume, iar informațiile pot apărea în context, acolo unde este relevantă. Ai putea comunica cu alte persoane și, de asemenea, în 3D, spre deosebire de un ecran mic.”

Kleen are în vedere realitatea augmentată care permite experiențe de mobilitate fără întreruperi și conectate, oamenii purtând ochelari inteligenți când pleacă de acasă și primind informații prin intermediul lor, de la asistență la navigare la divertisment, în timp ce călătoresc pe tot parcursul zilei.

„Ne gândim la acest lucru ca la un sistem de mobilitate în care se vor conecta diferite produse și soluții de mobilitate”, spune Kleen. „Prezumția de bază este că această tehnologie va deveni mai ușoară și mai mică și credem că, pe măsură ce se întâmplă acest lucru, mai mulți oameni vor pune mâna pe ea și o vor integra în viața lor de zi cu zi și, prin urmare, în modul în care se deplasează de la A la B.”

Imaginea de mai sus: Volkswagen a demonstrat viitorul conducerii complet autonome în mașina sa concept Gran Turismo, ID.VIZZION. (Imagini prin amabilitatea Volkswagen)

Add Comment