Un clujean a creat prima rețea de socializare 3D, care a devenit virală în SUA și Japonia: „Mă consider o „dronă” când vizualizez feed-uri sociale cu poze 2D, pentru că nu am nicio putere asupra lor”

Radu B. Rusu, în vârstă de 33 de ani, a absolvit în 2004 Facultatea de Automatică și Calculatoare din cadrul Universității Tehnice din Cluj-Napoca. La nouă ani după aceea, tânărul a obținut prestigiosul premiu din domeniul roboticii, IEEE RAS Early Career, iar la începutul acestui an, aplicația Fyuse al cărui cofondator este, a devenit virală în Japonia și SUA, revoluționând modul în care utilizatorii se pot raporta la o rețea de socializare. Mai mult, compania în cadrul căreia își desfășoara activitatea, își propune să dinamizeze internetul, să îl facă mai „uman” și mai real, prin intermediul tehnologiei 3D.

Radu, care lucrează în prezent în Statele Unite, are un CV impresionant, având șansa să cerceteze tehnologiile 3D de care este mai mult decât pasionat, încă din timpul doctoratului pe care l-a susținut la Munchen. În 2009 a absolvit studiile Universității Tehnice Munchen (Technische Universitaet Muenchen). A lucrat aici în grupul de cercetare Intelligent Autonomous Systems, obținându-și diploma de doctorat în Computer Science. În perioada octombrie 2007 – decembrie 2008 a fost International Fellow Researcher la Artificial Intelligence Center (AIC), Stanford Research Institute (SRI) International, din 2009 până în 2012 a fost cercetator la Willow Garage, din 2009 este Visiting Lecturer la Stanford University, din 2012 este președinte și CEO al Open Perception, iar din 2013 CEO and cofondator al companiei Fyusion.

Cum i-a venit idee realizării unei rețele de socializare bazate pe tehnologia 3D și care este scopul acesteia, dincolo de misiunea de-și „deservi” utilizatorii, dar și cum va arăta internetul în viitor, aflăm în cele ce urmează de la creatorul aplicației Fyuse.

Reporter: Firma Fyusion, înființată de tine, a primit de curând o finanțare de 3, 35 de milioane de dolari pentru dezvoltarea tehnologiilor de procesare a imaginilor 3D. Cine sunt investitorii? Este această sumă mare sau mică pentru cercetările din acest domeniu?

Radu Rusu: Investitorii sunt New Enterprise Associates (NEA), momentan una dintre cele mai mari firme de investiții din lume cu un fond curent de investiții record de $2.6B și UTEC ca și firmă de Venture Capital. În Seria A de investiție, au mai participat și Andreas Bechtolsheim (primul investitor al Google și totodată fondatorul companiei Sun Microsystems – vândută la Oracle pentru $7.4B), Lior Susan (partener general la firma de Venture Capital Formation8) și James Joaquin (partener general al firmei de Venture Capital Obvious Ventures).

Suma de investiții este aleasă de tine ca antreprenor. Practic, în momentul în care alegi să cauți investiții externe pentru companie, tu decizi ce suma de bani ai nevoie. Sumele trebuie să fie în concordanță cu cheltuielile pe care anticipezi că la va face compania ta. Totul a fost planificat în avans și discutat cu investitorii. Firma noastră are deja venituri din licente software ale tehnologiilor noastre, deci am fost extrem de mulțumiți de rezultatul Seriei A de finanțare.

Rep: În 2013 ai obținut premiul Robotics and Automation Society Early Career 2013, pentru contribuții în crearea și coordonarea unui ecosistem open-source care încurajează transferul de tehnologie în domeniul percepției 3D între mediul academic și industrie. Despre ce tip de industrie este vorba?

Radu Rusu: În principal de industria de robotică și automatizări. Tehnologiile pe care le-am creat în ultimii 10 ani, în mare parte, au devenit open source și public domain, atât prin publicațiile științifice care le-am scris, dar mai ales prin proiectele software pe care le-am creat. Printre acestea, cel mai important este Point Cloud Library .

Datorită faptului că procesarea de imagini 3D a devenit centrală și în alte domenii în afara roboticii, precum tehnologiile de asistență în automobile sau în jocuri de genul consolelor XBox, contribuțiile amintite s-au extins și în industrii auxiliare roboticii.

Rep: Cum ți-a venit ideea realizării aplicației Fyuse de photo sharing 3D?

Radu Rusu: Am fost fascinat de ideea de a explora spațiul înconjurător de foarte multă vreme, poate cu mult înainte de studierea materiei procesare imagine avansată 3D în cadrul doctoratului. Poate din copilărie, când ne strângeam la televizor duminica să vedem emisiunea «Știința și imaginație» cu Alexandru Mironov și Star Trek – The Next Generation… cine știe. În orice caz, ideea de a studia nori de puncte 3D (en „3D point clouds”) a fost tot timpul cu mine și încet, încet, s-a transformat în pasiune.

Mi-am dat seama cu aproximativ doi ani în urma ca în toți acești ani, am interpretat greșit ce înseamnă „3D”. După sute de prezentări și publicații în care am susținut ca 3D înseamnă ceva legat de un sistem cartezian de coordonate, în care fiecare element are valori XYZ sau ceva distanță fizică în spațiu, am realizat că aceste lucruri sunt doar subiecte pur tehnice și științifice, și că majoritatea oamenilor de pe planetă au cu totul și cu totul alt sistem de referință. Spre exemplu, apariția televizoarelor „3D” (chiar dacă nu au fost o reușită așa cum s-a dorit în prima generație, ci mai mult un eșec), a asociat ideea de stereoscopie prin ochelarii pe care utilizatorul trebuie să-i poarte, pentru a vedea imaginile 3D. Ideea e simplă: totul se axează pe ideea de a crea o iluzie optică, un truc care ne face să ne gândim că ceea ce vedem este în 3D, când de fapt nu este.

Pentru a înțelege mai bine ce înseamnă 3D pentru un utilizator, am făcut câteva studii: am luat cele mai avansate rezultate pe care noi le obținusem în domeniul nostru, respectiv scene din filme gen „The Matrix” și am întrebat un eșantion de utilizatori, ce pare mai interesant și ce pare mai „3D”. Răspunsul a fost clar: efectele speciale din filme domină capacitatea noastră de a defini 3D-ul. În timp ce noi ne chinuiam să construim algoritmi complecși de digitizare care să scaneze obiectele înconjurătoare și să le transforme în modele de triunghiuri, un utilizator obișnuit era mai interesat de „cum pot să controlez camera într-o scenă așa cum am văzut în filmul The Matrix”.

Așadar, am început să construim algoritmi care să „simplifice” oarecum anumite experiențe 3D și să le reprezinte prin structuri de date care să permită unui utilizator să „controleze” experiența finală de vizualizare, într-un mod în care o poză normală în două dimensiuni nu oferă acest lucru. Așa s-a născut un nou format, care nu poate fi „pur nor de puncte 3D” (pentru că sunt multe lucruri care nu se pot reprezenta ușor în pur 3D, gen cer, obiecte transparente, lichide etc) și nici „film” (pentru că un film capturează timpul cu o anumită frecvență, gen 30 cadre pe secundă) și nici poza panoramică (pentru că o poza panoramică este 2D și nu poate reprezenta mișcarea în scenă). Acest format se numește „surround view” și e primul format hibrid 2D/3D care are ca scop capturarea spațiului înconjurător. Nu contează dacă mergi în jurul unui obiect în 30 de minute sau în 30 secunde, rezultatul trebuie să fie identic: cea mai compactă reperezentare a obiectului respectiv care îți permite să schimbi poziția camerei în jurul lui.

Aplicația Fyuse este doar un mic exemplu simplificat pe care platforma noastră tehnologică îl oferă. Cei care înțeleg bine domeniul, își vor da seama de ce e bine să simplifici experiența și să limitezi controlul în mai mult de o singură direcție pentru uz social. Fyuse ne permite să iterăm extrem de rapid algoritmii nostri și experienta care o oferim utilizatorilor, pentru că primim feedback de la ei aproape instant. Nu cred că există o metodă mai bună de a testa un nou format vizual decât printr-o aplicație socială. În curând vom lansa aplicații mult mai complexe pentru alte domenii verticale, gen e-commerce, unde vom avea metode de captură și vizualizare mult mai complexe.

Rep: Surround View este o aplicație „activă”, necesitând o anumită activitate din partea obiectului sau persoanei care trebuie „capturate”, dar și din partea utilizatorului. Asta a fost ideea care a stat la baza acestei aplicații? Cum funcționează exact?

Radu Rusu: Scopul nostru este simplu: vrem să capturam cât mai mult din spațiul înconjurător, într-un mod cât mai ușor. Lumea în care trăim nu este bidimensională, ci tridimensională.

Fotografia a devenit o formă de artă în secolul precedent și ne-a oferit, din punct de vedere al comunicării unei anumite emoții, stări de spirit. Fotografii profesioniști petrec foarte mult timp căutând acel unghi perfect care maximizează efectul sentimentului pe care vor să îl transmită. Din păcate, 99%+ din populația globului nu face parte din categoria „fotografilor profesioniști”, și folosește tehnologia camerelor digitale create, doar pentru a captura ceva, orice și să transmită acea emoție. Nu are importanță că poza nu e perfectă, peste 20 de ani, când ne vom uita din nou la ea, memoria asociativă va fi activată, și ne vom aduce aminte de acel eveniment „ca și cum ar fi fost ieri”.

Metodologia pe care o folosim noi ca societate, pentru a captura aceste imagini se numește „point and shoot”, adică „stai așa și nu mișca, pentru ca eu să îți pot face o poză”. Din cauza că nu suntem roboți și pentru că suntem mai „fluizi”, nu putem să stăm nemișcati pentru mult timp, și în multe condiții, rezultele muncii noastre sunt dezastruoase, pozele ieșind neclare. Așa că ne-am antrenat să învățăm chestii tehnice de genul „ISO” și „timp de expunere”și ne-am creat o industrie întreagă de trepiede și alte dispozitive ajutătoare care să ne permită să simulăm efectul de robot nemișcat. Nu pare totul un pic ironic? Practic suntem limitați de o tehnologie creată acum un secol și cu foarte mici excepții, nu am evoluat prea mult în acest domeniu.

Ideea noastră e să ne folosim „umanismul” din noi și să trecem de la „point and shoot” la „tap and wave”, adică să ne creem metode mult mai simple de a captura date vizuale din jurul nostru, printr-o simplă mișcare a mâinii în care ținem camera. Suntem în 2015 și avem capacitatea de a face tehnologia să funcționeze pentru noi, în loc ca noi să fim sclavii tehnologiei. Tipul de fotografie la care mă refer se numește „computational photography” (fotografie computațională) în care reconstruim rezultatul final prin „calcule”, nu doar măsurători ale fotonilor și apoi transformări prin filtre RGB așa cum o făceam până acum (simplific problema înadins). Surround View e deci un tip de fotografie computațională.

Cu Fyuse, deschidem pentru prima dată poarta către o experiență de acest gen. Mulți utilizatori vor fi păcăliți la început, crezând că ce înregistrăm este doar video, dar pe măsura ce vor folosi aplicația își vor da seama că nu este vorba de așa ceva. Fyuse este creat pentru dispozitive mobile și folosește un proces numit „sensor fusion” în care combină algoritmii de procesare de imagine în timp real cu alți senzori de pe telefon de genul accelerometru sau giroscop, pentru a calcula poziția camerei în spațiu cu o anumită acuratețe. Utilizatorul mișcă camera într-o anumită direcție și Fyuse construiește un graf vizual cu noduri și tranziții între ele, astfel încât să acopere spațiul parcurs de utilizator, într-un mod cât mai compact. Acest graf este acel „surround view”, care e procesat mai departe și apoi transmis altor utilizatori pentru vizualizare.

Pentru că Fyuse conține informații cu privire la poziția camerei în spațiu, utilizatorii care vizualizează rezultatele au capacitatea de a deveni activi în procesul de vizualizare prin interacțiunea cu poziția camerei. Poate suna ciudat, dar eu mă consider o „dronă” când vizualizez feed-uri sociale cu poze 2D, pentru că nu am nicio putere să mă opresc pe o poză și să mă mișc în jurul ei, să văd ce e în spatele unui obiect, să înțeleg mai bine contextul. Totul e pasiv. Noi sperăm să schimbăm toate aceste lucruri și să contribuim la crearea unui Internet mai bun, mai interactiv, mai plin de imersiune.

Rep: Cu ce este diferită Fyuse decât celelalte rețele de socializare? Care sunt elementele definitorii?

Radu Rusu: Rețeaua socială este doar metodologia aleasă de noi pentru a aduce cât mai rapid ideile noastre de „captură de spațiu” în fața utilizatorilor. Elementul definitoriu este clar rezultatul vizual concret, acest „surround view”, care în momentul de fața este unic, celalalte rețele sociale practic „reciclând” tehnologii „învechite” gen poze 2D sau video. Acestea nu au fost create pentru calculatoarele moderne din ziua de azi, ci pur și simplu au fost digitizate din formatele lor de film în formate digitale (exemplu JPEG și MPEG) în momentul în care au apărut calculatoarele. Surround View este 100% digital creat pentru era în care trăim, în care calculatoarele pe care le purtăm cu noi în buzunar ca și telefoane mobile au o sumedenie de senzori, ecrane „touch sensitive” și așa mai departe.

Pentru că majoritatea dintre noi venim din mediul academic, aproximativ o treime dintre colegii mei având un doctorat/PhD în domeniu, ne-am decis ca rețeaua socială Fyuse nu va calca în urma firmelor dinainte, gen Facebook, ci va fi mult mai „responsabilă”. Nu ne interesează să culegem date personale private sau să limităm utilizatorii la o anumită experiență încapsulată doar în Fyuse. Astfel, permitem tuturor să creeze aceste reprezentări vizuale și să le folosească pe paginile lor private de web, dacă doresc. Deci, fără să vrem, ne-am decis să încercăm să inovăm puțin și la nivelul social, pentru că vrem să creem o experiență diferită de ce există până acum și să fim siguri că utilizatorii noștri sunt fericiți cu ce oferim în Fyuse.

Rep: Câți membrii are în prezent Fyuse?

Radu Rusu: Din păcate, consiliul nostru administrativ de investitori nu ne permite să divulgăm această informație. Tot ce putem spune este că suntem într-un regim de crestere exponențială, lucru foarte usor de observat din activitatea prezentă în aplicație. Fyuse a devenit viral în Japonia la începutul anului și în SUA săptămâna trecută, ajungând pe locul patru, în urma Instagram, Youtube și Snapchat pe App Store.

Rep: Crezi că Fyuse va detrona celelalte rețele de socializare?

Radu Rusu: Pe scurt, credem că experiențele pe care le avem momentan în rețelele curente de socializare nu vor dăinui pentru totdeauna și că vom fi într-o continuă schimbare pentru următoarele decade. Sunt multe exemple în acest domeniu: LinkedIn, Pinterest și Snapchat care sunt pioneri în domeniile lor în ultimii trei-patru ani.

Deci nu e vorba de „detronare” ci de „diversificare” a ce înțelegem noi ca „rețea socială”. Lucrurile s-au schimbat mult de pe vremurile Myspace și Facebook, iar majoritatea generațiilor tinere tind să exploreze alte experiente noi. Fyuse este în momentul de față pe o traiectorie foarte bună și suntem siguri că își va solidifica o poziție concretă pe piața „rețelelor sociale”, pentru că vom continua să inovăm în domeniul fotografiei computaționale pentru mult timp de acum înainte.

Rep: Cum crezi că va arăta internetul peste 10 ani? Crezi că vor mai exista calculatoarele clasice?

Radu Rusu: Este clar că nu. Avem o sumedenie de exemple în acest sens. Tendințele sunt clare: dispozitive mobile (smartphones și tablets), apoi wearables (gen ochelari, vizor), apoi roboți. Totul va fi încorporat în obiecte de zi cu zi, și „ascuns”. Multe dispozitive din jurul nostru vor deveni inteligente. Avem autoturisme la care am colaborat cu tehnologia noastra în anii anteriori care funcționează autonom. În apartamentul nostru, majoritatea lucrurilor sunt digitale: de la termostat pe care îl controlez prin telefonul mobil, la majoritatea ecranelor care sunt înglobate în pereți etc.

Trăim într-unul dintre cele mai fascinante momente din evoluția noastră ca specie. Ca și companie suntem extrem de motivați să creem experiențe vizuale care să ne permită să capturăm momente importante din viața noastră și să le împărtășim celor dragi, sau să le arhivăm pentru adânci bătrâneți când vom avea timp și dorință să le retrăim sau să ni le aducem aminte.

Ce trebuie să ținem minte însă, este că avem mult de lucru din punct de vedere tehnologic și social pentru a ne adapta la aceste schimbări și pentru a nu le lăsa să ne dezumanizeze. Pe măsură ce construim experiențele vizuale pe care le vom consuma de acum înainte, trebuie să ținem minte că tot ce facem e să creem „unelte” care să ne permită să împărtășim mai bine sentimente umane la distanță sau în timp, și să nu „înlocuim” contactul uman cu cei din jurul nostru. E bine să avem această conștiința socială și să creem următoarea generație de Internet cu toate aceste aspecte în minte.

Rep: Compania Fyusion are în prezent 15 angajați. Printre aceștia se numără și români?

Radu Rusu: Firma Fyusion are 15 angajati în momentul de față, cu origini din multe colțuri ale lumii: România, Germania, Italia, Grecia, USA, Coreea, Bulgaria, Philipine. În afară de mine, unul dintre inginerii noștri de bază este și el din România.

Rep: Care sunt planurile companiei pe viitor?

Radu Rusu: Cu toate ca Fyusion de abia și-a început drumul, avem planuri foarte ambițioase în legătura cu tehnologiile și produsele pe care le dezvoltăm. Noi ne consideram o platformă orizontală, care are ca scop transformarea Internetului existent din „flat” în „interactiv și plin de imersiune”. Vrem ca formatul nostru digital să reprezinte un standard pentru captura de spațiu, așa cum filmul o face pentru captura timpului. Suntem în discuții cu multe firme de e-commerce, și fashion sau alte prezentări de produse, care deja au înglobat sau înglobează tehnologia noastră în platformele lor web. În cinci ani, sperăm că majoritatea aplicațiilor și experiențelor de pe Internet să folosească tehnologii create de noi pentru a prezenta produse sau pentru a crea experiențe vizuale superioare celor de acum pentru utilizatori.

Puteți experimenta tehnologia 3D pe propriul smartphone, „coborând” aplicația de aici.