Google lanceerde Goggles als een openbaar product in december 2009, tijdens een evenement in het Computer History Museum verderop in de straat van Google’s Mountain View campus. Het gedemonstreerde product had slechts een paar functies: Het kon oriëntatiepunten, kunstwerken en sommige consumentenproducten identificeren, maar verder weinig. Google toonde zich zowel voorzichtig als optimistisch over het product. Het was onderdeel van Google Labs, en zelfs in de setup van de app werd verteld wat het allemaal nog niet kon. Maar iedereen kende het plan. “Google Goggles werkt vandaag de dag heel goed op bepaalde soorten objecten in bepaalde categorieën, maar het is ons doel om na verloop van tijd elk beeld visueel te kunnen identificeren,” zei Gundotra bij de lancering. “Vandaag moet je een foto inkaderen en een foto maken, maar in de toekomst zul je er gewoon naar kunnen wijzen… en we zullen het kunnen behandelen als een muisaanwijzer voor de echte wereld. “

Intern staarde het team achter Goggles echter tegen een lange lijst van problemen met de technologie aan. Ze wisten dat de toekomst van de muisaanwijzer nog jaren weg lag, als het al mogelijk was. “We hebben altijd geweten dat het meer een onderzoeksproject was,” zegt een voormalig ingenieur. Zelfs de meest geavanceerde computer vision was nog vrij primitief, en aangezien Google nog niet diep was gaan werken met machine learning en neurale netwerken, was het enige wat Goggles kon doen het vergelijken van een foto met een database.

Sommige van de problemen waren niet eens aan Google om op te lossen. Smartphone camera’s waren nog niet geweldig, noch waren mensen erg goed in het gebruik ervan. En zelfs als mensen goede foto’s namen, stonden er vaak veel potentieel interessante dingen op; Google kon niet weten of je gaf om de boom, het bankje, de puppy, of het bord in je foto. Tekstherkenningstechnologie kon helpen dingen te identificeren, maar zelfs dat was gloednieuw. Gebogen of handgeschreven tekst vormde een uitdaging voor de algoritmen, net als een automodel of een ander object dat alleen door subtiele verschillen kon worden herkend. Logo’s waren gemakkelijk; planten waren moeilijk. Barcodes waren eenvoudig; dieren waren onmogelijk. Zelfs dingen die wel werkten, duurden te lang via 3G.

Het meest frustrerende was dat Google niet eens datgene kon gebruiken wat het het beste kon, de meest Terminator-achtige functie van allemaal: gezichtsherkenning. “Als er zes of meer foto’s van jou op het internet staan die goed getagd zijn, en je maakt via ons systeem een zevende foto, dan had je 90 procent kans dat het juiste antwoord bij de eerste tien zoekresultaten zou staan,” zegt Nalawadi. Maar Google wist dat het de functie niet kon uitrollen op een moment dat regelgevers en consumenten zich al zorgen begonnen te maken over hoeveel Google over hen wist. De lancering van Google Buzz een paar maanden eerder, die bol stond van de privacyschendingen, had de gezichtsherkenning een flinke knauw gegeven.

Zelfs terwijl het team zich op de vele bergtaken stortte, bleef Google het evangelie van de Goggles verkondigen. In de zomer van 2010 hield Petrou een keynote-toespraak op de Hot Chips-conferentie in Stanford, waarin hij een nog spannender visie uiteenzette. Ongeveer halverwege een verder zeer technische toespraak, bladerde Petrou naar een dia met de titel “Digression into Augmented Reality”. Het Goggles-team dacht al een tijdje na over AR, zo bleek. Ze dachten dat als je camera kon begrijpen wat hij zag, hij mogelijk meer dingen aan de scène kon toevoegen. Een voormalig ingenieur herinnerde zich dat hij had geëxperimenteerd met hoe je dingen in je zoeker kon identificeren, zodat wanneer een auto door je beeld reed, een kleine AR-pijl met de tekst “Subaru” de auto zou kunnen volgen. Petrou stelde zich ook voor dat een gebruiker op het beroemde Abbey Road-kruispunt zou staan en de Beatles hun albumhoes in AR zou zien namaken. Of, in een andere Terminator-geïnspireerde gedachte, bedacht hij hoe je bepaalde dingen in je blik zou kunnen versterken, alsof je een thermische camera gebruikt.

Tegen het einde van diezelfde toespraak erkende Petrou wat de belangrijkste vraag voor Goggles zou worden, een vraag die elk bedrijf dat later aan AR zou gaan werken, zou gaan plagen. Hij liet het iconische beeld uit Wall-E zien, een groep zwaarlijvige mensen in uniform, zittend in stoelen, nippend aan een drankje en starend naar een scherm. “Als dit onze toekomst is, dan is AR misschien niet zo belangrijk,” zei Petrou. Augmented reality en image search doen er alleen toe als mensen zich bekommeren om de wereld om hen heen, en elke trend van schermtijd zegt dat ze dat steeds minder zijn.

Het Goggles-team zocht voortdurend naar manieren om mensen Goggles vaker te laten gebruiken. Goggles werd een Sudoku-solver, een vertaaltool en een barcodescanner, allemaal om mensen meer redenen te geven om terug te keren naar de app. Petrou herinnert zich dat hij werkte aan een functie genaamd “Virtual Graffiti”, waarbij je kon tekenen in AR en het ergens kon achterlaten zodat anderen het konden zien. De functie klinkt vrijwel identiek aan de augmented-reality kunst waar Facebook in 2017 mee pronkte voor zijn Facebook Camera platform. Google was jaren eerder bij het idee, maar heeft het nooit verscheept.

Glass Shattering

Google bleef Goggles ontwikkelen, maar de voortgang stagneerde al snel. Het bedrijf had een volledige iPhone-versie van Goggles beloofd, maar voegde deze uiteindelijk in de Google-app in – en verwijderde de functie vervolgens snel. Google sprak na 2011 nauwelijks meer over Goggles. Tegen 2012 had het bedrijf de ontwikkeling min of meer stopgezet.

De meeste mensen met wie ik heb gesproken, hadden verschillende ideeën over wat Goggles de das om heeft gedaan. Een lid van het team zegt dat ze uiteindelijk de grenzen van de technologie inzagen en het gewoon opgaven. Een ander zei dat mensen zich nog niet op hun gemak voelden bij het idee om de hele tijd met hun camera omhoog rond te lopen. Maar er was nog iets, het enige dat iedereen noemde, dat de boosdoener zou kunnen zijn.

In 2011 diende Google een patentaanvraag in voor een “head-mounted display dat een visuele weergave weergeeft van fysieke interactie met een invoerinterface buiten het gezichtsveld.” Dat zijn een heleboel woorden, maar het plaatje vertelde het verhaal: Het was Google Glass. De naam op het patent? David Petrou.

Petrou zegt dat “we nooit hebben getwijfeld aan mobiele telefoons” als een nuttige plaats voor visuele zoekopdrachten, maar anderen zeggen dat het Goggles-team altijd al wist dat smartphones niet de ideale apparaten waren voor hun technologie. Uiteindelijk bedachten ze dat gebruikers liever een gadget zouden hebben dat ze niet hoeven vast te houden of te hanteren; een bril was logisch. (Contactlenzen leken zelfs nog cooler.) Al die technologie leek echter nog jaren weg en zou grote sprongen in verwerkingskracht, batterij-efficiëntie en internetconnectiviteit vereisen. Ze bleven werken aan smartphones omdat smartphones werkten.

Maar het praktische aspect was niet voor iedereen van belang. Een voormalig lid van het Goggles-team vertelde me dat de leidinggevenden van Google Goggles gewoon leuk vonden omdat het een “whizzy demo” was. De toenmalige mede-CEO’s Larry Page en Sergey Brin vonden het leuk om Goggles aan mensen te laten zien, zei deze persoon, omdat het nieuw, vernuftig en futuristisch was. Toen Glass kwam en niet alleen zoeken met camera’s beloofde, maar een heel nieuw soort apparaat en platform, verbleekte Goggles in vergelijking daarmee. “Het was een nog snellere demo,” zegt de voormalige ingenieur.

Inderdaad, Glass werd aangeprezen ver boven elk ander Google-product voor of sinds. Brin onderbrak een keynote-toespraak op de Google I/O-conferentie in 2012 net op tijd om te zien hoe Glass-dragende skydivers door de lucht vielen, op het dak van het conferentiecentrum landden en op BMX-fietsen het auditorium binnenreden. In een opmerkelijke video getiteld “Op een dag…” liet Google zien hoe een Glass-augmented leven eruit zou kunnen zien. Brin nam Glass zelfs mee naar de TED-conferentie in 2013, waar hij hartstochtelijk pleitte voor een toekomst waarin gadgets je ogen, handen en oren vrijmaken in plaats van ze in beslag te nemen. Glass bood een complete en verleidelijke kijk op de toekomst, en inspireerde velen binnen en buiten Google. Het maakt niet uit dat de technologie niet echt werkte.

Vrij snel, zegt Nalawadi, “denk ik dat het momentum verschoof naar project Glass.” Een paar Goggles-medewerkers gingen zelfs bij het team werken. Anderen gingen elders aan de slag: bij Maps, bij YouTube, bij Google Now. Sommigen verlieten Google helemaal. Op een gegeven moment was Goggles gewoon geen ding meer. Medio 2014 was er zelfs niemand meer over om de Android-app bij te werken.

Terug naar waar we begonnen

Terug naar waar we begonnen

Terug naar waar Google Goggles opgaf, begonnen andere bedrijven de waarde van het idee in te zien. Snapchat werd in 2011 gelanceerd als een tool voor het verzenden van verdwijnende berichten, maar omarmde al snel smartphonecamera’s als een krachtig platform. Pinterest draaide om het omzetten van afbeeldingen in zoekopdrachten; pin een stoel die je leuk vindt, en Pinterest helpt je je huis in te richten. Voor Apple, Facebook en anderen verschoof augmented reality van een sciencefiction onmogelijkheid naar een product van de nabije toekomst.

Zelfs binnen Google ging de onderliggende technologie niet verloren. Sterker nog, ze werd sneller dan ooit verbeterd. “We hadden deze grote stap-functiesprong vanwege deep learning,” zegt Aparna Chennapragada, een senior directeur van product bij Google. “Dezelfde sprong die we maakten met spraak, zagen we ook bij het zoeken naar afbeeldingen.” Dankzij de investering in AI-chips, en Google’s bedrijfsbrede verschuiving naar AI-denken, werden de resultaten beter en sneller beter1. Het eerste resultaat van de verschuiving: Google Photos, met zijn krachtige zoek- en ondersteuningsmogelijkheden. (Hier kon Google eindelijk ook zijn gezichtsherkenning uitrollen.)

Na al die jaren is het grootste deel van wat Goggles tegenhield, opgelost. De camera’s van smartphones zijn uitstekend, net als de contextverzamelende sensoren zoals gyroscopen en GPS die helpen de positie van een gebruiker in de wereld te verankeren. Als gevolg daarvan openen miljarden gebruikers vrolijk tientallen keren per dag hun telefoon om herinneringen te delen, bonnetjes vast te leggen, gebeurtenissen te livestreamen en dingen op te slaan om later te onthouden. De back-end technologie is sneller, de front-end interfaces zijn eenvoudiger. Niemand draagt nog face-puters, maar gebruikers vinden het niet erg om het op hun telefoon te doen.

Dat alles helpt verklaren wat er in mei 2017 gebeurde, toen Google CEO Sundar Pichai het podium betrad op de I/O-ontwikkelaarsconferentie en aankondigde… In principe weer een bril. Alleen heet het deze keer Lens. “Google Lens is een set van vision-gebaseerde computervaardigheden die kunnen begrijpen waar je naar kijkt, en je helpen actie te ondernemen op basis van die informatie,” zei Pichai. Hij gaf demo’s: het identificeren van een soort bloem, of automatisch verbinding maken met Wi-Fi door alleen een foto te maken van de gebruikersnaam en het wachtwoord. Tot zover Goggles. Inclusief het feit dat niets van wat in die video werkte op korte termijn mogelijk zou zijn in het echte product. Op dit moment doet Lens hetzelfde als Goggles in 2010, alleen veel sneller.

Het is gemakkelijk om je af te vragen of Google een jarenlange voorsprong heeft verkwanseld door na te denken over hoe mensen hun camera zouden willen gebruiken. Een paar mensen binnen het bedrijf hebben begrepen dat gebruikers op een dag de wereld zouden willen verkennen via het scherm van hun telefoon. Misschien willen ze hun telefoon ergens op richten om het beter te begrijpen, en misschien willen ze de digitale wereld over de fysieke wereld heen leggen. Google wist het misschien als eerste, maar anderen versloegen het in de race om iets te bouwen dat de harten en geesten van gebruikers veroverde.

Still, zelfs als Google eerder bij het feest had kunnen zijn, is het nog steeds niet te laat. Google heeft een groot aantal intrinsieke voordelen, van zijn kennis van zoekmachines tot zijn lange geschiedenis van het verzamelen en personaliseren van gegevens. En Google heeft een paar lessen geleerd in het Goggles experiment. Deze keer zal Lens geen op zichzelf staande app zijn. In plaats daarvan zal de technologie door veel Google-producten lopen. Het helpt je telefoonnummers of restaurantinformatie te halen uit elke foto in Google Foto’s. Binnenkort zal het deel uitmaken van Google Assistant, waarmee je alles kunt opzoeken wat je nodig hebt, op welke manier je maar wilt. In plaats van een app te maken die je misschien nooit zult openen, plaatst Google Lens overal waar je het al hebt, in de hoop dat je het zult ontdekken en gebruiken.

Google heeft duidelijk gemaakt dat Lens een langetermijninzet is voor het bedrijf, en een platform voor veel gebruikscases. Pichai vergeleek Lens met het begin van Google, hoe zoeken alleen mogelijk was omdat Google webpagina’s begreep. Nu is het aan het leren om de wereld te begrijpen. Je kunt er zeker van zijn dat de volgende keer dat Google een computer op je gezicht probeert te zetten, Lens er zal zijn. Dat zal een hele demo worden.

1UPDATE: Dit stuk geeft nu nauwkeurig weer welke delen van Google’s AI-investeringen direct hebben bijgedragen aan zijn visuele zoekprojecten.