Stel, je staat midden in het publiek bij een concert van je favoriete artiest. Je hebt een drankje in je hand en staat te genieten van een te gek optreden. Op een gegeven moment kom je er achter dat er een extra, virtuele laag bij het concert wordt aangeboden: via augmented reality, oftewel AR.
Mensen om je heen pakken hun telefoon en houden de schermpjes boven hun hoofd. De wildste visuals verschijnen in de ruimte via de schermpjes. Je bent nieuwsgierig, maar ook gereserveerd. Je wilt genieten van het moment en het concert beleven zoals het is. Aan de andere kant is het iets wat de artiest toevoegt aan de show, dus het moet haast wel de moeite waard zijn.
Dus je geeft het een kans. Je pakt je telefoon en scant de QR-code die wordt geprojecteerd op de schermen aan de zijkanten van het podium. Als het nu maar wel werkt op je niet-bepaald-nieuwe telefoon. En het niet te veel gedoe is om het te installeren. Trouwens, je databundel is bijna leeg. Is hier überhaupt goed bereik? Of wifi?
Er liggen veel technische vragen ten grondslag aan een goed werkende AR-ervaring. In dit artikel geven we inzicht in ons ontwikkelproces en de verschillende technische stappen die we doorlopen bij het ontwikkelen van de Open Cultuur Tech AR-ervaringen.
1. Het probleem
Om een augmented reality (AR) ervaring tijdens een concert toegankelijk te maken voor een groot publiek, moeten er een aantal technische uitdagingen worden overwonnen. Deze uitdagingen omvatten de diversiteit aan mobiele telefoons en besturingssystemen, variërende prestaties en hardware mogelijkheden, de beschikbaarheid van mobiel internet of wifi en de bandbreedte van deze signalen. Daarnaast is het belangrijk dat de gebruikservaring, de UX, van het hele proces zo eenvoudig mogelijk is en zo min mogelijk stappen bevat.
2. The state of the art
Om een AR-ervaring aan te bieden op een mobiele telefoon zijn er over het algemeen twee benaderingen: direct in de browser (op het web) of via een specifieke app die kan worden gedownload in de App Store (iOS) of Google Play (Android).
AR op het Web
Bij AR op het web wordt de AR-ervaring direct na het openen van een link (bijvoorbeeld na het scannen van een QR-code) geopend in de browser (bijvoorbeeld Chrome of Safari) op de telefoon. Het voordeel hiervan is dat de AR-ervaring toegankelijk is omdat de gebruikers geen app hoeven te downloaden. Het nadeel is dat de AR-ervaring op iPhones sterk beperkt wordt doordat iOS geen native ondersteuning voor webXR heeft.
AR via een App
Om AR via een app aan te bieden, moet de bezoeker deze app eerst downloaden op hun telefoon (bijvoorbeeld na het scannen van een QR-code). Het voordeel hiervan is dat de app voor zowel iOS en Android kan worden ontwikkeld in één codebase (bijvoorbeeld door de app in Unity te bouwen). Zo kunnen we een native ervaring creëren die optimaal is afgestemd op de mogelijkheden van zowel iOS als Android. Het nadeel is dat bezoekers eerst een app moeten downloaden. Dit is een hoge drempel; ervaring leert dat slechts weinig mensen bereid zijn om deze stap te nemen.
3. De denkrichting
We willen het beste van beide werelden: de meest rijke gebruikerservaring bieden zonder een drempel op te werpen om de ervaring ook daadwerkelijk te gaan gebruiken. Voor de toolkit van Open Cultuur Tech werken we aan een oplossing die gebruikmaakt van App Clips op iOS. Dit is een techniek waarmee een klein deel van een app in de browser kan worden aangeboden zonder dat de hele app hoeft te worden gedownload. Een voorbeeld hiervan is het scannen van een QR code waarmee je direct een bioscoopkaartje kan kopen, zonder dat je hiervoor de app hebt.
Een belemmering van een App Clip is de maximale bestandsgrootte. Deze mag van Apple niet groter zijn dan 15MB zodat het niet te lang duurt voordat de content van de App Clip is gedownload. Nu onderzoeken we hoe we in een App Clip assets kunnen streamen zodat we meer dan 15MB aan content kunnen aanbieden. Op die manier kunnen we via één app materiaal van verschillende artiesten aanbieden. Op basis van de gescande QR-code laden we de juiste ervaring in.
In de praktijk komt dit erop neer dat de gebruiker een QR-code kan scannen of een link kan aanklikken. Hierop wordt native een introductiescherm getoond met een knop om de ervaring te starten. Vervolgens belandt de gebruiker direct in de native AR ervaring.
Android biedt een soortgelijk systeem aan: Google Play Instant. Is deze instelling actief, dan verschijnt er een ‘Instant’ optie op de Google Play pagina van de app, waarmee de app kan worden geopend zonder deze te installeren. Het nadeel hiervan is dat de gebruikservaring niet zo goed is als op iOS. Zo is deze feature standaard niet actief, maar moet de gebruiker zelf een instelling hebben geactiveerd. In onze ervaring vervangt deze ‘instant optie’ de ene wrijving door de andere en is dit geen laagdrempelige oplossing.
Om op Android toch een wrijvingsloze ervaring te bieden, maken we gebruik van het feit dat webXR hier uitstekend wordt ondersteund. Omdat we gebruik kunnen maken van ARcore op het web kan deze ervaring native aanvoelen. De gebruikservaring ziet er dan zo uit: de bezoeker scant een QR-code of klikt op een link, waarna de AR-ervaring direct in de browser wordt geopend.
Een nadeel van bovenstaande oplossingen is dat we voor twee verschillende platformen moeten ontwikkelen: in Swift voor iOS, en in javascript (met de webXR API) voor Android. Omdat de AR apps zelf slechts een 3D object hoeven weer te geven en dus niet al te complex zullen zijn, verwachten we hierdoor echter niet al te veel ‘dubbel’ werk.
4. Conclusie
Het aanbieden van een laagdrempelige AR-ervaring tijdens een concert voor een groot publiek vereist zorgvuldige technische overwegingen. De keuze tussen een web-based benadering en een specifieke app heeft voor- en nadelen die verschillend zijn per platform. Onze voorgestelde benadering voor iOS-gebruikers met App Clips stelt ons in staat om een naadloze en rijke AR-ervaring te bieden zonder de barrière van het downloaden van een volledige app. Android-gebruikers bieden we hoogwaardige webgebaseerde AR.
Deze technische oplossingen openen nieuwe mogelijkheden voor artiesten en evenement organisatoren om hun publiek te verrassen en te betrekken bij een interactieve concertbeleving, zonder dat het publiek afhaakt door een te hoge drempel.