top of page
wonder what’s up there_edited_edited.jpg
Open cultuur tech logo 2.png

Achter de schermen

Bij Open Culture Tech ontwikkelen we onze eigen open-source en gebruiksvriendelijke tools voor het maken van AI, Augmented Reality en Avatar voor livemuziek. Open Culture Tech heeft in het voorjaar van 2023 een Open Call uitgeschreven, waarbij muzikanten in Nederland zich konden aansluiten bij ons ontwikkelingsprogramma.



Uit een groot aantal aanmeldingen zijn 10 uiteenlopende artiesten geselecteerd. Van Punk tot R&B en van Folk tot EDM. Ieder met een unieke onderzoeksvraag die beantwoord kan worden door nieuwe technologie toe te passen. Vragen als: “ik heb mijn hart en ziel gestoken in het maken van een EP van 15 minuten. Ik wil dit nieuwe werk live op het podium uitvoeren, maar ik heb minimaal 30 minuten muziek nodig om een volledige show te creëren.” Of vragen als: “hoe kan ik de interactie tussen mij en het publiek versterken als ik gitaar speel op het podium?”


Samen met deze artiesten bedenken wij (het team van Open Culture Tech) originele antwoorden op deze vragen die we vertalen naar open-source AI-, AR- of Avatar-technologie – met eenvoudig te gebruiken interfaces. Vervolgens wordt elk prototype getest tijdens een live pilot show. Na 10 shows hebben we verschillende prototypes getest die we gaan combineren tot één toolkit. Op deze manier willen we de nieuwste technologie toegankelijker maken voor elke artiest. Hieronder delen we de resultaten van onze eerste twee prototypes en live pilot shows.


OATS × Avatars

De eerste Open Culture Tech pilot show kwam tot stand in nauwe samenwerking met OATS. OATS combineert punk en jazz en vestigt zich met meeslepende en krachtige liveshows. Hun vraag was: “hoe kunnen we de expressie van de leadzanger vertalen naar realtime beelden op het podium?” Om deze vraag te beantwoorden, hebben we besloten om met de hulp van Reblika de eerste versie van onze eigen tool voor het maken van Avatars te bouwen en te testen.


Unreal Engine is de wereldwijde industriestandaard voor het ontwikkelen van 3D-modellen. Het wordt gebruikt door veel grote 3D-bedrijven in de muziek-, gaming- en filmindustrie. De leercurve is steil en de prijzen voor experts zijn hoog. Reblika is een Rotterdams 3D-bedrijf met jarenlange ervaring in het maken van hoge resolutie avatars voor de creatieve industrie, die momenteel hun eigen avatar creator tool ontwikkelen – met behulp van Unreal Engine – genaamd Reblium. Voor Open Culture Tech ontwikkelt Reblika een gratis, stand-alone, open-source editie met een eenvoudig te gebruiken interface, gericht op het helpen van live muzikanten.



Het masterplan was om de lichaamsbewegingen van de zanger (Jacob Clausen) vast te leggen met een Motion Capture Suit en het signaal te koppelen aan een 3D-avatar in een 3D-omgeving die live op het podium geprojecteerd kon worden. Op deze manier konden we ervaren hoe het is om avatars op het podium te gebruiken en erachter te komen welke functionaliteiten onze tool voor het maken van avatars nodig heeft. In dit geval moest de esthetiek dystopisch, vervreemdend en glitchy zijn.


Onze eerste stap was het creëren van een workflow voor het vinden van de juiste 3D-avatar en 3D-omgeving. OATS gaf de voorkeur aan een somber personage in veiligheidspak, dat zich door een verlaten fabrieksgebouw bewoog. We besloten gebruik te maken van de Unreal Engine Marketplace, een website die kant-en-klare 3D-modellen aanbiedt. Om de 3D-omgeving te creëren, besloot Jacob Clausen een tool genaamd Polycam te gebruiken en een verlaten industriegebied te scannen. Polycam is een eenvoudig te gebruiken softwaretool die gebruik maakt van een technologie genaamd LiDAR, beter bekend als 3D-scannen. Met Polycam kunt u elk fysiek 3D-object of elke ruimte scannen en omzetten in een 3D-model.



De 3D-scan (fabriek) en avatar (gasmasker-pak) werden geïmporteerd in Unreal Engine en de avatar werd verbonden met een motion capture-pak. Hierdoor kon Jacob Clausen de hoofdpersoon op het scherm worden en de ervaring live testen op het podium van de Popronde in EKKO in Utrecht, op 19 oktober om 23.30 uur. Wat volgde was een show waar we veel van hebben geleerd.


  1. De locatie voorzag ons van een standaard beamer/projector en een wit scherm achter het podium. Door een overactieve rookmachine, onstabiele internetverbinding en een lage resolutie beamer-projector was de avatar niet altijd zichtbaar op het scherm. Toch waren er zeker momenten waarop alles samenkwam. Op deze momenten was de synchronisatie tussen Jacob en zijn avatar super interessant, het vertellen van verhalen was geweldig en de technologie toonde veel potentieel.

  2. Het Motion Capture-pak was erg duur en dit pak moesten we lenen van Reblika. Dit is niet erg duurzaam, toegankelijk en inclusief. Voor ons volgende prototype zullen we kijken naar Motion Capture AI-technologie, zoals Rokoko Vision, in plaats van pakken.

  3. De 3D-avatar en omgeving werden vanuit verschillende camerahoeken getoond. Om dit mogelijk te maken moest iemand de camerahoek (real-time) binnen de Unreal Engine-software steeds veranderen. In de toekomst moeten we vooraf gedefinieerde camerahoeken toevoegen. Op deze manier heb je geen extra persoon nodig om de visuals te bedienen.


Ineffectief × AR

De tweede use case van Open Culture Tech werd geleverd door Ineffekt. Door een mix van glinsterende zangstukken, dromerige melodieën en onderscheidende ritmes neemt Ineffekt op slimme wijze een geluid aan dat zowel comfortabel als ongrijpbaar aanvoelt. De vraag van Ineffekt was: “hoe kan ik mijn album artwork vertalen naar een virtuele ervaring die elke locatie kan transformeren in een meeslepende videoclip?”. Om deze vraag te beantwoorden, hebben we besloten om de eerste versie van onze eigen AR-creatietool te bouwen en te testen, met de hulp van Superposition, een innovatieve ontwerpstudio voor interactieve ervaringen.


Voor zijn nieuwste albumhoezen en videoclip besloot Ineffekt een 3D-model te gebruiken van een kas waarin gele organismen groeien. Dit 3D-model vormde de basis voor de AR-ervaring die we testten tijdens het Amsterdam Dance Event.

Ons belangrijkste doel was het creëren en testen van een intieme mobiele AR-ervaring die werd gebouwd met behulp van open-source 3D-technologieën. Dit betekende dat we geen populaire AR-tools zoals Spark AR (Meta), Snap AR (Snapchat) of ArCore (Google) konden gebruiken.


In ons eerste experiment werd Blender gebruikt om een 3D-model met hoge resolutie te maken en webXR werd gebruikt om dit model te vertalen naar een mobiele Augmented Reality-applicatie. Superposition besloot ook te experimenteren met App Clips op iOS en Play Instant op Android. Met deze technieken kunt u – na het scannen van een QR-code – een mobiele applicatie in uw browser openen zonder de daadwerkelijke app te downloaden.



Op 20 en 21 oktober testten we ons eerste AR-prototype voor Black & Gold in Amsterdam, tijdens ADE. Na het scannen van de QR-code op een poster werd het publiek naar een mobiele website geleid waarop het project werd uitgelegd. Dan ging de camera van je telefoon aan en zag je de gele planten/zwammen om je heen groeien. Achterin zat iemand rustig, een stille avatar. De algehele ervaring was poëtisch en intiem. Net als bij OATS hebben we veel geleerd.


  1. Met mobiele Augmented Reality technologie is het mogelijk om een intieme en waardevolle ervaring te creëren.

  2. Het is mogelijk om met open-source technologie een mobiele AR-ervaring te creëren.

  3. De ervaring was statisch en reageerde niet op de aanwezigheid van de kijker. In de toekomst moeten we kijken naar de mogelijkheden om interactieve elementen toe te voegen.


Ons uiteindelijke doel is om toegankelijke AI-, AR- en Avatar-creatietools te ontwikkelen die elke muzikant zonder onze steun kan gebruiken. In de bovenstaande voorbeelden is dit niet het geval geweest. We hebben vooral de workflow van bestaande tools getest en nog geen eigen tools gemaakt. In de toekomst zullen we beginnen met het bouwen en testen van onze eigen software-interfaces en artiesten vanaf het begin hun eigen AI- en AR Avatar-ervaringen laten creëren. Zo hopen we ervoor te zorgen dat aanstormende muzikanten ook de kansen en middelen krijgen om met de nieuwste technologie te werken.


Dit artikel verscheen ook op MUSIC x op donderdag 16 november 2023.



bottom of page