Smitty is een rapper en producer uit Amsterdam die in zijn muziek in gesprek gaat met verschillende versies van zichzelf. Hij spreekt met zijn jongere ik en oudere ik over verschillende aspecten van het leven. In zijn live shows wil hij dit concept op een visuele manier versterken en door middel van nieuwe technologie. Samen met Open Culture Tech heeft Smitty gewerkt aan het ontwikkelen van een live show waarin 3D Avatar technologie en mobiele Augmented Reality worden gebruikt om dit te realiseren. Een aantal maanden geleden hebben we een artikel geschreven waarin we ons creatieve proces met Smitty en ons technisch-creatieve team kort beschrijven. Vanuit dit proces is een live show ontwikkeld die plaatsvond op 3 mei 2024 in @droog, Amsterdam.
De avond was opgebouwd uit drie delen. Het eerste deel bestond uit de ontvangst van het publiek waarbij we mobiele AR hebben gebruikt om het publiek kennis te laten maken met de lyrics van Smitty. Het tweede deel bestond uit de live show waarin we verschillende 3D avatars van Smitty projecteerden op de witte muren van de zaal. Het derde deel bestond uit een Q&A tussen het publiek, Smitty en leden van Open Culture Tech.
De entree
Bij binnenkomst werden er grote QR-codes op het scherm geprojecteerd om de ervaring te kunnen openen. Om de lyrics van Smitty’s muziek uit te lichten hebben we een AR ervaring gemaakt met de Open Cultuur Tech AR app. Het idee hierachter was dat we een virtuele wereld creëerden waarbij de teksten van Smitty door de ruimte zweefden. In de AR-ervaring werden 5 verschillende teksten van Smitty verspreid door de ruimte. Bezoekers konden door de de witte lege ruimte van @droog lopen en de verschillende teksten zien, op dezelfde wijze als je dit zou doen bij een kunsttentoonstelling. De AR-ervaring was een opwarmer voorafgaand aan de show.
De show
Om de 3D avatars zo prominent mogelijk te laten terugkomen wilden we de illusie van een LED muur creëren in de zaal van @droog. Een LED muur is een muur van LED-schermen waar je visuals op kunt afspelen. Zo’n muur is erg duur en daarom voor de meeste kleinere podia onhaalbaar. Daarnaast vereist LED enige afstand tussen het publiek en de schermen om een helder beeld te geven. Ook dit is in veel kleinere podia lastig.
We hebben dit opgelost door twee beamers te installeren die kwalitatief goed genoeg waren om op de muren te kunnen projecteren. De projecties moesten hierbij van het plafond tot de vloer lopen omdat het anders nog steeds lijkt alsof je naar een normale projectie kijkt. De beamers waren zo uitgelijnd dat deze aan weerszijden van het podium op de muren projecteerden. Hierdoor waren er minimale schaduwen van de band op de projecties.
Op deze achterwand werden verschillende sfeerbeelden geprojecteerd ter ondersteuning van de show. Deze sfeerbeelden waren een combinatie van video's van bijvoorbeeld Pexels en eigen video-opnamen. Na het tweede nummer werd de eerste 3D avatar van Smitty geïntroduceerd op het scherm. Deze geanimeerde 3D avatar was een jongere versie van Smitty die zich langzaam omdraaide richting het publiek. Daarna was een oudere versie van Smitty te zien en werden deze avatars samen gemonteerd. De verschillende avatars, in verschillende animaties, bouwden op tot een eclectische mix die toewerkte naar een climax.
Omdat we niet de hele show de avatars wilden laten zien maar ook andere sfeerbeelden wilden tonen hebben we een eenvoudige VJ setup gecreëerd via TouchDesigner, een software tool waarmee we een eigen video-player konden bouwen. Op deze manier konden we met een midi-controller de visuals op de projecties aansturen. Door middel van een HDMI splitter konden we beide projectoren aansturen met 1 laptop.
Een belangrijke voorwaarde voor het manier met beamers is dat er niet te veel licht kan zijn in de zaal omdat de projecties dan minder goed zichtbaar worden. In het geval van Smitty gaven de projecties voldoende licht om de zaal te verlichten. Met twee kleine RGB spots en een witte spot op Smitty zelf was het verder voldoende om het podium goed uit te lichten.
De Q&A
In het publiek zaten, naast muziekliefhebbers, ook veel muzikanten en collega-rappers van Smitty. Voor deze groep zijn LED-muren, geanimeerde avatars en augmented reality niet binnen handbereik. Vanuit de gesprekken met het publiek kwam duidelijk naar voren dat ze de show, die ongeveer 45 minuten duurden, indrukwekkend vonden. De visuals voegden een waardevolle laag toe en ondersteunden het verhaal van Smitty vanuit de inhoud. Deze bevestiging is belangrijk voor de voortgang van Open Culture Tech om te valideren dat onze technologie bruikbaar is voor de doelgroep. Er zijn vervolgafspraken gemaakt met verschillende collega-rappers om te onderzoeken hoe de Open Culture Tech toolkit breder ingezet kan worden binnen de Amsterdamse hiphop community. Dit wordt vervolgd.
Comments