Jan Modaal is een punk "smartlappen" zanger uit Amsterdam. Hij is een expressieve artiest die sociale thema's belicht in zijn muziek en teksten. Op 24 augustus speelt hij live in Cinetol in Amsterdam. Hieronder geven we je een voorproefje van de conceptuele en technische inhoud van deze avond.
Als podiumartiest is Jan Modaal de frontman en gitarist in verschillende punkbands. Naast gitaarspelen en zingen heeft Jan beperkte mogelijkheden om zichzelf fysiek en visueel te uiten op het podium. Om deze reden onderzoeken Jan en Open Culture Tech hoe we zijn gezicht en lichaamsbewegingen kunnen versterken en vertalen naar real-time visuals met behulp van onze eigen Avatar creator tool.
Met de nieuwste versie van onze Avatar creator tool is het mogelijk om jezelf als een 3D-personage (met Polycam) te uploaden en deze avatar in real-time te animeren met een webcam die je bewegingen kopieert. In onze eerste live show met OATS deden we dit met behulp van een motion capture pak, maar dit was te duur en technisch ingewikkeld. Daarom hebben we voor Jan een webcamfunctie ontwikkeld. Bovendien is het mogelijk om de Avatar in een 3D-ruimte te plaatsen en de achtergrondomgeving aan te passen. Deze 3D-creatie kan live gestreamd en geprojecteerd worden op een groot scherm.
Op basis van deze technische basis is er een concept ontwikkeld voor de liveshow van Jan Modaal, genaamd "Jandroid Modaal". Tijdens deze show worden er grote gordijnen vooraan het podium gehangen. Jan zal achter deze gordijnen staan en zijn show uitvoeren terwijl zijn bewegingen door de webcam worden vastgelegd, die zijn bewegingen omzet in 3D-animatie. Een livestream van deze geanimeerde Avatar wordt vervolgens geprojecteerd op het gordijn op het podium.
De achtergrondomgeving is versierd met video's die Jan Modaal maakt met Runway. Dit is een populaire tekst-naar-video AI-tool waarmee je eenvoudig korte video's kunt genereren op basis van tekstinvoeren. In deze video's worden verschillende "toekomstscenario's" gegenereerd vanuit verschillende "punk" invalshoeken. Cyberpunk, solarpunk, steampunk, biopunk, enzovoort.
In onze Jandroid Modaal show staat de fusie tussen digitale en fysieke realiteit centraal, terwijl Jan de spanning tussen deze twee werelden verkent. Tijdens de live uitvoering zal Jan spelen met de wereld voor het scherm en de wereld achter het scherm. We onthullen niet precies hoe dit zal zijn; dit kan live worden ervaren op 24 augustus om 20:00 uur in Cinetol Amsterdam.
De samenwerking met Jan Modaal heeft geresulteerd in een reeks nieuwe functionaliteiten voor onze eigen Avatar creator tool die we binnenkort zullen vrijgeven op de website van Open Cultuur Tech.
Comments