top of page

Zoeken

23 items found for ""

  • Case Study: Immersieve Avatars

    Smitty is een rapper en producer uit Amsterdam die in zijn muziek in gesprek gaat met verschillende versies van zichzelf. Hij spreekt met zijn jongere ik en oudere ik over verschillende aspecten van het leven. In zijn live shows wil hij dit concept op een visuele manier versterken en door middel van nieuwe technologie. Samen met Open Culture Tech heeft Smitty gewerkt aan het ontwikkelen van een live show waarin 3D Avatar technologie en mobiele Augmented Reality worden gebruikt om dit te realiseren. Een aantal maanden geleden hebben we een artikel geschreven waarin we ons creatieve proces met Smitty en ons technisch-creatieve team kort beschrijven. Vanuit dit proces is een live show ontwikkeld die plaatsvond op 3 mei 2024 in @droog, Amsterdam. De avond was opgebouwd uit drie delen. Het eerste deel bestond uit de ontvangst van het publiek waarbij we mobiele AR hebben gebruikt om het publiek kennis te laten maken met de lyrics van Smitty. Het tweede deel bestond uit de live show waarin we verschillende 3D avatars van Smitty projecteerden op de witte muren van de zaal. Het derde deel bestond uit een Q&A tussen het publiek, Smitty en leden van Open Culture Tech. De entree Bij binnenkomst werden er grote QR-codes op het scherm geprojecteerd om de ervaring te kunnen openen. Om de lyrics van Smitty’s muziek uit te lichten hebben we een AR ervaring gemaakt met de Open Cultuur Tech AR app. Het idee hierachter was dat we een virtuele wereld creëerden waarbij de teksten van Smitty door de ruimte zweefden. In de AR-ervaring werden 5 verschillende teksten van Smitty verspreid door de ruimte. Bezoekers konden door de de witte lege ruimte van @droog lopen en de verschillende teksten zien, op dezelfde wijze als je dit zou doen bij een kunsttentoonstelling. De AR-ervaring was een opwarmer voorafgaand aan de show. De show Om de 3D avatars zo prominent mogelijk te laten terugkomen wilden we de illusie van een LED muur creëren in de zaal van @droog. Een LED muur is een muur van LED-schermen waar je visuals op kunt afspelen. Zo’n muur is erg duur en daarom voor de meeste kleinere podia onhaalbaar. Daarnaast vereist LED enige afstand tussen het publiek en de schermen om een helder beeld te geven. Ook dit is in veel kleinere podia lastig. We hebben dit opgelost door twee beamers te installeren die kwalitatief goed genoeg waren om op de muren te kunnen projecteren. De projecties moesten hierbij van het plafond tot de vloer lopen omdat het anders nog steeds lijkt alsof je naar een normale projectie kijkt. De beamers waren zo uitgelijnd dat deze aan weerszijden van het podium op de muren projecteerden. Hierdoor waren er minimale schaduwen van de band op de projecties. Op deze achterwand werden verschillende sfeerbeelden geprojecteerd ter ondersteuning van de show. Deze sfeerbeelden waren een combinatie van video's van bijvoorbeeld Pexels en eigen video-opnamen. Na het tweede nummer werd de eerste 3D avatar van Smitty geïntroduceerd op het scherm. Deze geanimeerde 3D avatar was een jongere versie van Smitty die zich langzaam omdraaide richting het publiek. Daarna was een oudere versie van Smitty te zien en werden deze avatars samen gemonteerd. De verschillende avatars, in verschillende animaties, bouwden op tot een eclectische mix die toewerkte naar een climax. Omdat we niet de hele show de avatars wilden laten zien maar ook andere sfeerbeelden wilden tonen hebben we een eenvoudige VJ setup gecreëerd via TouchDesigner, een software tool waarmee we een eigen video-player konden bouwen. Op deze manier konden we met een midi-controller de visuals op de projecties aansturen. Door middel van een HDMI splitter konden we beide projectoren aansturen met 1 laptop. Een belangrijke voorwaarde voor het manier met beamers is dat er niet te veel licht kan zijn in de zaal omdat de projecties dan minder goed zichtbaar worden. In het geval van Smitty gaven de projecties voldoende licht om de zaal te verlichten. Met twee kleine RGB spots en een witte spot op Smitty zelf was het verder voldoende om het podium goed uit te lichten. De Q&A In het publiek zaten, naast muziekliefhebbers, ook veel muzikanten en collega-rappers van Smitty. Voor deze groep zijn LED-muren, geanimeerde avatars en augmented reality niet binnen handbereik. Vanuit de gesprekken met het publiek kwam duidelijk naar voren dat ze de show, die ongeveer 45 minuten duurden, indrukwekkend vonden. De visuals voegden een waardevolle laag toe en ondersteunden het verhaal van Smitty vanuit de inhoud. Deze bevestiging is belangrijk voor de voortgang van Open Culture Tech om te valideren dat onze technologie bruikbaar is voor de doelgroep. Er zijn vervolgafspraken gemaakt met verschillende collega-rappers om te onderzoeken hoe de Open Culture Tech toolkit breder ingezet kan worden binnen de Amsterdamse hiphop community. Dit wordt vervolgd.

  • Case study: AI, AR, piano's en soundscapes

    Eveline Ypma is filmcomponist, multi-instrumentalist en soundscape artist uit Amsterdam. Vincent Höfte een jazzpianist uit Den Haag. Samen met het team van Open Culture Tech hebben beide artiesten gewerkt aan twee unieke concepten waarin we AI en AR gebruiken om de live performance te verrijken met toegankelijke technologie. In dit artikel delen we alvast de eerste uitkomsten van deze voorstellingen. Eveline Ypma & AI samples Laugarvatn is een bestaande productie die is opgebouwd uit 3 delen van ongeveer 5 minuten. De voorstelling is vernoemd naar een plek waar Eveline Ypma verschillende field recordings heeft gemaakt tijdens haar residentie op IJsland. Deze field recordings vormen de basis voor 3 soundscapes waarin ze deze field recordings combineert met live zang en basgitaar. Samen met het team van Open Culture Tech is daar een vierde deel van 10 minuten aan toegevoegd waarin de IJslandse field recordings zijn vervangen door AI-gegenereerde geluidsfragmenten, in de stijl van de IJslandse field recordings. Om originele samples te genereren, speelde Eveline met verschillende text-to-music tools (ChatGPT's voor muziek). Tijdens haar residentie op IJsland heeft Eveline het noorderlicht nooit gezien, dus besloot ze AI te gebruiken om unieke geluidssamples te genereren op basis van de opdracht “Northern Lights Soundscape”. Op deze manier kon Eveline nieuwe muziek creëren, geïnspireerd door haar reis, en een muziekstuk toevoegen aan haar reeds bestaande werk Laugarvatn. Het resultaat van de samenwerking tussen Eveline Ypma en Open Culture Tech is niet alleen een showcase waarin we generatieve AI hebben gebruikt om samples te genereren voor een live performance, maar ook de eerste versie van eigen open-source AI-tool waarmee iedereen zelf samples kan creëren op basis van prompts. Als je nieuwsgierig bent naar het maakproces van deze tool, en meer wil weten over hoe deze applicatie tot stand is gekomen, lees hier het uitgebreide artikel. Vincent Höfte & mobiele AR Vincent Hofte is een jazzpianist die regelmatig op openbare piano’s speelt op stations door heel Nederland. Samen met Open Culture Tech heeft Vincent een korte voorstelling gemaakt waarin hij eigen pianostukken speelt terwijl een mobiele Augmented Reality filter een visuele laag toevoegt aan de werkelijkheid. Door een QR code te scannen met je mobiele telefoon opent de camera op je mobiele telefoon en zie je gekleurde vlakken zweven door de ruimte. Deze vlakken zijn bewerkte foto’s van de stationshal zelf, waardoor een mix ontstaat tussen de architectuur van het station en de herhalende vormen in de foto’s. In deze show werd de eerste versie van onze eigen Augmented Reality app gebruikt die wij over een aantal maanden gratis en openbaar publiceren. Als je ook nieuwsgierig bent naar het maakproces van deze applicatie, en meer wil weten over hoe deze applicatie tot stand is gekomen, lees hier het uitgebreide artikel.

  • Generatieve AI & gebruiksvoorwaarden

    Laten we beginnen met te zeggen dat dit artikel geen eindpunt is. Het is een stap in ons lopende onderzoek naar de ontwikkeling van verantwoorde AI-toepassingen voor kunstenaars. Eén van deze artiesten is Eveline Ypma, met wie wij op 4 april 2024 een live optreden organiseren in OT301. Samen met Eveline onderzoeken we het potentieel van tekst-naar-muziek. AI-technologie zal onze bevindingen in dit artikel delen. Eveline maakte een EP die gesamplede veldopnames uit de natuur van IJsland combineert met haar eigen zang en basgitaar. Het resultaat is een harmonieuze soundscape van 15 minuten. Onze uitdaging was om deze EP uit te breiden en te vertalen naar een live optreden van 30-45 minuten, met behulp van generatieve AI. Samen besloten we te experimenteren met AI-tools die gelijksoortige veldopnames en geluidseffecten kunnen genereren die Eveline zou kunnen gebruiken om haar liveoptreden uit te breiden. Hoe zijn wij begonnen? Ons doel was om nieuwe audiobestanden (10-20 seconden) te genereren die lijken op haar eigen IJslandse muzieksamples. Om dit te doen zijn we begonnen met een onderzoek naar verschillende manieren om nieuwe muziek te genereren met AI. Welke AI-modellen zijn er al? Welke bestaande tools kunnen we testen? En hoe zorgen we ervoor dat de technologie-leveranciers de gegevens van Eveline niet stelen? Eerst hebben we een reeks experimenten uitgevoerd met bestaande AI-modellen. Geïnspireerd door Dadabots en hun oneindige stroom door AI gegenereerde death metal, zijn we aan de slag gegaan met SampleRNN modellen. Dit is een audio-to-audio model waarbij je een muziekbestand uploadt en er vergelijkbare muziekbestanden voor terugkrijgt. Helaas waren we niet tevreden met de resultaten omdat de output teveel ruis bevatte. Bovendien was het proces zeer tijdrovend en zeer complex. We zijn overgegaan op het algoritme van Stable Diffusion genaamd Dance Diffusion. Dit is ook een audio-to-audio systeem waarmee u audiofragmenten kunt maken die klinken als uw invoerbestanden. Helaas produceerde ook dit model, net als het vorige model, veel ruis en was erg glitchy. Ons doel was om te zoeken naar kant-en-klare AI modellen die we onmiddellijk konden gebruiken om een workflow voor Eveline te creëren – zonder dat we ons eigen aangepaste AI-model hoefden te trainen. Maar helaas bleek dit lastiger dan verwacht. Daarom besloten we het roer om te gooien en te kijken naar kant-en-klare AI-tools. Eerst hebben we de text-to-music toepassing van Stable Diffusion geprobeerd, genaamd Stable Audio, die audiobestanden maakt op basis van tekst-prompts. Een ChatGPT voor muziek. Voor het eerst produceerden we door AI gegenereerde output die inderdaad klonk als een bruikbaar muziekfragment. Toch konden we de output niet gebruiken: de gebruiksvoorwaarden verhinderden ons om de tool te blijven gebruiken. We hebben ook Meta's MusicGen en AudioGen geprobeerd, als een vergelijkbaar prompt-gebaseerd AI model waarmee je audiobestanden en muziekbestanden kunt genereren. Zolang je een Gmail-account hebt, kan iedereen deze modellen gebruiken in een Google Collab omgeving. MusicGen heeft ons tot nu toe de beste resultaten opgeleverd. Het genereerde audiofragmenten van hoge kwaliteit waar we meteen mee aan de slag konden. Helaas had dit systeem vergelijkbare gebruiksvoorwaarden. Gebruiksvoorwaarden Naar onze mening zijn de gebruiksvoorwaarden van te veel generatieve AI-muziektools misleidend. Hoewel de meeste product-websites je vertellen dat je de volledige eigendom van je in- en output behoudt, wordt het vaak duidelijk dat je jouw werk ook in sublicentie geeft aan het AI-platform. Technisch gezien blijf jij altijd eigenaar van jouw in- en output. Maar je geeft het eigendom ook aan iemand anders. In het geval van Eveline Ypma is dat problematisch. Eveline is een kunstenaar en zij zou de rechten op haar eigen creatieve werk moeten bezitten. Daarom hebben we uiteindelijk besloten om het onderliggende MusicGen AI-model van Github te downloaden en zelf een lokale versie op een privéserver te maken. Dit is mogelijk omdat Meta de code open-source via Github publiceerde onder een MIT-licentie. Onze text-to-music app Op dit moment werken we samen met een front-end developer om onze eigen tekst-naar-muziek applicatie te bouwen bovenop het MusicGen AI-model. Ons doel is om het onderliggende AI-model op een Europese server te hosten en ervoor te zorgen dat we de invoer- en uitvoergegevens van de gebruiker niet beveiligen. Op deze manier kan iedereen gratis gebruik maken van de AI-technologie – zonder dat hij zijn creatieve werk hoeft weg te geven.

  • Tussenrapport 1

    Dit rapport is een samenvatting van resultaten die we hebben opgehaald in de eerste 7 maanden van het Open Cultuur Tech project. We hebben hiervoor meer dan 100 artiesten en andere relevante stakeholders uit de muziekindustrie bevraagd. Dit hebben we onder andere gedaan in kennissessies, gastcolleges, workshops op conferenties (zoals ADE en ESNS), enquêtes en interviews. Picture by Calluna Dekkers Voor het Open Cultuur Tech project is het van belang om in kaart te brengen waar de kansen en uitdagingen liggen voor opkomende artiesten. Op die manier zorgen we ervoor dat we technologie ontwikkelen die aansluit bij de behoeften van artiesten en hun publiek. Daarnaast is het van belang om meer informatie te delen met de sector. Voor artiesten is het belangrijk om te weten wat hun mogelijkheden zijn, zelfs met kleine budgetten en beperkte technische kennis. Voor de bredere industrie is het belangrijk om te weten hoe zij artiesten kunnen faciliteren en hoe we ervoor kunnen zorgen dat het Nederlandse muzieklandschap niet op achterstand raakt ten opzichte van bijvoorbeeld de Amerikaanse of Chinese muziekindustrie. LINK naar het Tussenrapport

  • ESNS 2024 Recap

    Vorige week was ESNS 2024, het internationale muziekconferentie- en showcase-festival waar jaarlijks ruim 350 Europese artiesten optreden en ruim 40.000 bezoekers trekken. Open Culture Tech was aanwezig op ESNS 2024 om backstage met artiesten de standpunten en meningen over nieuwe technologie zoals AI, Augmented Reality en Avatars te bespreken. Het Open Culture Tech-team werd ook door Effenaar Labs uitgenodigd om deel te nemen aan een paneldiscussie over de waarde van meeslepende technologie voor livemuziek. In dit artikel delen wij de interessantste backstage gesprekken, ervaringen en conclusies van ons panel. Credits: Calluna Dekkers De ESNS-conferentie vindt ieder jaar plaats in de Oosterpoort, een van de muziekzalen in Groningen. Maar dat is niet waar de meeste artiesten rondhangen. Deze vind je in de Artist Village, een backstage tent vlakbij de conferentie. Het team van Open Culture Tech stond midden in de Artist Village met diverse prototypes die tot veel verschillende gesprekken, discussies en brainstorms leidden met diverse Europese artiesten. De eerste conclusie is dat weinig artiesten met nieuwe technologie zoals AI of AR werken. Ze hebben er geen tijd voor, het is vaak te duur of ze weten niet hoe ze moeten beginnen. Zelfs een lichtplan was voor veel artiesten een luxe. De meeste artiesten waren niet bang dat AI hun baan als live artiesten op het podium zou overnemen. Veel kunstenaars stonden sceptisch tegenover de creatieve mogelijkheden van veel technologische hulpmiddelen. Met name rond het risico van verlies van privacy en intellectueel eigendom. De gesprekken met artiesten veranderden op het moment dat we hen vroegen zelf met aanvragen te komen, ongeacht budget of technische beperkingen. Wat als ze alles konden doen wat ze wilden? Deze brainstorms hebben veel interessante input opgeleverd die we proberen op te nemen in onze Open Culture Tech-toolkit. Zoals een bedieningspaneel (bijvoorbeeld via MIDI of voetpedaal) om visuals aan te sturen. Of een eenvoudige applicatie om 2D-afbeeldingen (bijvoorbeeld albumhoezen) te vertalen naar een driedimensionale versie die je kunt animeren voor een video of in Augmented Reality kunt plaatsen. Naast de artiesten die weinig behoefte hadden aan immersieve technologie zoals AI of AR, waren er veel artiesten die dat wel hadden. Uit de ‘wat als’-brainstorms blijkt dat veel artiesten graag willen experimenteren met nieuwe technologie in hun liveshows, maar daar niet de middelen voor hebben. Ook waren er veel interessante gesprekken met artiesten die al met nieuwe technologie bezig zijn, zoals de Poolse band Artificialice. Ze gebruiken onder meer 3D-scans (LiDAR) van zichzelf en hun slaapkamers en verwerken deze in hun kunstwerken. Of Wax Museum uit Berlijn. Met hun nieuwste album brengen ze ook een 8-bit versie van hun muziek uit en een online videogame waarin de bandleden als game-karakters verschijnen. In het spel moet de speler op zoek gaan naar een gestolen discobal. Dit verhaal zou zich heel goed kunnen lenen voor een mobiele AR-ervaring tijdens hun concert waarbij het publiek gezamenlijk op zoek kan gaan naar een verborgen Discobal in de zaal. Een virtuele zoektocht zoals in Pokémon Go. Het ‘verbergen’ van 3D-objecten is dan ook een feature die we zeker gaan onderzoeken in de AR-app van Open Culture Tech. Credits: Casper Maas Het Open Culture Tech-team was ook uitgenodigd voor een panel georganiseerd door Effenaar Lab. Met het Hybrid Music Vibes programma biedt Effenaar Lab talenten de mogelijkheid om te onderzoeken hoe nieuwe technologieën kunnen bijdragen aan hun kunstenaarschap. In het panel zaten Julia Sabaté en De Toegift als deelnemers van het Hybrid Music Vibes programma, hun manager en Joost de Boo namens Open Culture Tech. Het panel besprak het belang van cross-over samenwerkingen, het belang van educatie en het delen van ervaringen. Het Hybrid Music Vibes programma van Effenaar Lab is een inspirerend programma waarin deelnemers waardevolle experimenten uitvoeren die we graag delen in deze nieuwsbrief. Lees meer over Julia Sabaté: https://www.effenaar.nl/hybrid-music-vibes-2-julia-sabate Lees meer over De Toegift: https://www.effenaar.nl/hybrid-music-vibes-2-de-toegift

  • The Life of Fi

    Virtuele influencers en artiesten spreken al jaren tot onze verbeelding. Geanimeerde karakters, soms zelfs gegenereerd door AI, die liedjes zingen, dansen en soms zelfs optreden op het podium. Een bekend voorbeeld is de Japanse Hatsune Miku of de Amerikaanse Lil Miquela, die zelfs Coachella heeft gehaald. Het team achter Open Culture Tech bestaat uit makers die al veel ervaring hebben met het bouwen van avatars en het zoeken naar verantwoorde toepassingen van deze opkomende technologie. Het bouwen van virtuele karakters vergt natuurlijk veel technologie, maar roept tegelijkertijd ook veel ethische vragen op. Thunderboom Records en Reblika werken in Open Culture Tech aan de ontwikkeling van de Avatar-tool. Tijdens de OATS-liveshow werd een eerste experiment uitgevoerd met het projecteren van een avatar die de bewegingen van de zanger in realtime kopieerde, en de komende maanden zullen meer shows soortgelijke technologie testen. Maar vóór Open Culture Tech bouwden Thunderboom Records en Reblika al een virtuele artiest genaamd Fi. Fi, de fluide artiest Fi is een virtuele artiest die tot leven komt op Instagram en Soundcloud. Het uiterlijk, het levensverhaal en de muziek zijn deels gegenereerd met AI en ontwikkeld door een divers team van ontwerpers. Fi is ontstaan vanuit het idee dat de overgrote meerderheid van de bestaande virtuele artiesten en influencers weinig toegevoegde waarde hebben – anders dan dienen als marketingtool voor grote merken. De meeste virtuele karakters promoten ook een problematisch schoonheidsideaal en zijn stereotyperend. Dit wordt verbeterd door de functionaliteiten van gratis tools voor het maken van 3D-avatars, zoals DAZ Studio of Magic AI-avatar-apps zoals Lensa. De standaard 3D-lichamen in DAZ Studio zijn vrouwenlichamen met dunne tailles en grote borsten en billen. Gratis gebruikers kunnen kiezen uit verschillende soorten verleidelijke gezichtsuitdrukkingen, poses en outfits en zelfs de geslachtsdelen aanpassen. Het standaard mannenlichaam daarentegen is gespierd, ziet er stoer uit en heeft geen penis. Deze seksistische stereotypen komen ook tot uiting in mobiele apps zoals Lensa, die avatars genereren op basis van portretfoto’s. Het was voor een journalist van de MIT Technology Review bijna onmogelijk om geen seksistische avatars te genereren. Als reactie op deze status quo hebben Thunderboom Records en Reblika geprobeerd een virtuele artiest te creëren die verder gaat dan deze stereotypen en innovatief gebruik maakt van de mogelijkheden van avatar-technologie. Het concept achter Fi is dat Fi iedereen kan zijn en zich niet hoeft te conformeren aan één type uiterlijk. Fi is virtueel en daarom vloeiend. Als virtueel personage zou Fi verschillende vormen kunnen aannemen, verschillende genres kunnen combineren en voorbij stereotypen kunnen gaan. Daarnaast was het belangrijk dat Fi geen virtuele kunstenaar werd die menselijke kunstenaars zou vervangen. Fi moet vooral samenwerken en menselijke kunstenaars vooruit helpen. Doe-het-zelf Het concept van Fi is vertaald naar een verhaal over een fictief personage dat als ster in het universum werd geboren en naar de aarde kwam om kunstenaar te worden. Deze ster wil geen vast uiterlijk aannemen. Fi kiest daarom elke 3 maanden voor een andere verschijning die kenmerken van inspirerende kunstenaars combineert. Het uitgangspunt was een AI-gedreven mix tussen Prince en Jin van BTS. Daarna werd Fi een mix tussen Madonna en Dua Lipa. Er worden verschillende technieken gebruikt om online content te creëren voor virtuele influencers, zoals Fi en Lil Miquela. De eerste stap is het maken van foto's van een menselijk body double (acteur) om als basismateriaal te gebruiken. De foto wordt vervolgens opnieuw gemaakt in 3D en samengevoegd met het origineel tot één uiteindelijke afbeelding in Photoshop. Om ervoor te zorgen dat Fi's verhaal niet werd toegeëigend door Thunderboom Records of Reblika, werd de body double de hoofdrolspeler van het verhaal. Op de dag van de fotoshoot kon hij of zij beslissen wat er met Fi gebeurde. Duurzaamheid Maar helaas was Fi niet duurzaam. Het regelmatig creëren, plaatsen en onderhouden van de online inhoud van Fi kostte zoveel werk dat de meeste tijd werd besteed aan het beheren van een sociale media-account, in plaats van aan het creëren van een interessant verhaal. Ook de meerwaarde voor menselijke muzikanten was beperkt omdat de productie te tijdrovend en daardoor te duur was. Het enorme potentieel van avatars is al bewezen door grote artiesten als Gorillaz of Travis Scott. Maar het blijft een uitdaging om avatars te creëren die een aanvulling vormen op opkomende artiesten. Om deze reden publiceert Fi geen online content meer en werkt Thunderboom Records samen met Reblika aan de Open Culture Tech avatar tool waarmee iedere Nederlandse artiest eenvoudig zelf avatar content kan creëren en de potentie ervan kan onderzoeken. De belangrijkste les die we van Fi hebben geleerd is dat de avatars zelf niet de kern vormen, maar dat het altijd gaat om de muzikant die met de avatars werkt. In het Fi-project werd te veel tijd en moeite geïnvesteerd in het virtuele karakter, waardoor er te weinig overbleef voor de menselijke muzikant. Momenteel organiseren we verschillende live optredens met opkomende artiesten om de mogelijkheden en meerwaarde van avatar-technologie te verkennen. Een voorbeeld is Smitty, een Amsterdamse rapper die in zijn muziek voortdurend met andere versies van zichzelf praat. We zullen onderzoeken hoe we geprojecteerde avatars van zijn jongere en oudere zelf kunnen gebruiken als projecties op het podium om dit verhaal te benadrukken. Wat als hij letterlijk met een andere versie van zichzelf zou kunnen praten?

  • AI Frankenstein

    Zoals het MUTEK team afgelopen augustus in de MUSIC x nieuwsbrief schreef, is het onmogelijk te zeggen of AI-muziek goed of slecht is. Niet alleen omdat er zoveel verschillende toepassingen zijn, maar ook omdat de definitie van ‘goede muziek’ nogal subjectief is. AI-muziek in de breedste zin van het woord is een belangrijk element in het Open Culture Tech-project. Wij zoeken naar manieren waarop het waarde kan toevoegen voor artiesten, zonder hen te schaden in hun creatieve proces. Voor veel artiesten in onze directe omgeving voelt AI als een monster onder hun bed, klaar om hun professionele carrière en creatieve vaardigheden aan te vallen. Daarom zijn de meesten vooral geïnteresseerd in AI-technologieën die hen kunnen helpen bij hun visuele prestaties, of de interactie met het publiek. Maar het daadwerkelijk laten interfereren van AI met hun muziek is iets waar ze erg voorzichtig mee zijn. Bij Open Culture Tech proberen we muziek-AI-tools te beschouwen als het monster van Frankenstein. Of het nu gaat om het klonen van stemmen of generatieve algoritmen die melodieën, akkoorden of beats creëren. Net zoals het monster van Frankenstein is opgebouwd uit losse elementen (ledematen), kunnen AI-tools ook gezien worden als losse elementen in het muzikale creatieproces. En net als dokter Frankenstein hebben muzikanten nog steeds creatieve ideeën en vaardigheden nodig om de afzonderlijke elementen met elkaar te verbinden en het hele lichaam tot leven te brengen. Maar als we kijken naar de huidige markt voor AI-muziektools, is er iets vreemds aan de hand. Veel tools die momenteel beschikbaar zijn, zoals AIVA of BandLab Songstarter, worden gepromoot als tools die ‘inspiratie’ bieden door helemaal opnieuw MIDI-beats of melodieën te genereren. In essentie is daar niets mis mee. Professionele artiesten, of artiesten met professionele ambities, zijn echter niet de juiste doelgroep voor deze specifieke tools. Tot nu toe hebben we nog geen enkele artiest gesproken met een gebrek aan inspiratie of muzikale ideeën. Om nog verder te gaan: veel kunstenaars lijken het meest te genieten van deze eerste stappen in hun creatieproces, omdat dat het punt is waarop ze echt creatief bezig zijn, zonder al te veel na te hoeven denken over het eindresultaat. Het idee dat AI ons moet helpen onze menselijke creativiteit een impuls te geven, voelt verkeerd. Als je geen muzikant bent en snel wat muziek nodig hebt voor je TikTok-video's, kunnen deze tools natuurlijk erg nuttig zijn. Maar voor professionele muzikanten is dit niet erg nuttig. Twee weken geleden introduceerden Google en YouTube het Lyria AI-model dat gepaard ging met verschillende Dream Track-applicaties. Met de meest prominente app kunnen gebruikers een onderwerp invoeren (een prompt schrijven), een artiest uit een carrousel kiezen en een soundtrack van 30 seconden genereren. De AI genereert originele songteksten en achtergrondtracks en een door AI gegenereerde stem zingt het nummer voor je. Maar nogmaals, deze applicatie is gericht op sociale media-inhoud, waarbij vooral YouTube Shorts worden gepromoot. Als je andere websites bezoekt waarop AI-muziektools worden getoond, zoals AI Tools Club, zul je zien dat de meeste applicaties gewoon niet zijn gemaakt om professionele muzikanten te helpen. Net als Mubert willen ze ook makers van sociale media, podcasts of apps ondersteunen. (Met de andere Dream Track-app kun je je zoem- of beatbox transformeren in een instrument zoals een saxofoon of zelfs een heel orkest. Dit lijkt erg op Vochlea, een applicatie die muzikanten helpt hun ideeën snel in MIDI te ‘schetsen’). Hoewel AI-tools die neuriën naar MIDI vertalen nuttig kunnen zijn, zijn wij bij Open Culture Tech van mening dat er een groeiende kloof bestaat tussen de AI-(applicatie)gemeenschap en de bredere professionele muzikanten community. Ja, er zijn zeer interessante muziek-AI-initiatieven zoals het Sound Of AI YouTube-kanaal (aanbevolen!) maar dit is geen plug-and-play-app zoals AIVA. Uiteindelijk zijn de ledematen van het monster van Frankenstein niet ontwikkeld voor professionele artiesten, maar voor TikTok-makers. Daarom werkt Open Culture Tech momenteel aan 3 verschillende eenvoudig te gebruiken AI-toepassingen die tot doel hebben professionele muzikanten te ondersteunen of te inspireren tijdens verschillende delen van hun creatieve proces. Samen met onze samenwerkende artiesten en AI-ontwikkelaars zullen we binnenkort onze eerste prototypes testen en onze bevindingen met u delen in de komende updates.

  • Achter de schermen

    Bij Open Culture Tech ontwikkelen we onze eigen open-source en gebruiksvriendelijke tools voor het maken van AI, Augmented Reality en Avatar voor livemuziek. Open Culture Tech heeft in het voorjaar van 2023 een Open Call uitgeschreven, waarbij muzikanten in Nederland zich konden aansluiten bij ons ontwikkelingsprogramma. Uit een groot aantal aanmeldingen zijn 10 uiteenlopende artiesten geselecteerd. Van Punk tot R&B en van Folk tot EDM. Ieder met een unieke onderzoeksvraag die beantwoord kan worden door nieuwe technologie toe te passen. Vragen als: “ik heb mijn hart en ziel gestoken in het maken van een EP van 15 minuten. Ik wil dit nieuwe werk live op het podium uitvoeren, maar ik heb minimaal 30 minuten muziek nodig om een volledige show te creëren.” Of vragen als: “hoe kan ik de interactie tussen mij en het publiek versterken als ik gitaar speel op het podium?” Samen met deze artiesten bedenken wij (het team van Open Culture Tech) originele antwoorden op deze vragen die we vertalen naar open-source AI-, AR- of Avatar-technologie – met eenvoudig te gebruiken interfaces. Vervolgens wordt elk prototype getest tijdens een live pilot show. Na 10 shows hebben we verschillende prototypes getest die we gaan combineren tot één toolkit. Op deze manier willen we de nieuwste technologie toegankelijker maken voor elke artiest. Hieronder delen we de resultaten van onze eerste twee prototypes en live pilot shows. OATS × Avatars De eerste Open Culture Tech pilot show kwam tot stand in nauwe samenwerking met OATS. OATS combineert punk en jazz en vestigt zich met meeslepende en krachtige liveshows. Hun vraag was: “hoe kunnen we de expressie van de leadzanger vertalen naar realtime beelden op het podium?” Om deze vraag te beantwoorden, hebben we besloten om met de hulp van Reblika de eerste versie van onze eigen tool voor het maken van Avatars te bouwen en te testen. Unreal Engine is de wereldwijde industriestandaard voor het ontwikkelen van 3D-modellen. Het wordt gebruikt door veel grote 3D-bedrijven in de muziek-, gaming- en filmindustrie. De leercurve is steil en de prijzen voor experts zijn hoog. Reblika is een Rotterdams 3D-bedrijf met jarenlange ervaring in het maken van hoge resolutie avatars voor de creatieve industrie, die momenteel hun eigen avatar creator tool ontwikkelen – met behulp van Unreal Engine – genaamd Reblium. Voor Open Culture Tech ontwikkelt Reblika een gratis, stand-alone, open-source editie met een eenvoudig te gebruiken interface, gericht op het helpen van live muzikanten. Het masterplan was om de lichaamsbewegingen van de zanger (Jacob Clausen) vast te leggen met een Motion Capture Suit en het signaal te koppelen aan een 3D-avatar in een 3D-omgeving die live op het podium geprojecteerd kon worden. Op deze manier konden we ervaren hoe het is om avatars op het podium te gebruiken en erachter te komen welke functionaliteiten onze tool voor het maken van avatars nodig heeft. In dit geval moest de esthetiek dystopisch, vervreemdend en glitchy zijn. Onze eerste stap was het creëren van een workflow voor het vinden van de juiste 3D-avatar en 3D-omgeving. OATS gaf de voorkeur aan een somber personage in veiligheidspak, dat zich door een verlaten fabrieksgebouw bewoog. We besloten gebruik te maken van de Unreal Engine Marketplace, een website die kant-en-klare 3D-modellen aanbiedt. Om de 3D-omgeving te creëren, besloot Jacob Clausen een tool genaamd Polycam te gebruiken en een verlaten industriegebied te scannen. Polycam is een eenvoudig te gebruiken softwaretool die gebruik maakt van een technologie genaamd LiDAR, beter bekend als 3D-scannen. Met Polycam kunt u elk fysiek 3D-object of elke ruimte scannen en omzetten in een 3D-model. De 3D-scan (fabriek) en avatar (gasmasker-pak) werden geïmporteerd in Unreal Engine en de avatar werd verbonden met een motion capture-pak. Hierdoor kon Jacob Clausen de hoofdpersoon op het scherm worden en de ervaring live testen op het podium van de Popronde in EKKO in Utrecht, op 19 oktober om 23.30 uur. Wat volgde was een show waar we veel van hebben geleerd. De locatie voorzag ons van een standaard beamer/projector en een wit scherm achter het podium. Door een overactieve rookmachine, onstabiele internetverbinding en een lage resolutie beamer-projector was de avatar niet altijd zichtbaar op het scherm. Toch waren er zeker momenten waarop alles samenkwam. Op deze momenten was de synchronisatie tussen Jacob en zijn avatar super interessant, het vertellen van verhalen was geweldig en de technologie toonde veel potentieel. Het Motion Capture-pak was erg duur en dit pak moesten we lenen van Reblika. Dit is niet erg duurzaam, toegankelijk en inclusief. Voor ons volgende prototype zullen we kijken naar Motion Capture AI-technologie, zoals Rokoko Vision, in plaats van pakken. De 3D-avatar en omgeving werden vanuit verschillende camerahoeken getoond. Om dit mogelijk te maken moest iemand de camerahoek (real-time) binnen de Unreal Engine-software steeds veranderen. In de toekomst moeten we vooraf gedefinieerde camerahoeken toevoegen. Op deze manier heb je geen extra persoon nodig om de visuals te bedienen. Ineffectief × AR De tweede use case van Open Culture Tech werd geleverd door Ineffekt. Door een mix van glinsterende zangstukken, dromerige melodieën en onderscheidende ritmes neemt Ineffekt op slimme wijze een geluid aan dat zowel comfortabel als ongrijpbaar aanvoelt. De vraag van Ineffekt was: “hoe kan ik mijn album artwork vertalen naar een virtuele ervaring die elke locatie kan transformeren in een meeslepende videoclip?”. Om deze vraag te beantwoorden, hebben we besloten om de eerste versie van onze eigen AR-creatietool te bouwen en te testen, met de hulp van Superposition, een innovatieve ontwerpstudio voor interactieve ervaringen. Voor zijn nieuwste albumhoezen en videoclip besloot Ineffekt een 3D-model te gebruiken van een kas waarin gele organismen groeien. Dit 3D-model vormde de basis voor de AR-ervaring die we testten tijdens het Amsterdam Dance Event. Ons belangrijkste doel was het creëren en testen van een intieme mobiele AR-ervaring die werd gebouwd met behulp van open-source 3D-technologieën. Dit betekende dat we geen populaire AR-tools zoals Spark AR (Meta), Snap AR (Snapchat) of ArCore (Google) konden gebruiken. In ons eerste experiment werd Blender gebruikt om een 3D-model met hoge resolutie te maken en webXR werd gebruikt om dit model te vertalen naar een mobiele Augmented Reality-applicatie. Superposition besloot ook te experimenteren met App Clips op iOS en Play Instant op Android. Met deze technieken kunt u – na het scannen van een QR-code – een mobiele applicatie in uw browser openen zonder de daadwerkelijke app te downloaden. Op 20 en 21 oktober testten we ons eerste AR-prototype voor Black & Gold in Amsterdam, tijdens ADE. Na het scannen van de QR-code op een poster werd het publiek naar een mobiele website geleid waarop het project werd uitgelegd. Dan ging de camera van je telefoon aan en zag je de gele planten/zwammen om je heen groeien. Achterin zat iemand rustig, een stille avatar. De algehele ervaring was poëtisch en intiem. Net als bij OATS hebben we veel geleerd. Met mobiele Augmented Reality technologie is het mogelijk om een intieme en waardevolle ervaring te creëren. Het is mogelijk om met open-source technologie een mobiele AR-ervaring te creëren. De ervaring was statisch en reageerde niet op de aanwezigheid van de kijker. In de toekomst moeten we kijken naar de mogelijkheden om interactieve elementen toe te voegen. Ons uiteindelijke doel is om toegankelijke AI-, AR- en Avatar-creatietools te ontwikkelen die elke muzikant zonder onze steun kan gebruiken. In de bovenstaande voorbeelden is dit niet het geval geweest. We hebben vooral de workflow van bestaande tools getest en nog geen eigen tools gemaakt. In de toekomst zullen we beginnen met het bouwen en testen van onze eigen software-interfaces en artiesten vanaf het begin hun eigen AI- en AR Avatar-ervaringen laten creëren. Zo hopen we ervoor te zorgen dat aanstormende muzikanten ook de kansen en middelen krijgen om met de nieuwste technologie te werken. Dit artikel verscheen ook op MUSIC x op donderdag 16 november 2023.

  • Aespa, avatars en live hologrammen

    Als onderdeel van de Avatar Serie van Open Culture Tech duiken we in het unieke concept van Aespa. Aespa is een Zuid-Koreaanse meidengroep die erin is geslaagd een unieke niche voor zichzelf te veroveren door de grenzen tussen de realiteit en de digitale wereld te laten vervagen. In dit artikel kijken we naar hun innovatieve gebruik van technologie en storytelling, maar we kijken ook naar manieren om deze technologieën zelf toe te passen. Aespa debuteerde in november 2020, tijdens het hoogtepunt van de COVID-19-pandemie, met de single "Black Mamba". Het is een pakkend K-popnummer dat elementen van pop, hiphop en elektronische dansmuziek combineert. Een van de meest opvallende aspecten van Aespa’s debuut was de toevoeging van een verhaallijn waarbij gebruik werd gemaakt van digitale avatars. De idool-groep bestaat uit vier menselijke leden – Karina, Giselle, Winter en Ningning – die worden vergezeld door digitale tegenhangers die bekend staan als “æ”. Er zijn æ-Karina, æ-Giselle, æ-Winter en æ-Ningning, en ze leven allemaal in een parallelle virtuele wereld genaamd "æ-planet". Aespa werd aan de wereld geïntroduceerd als een groep hybride actiefiguren in een sciencefictionverhaal dat zich zowel in de fysieke als de virtuele wereld afspeelde. Aespa en hun digitale tegenhangers moesten vechten tegen Black Mamba, een typische slechterik die de virtuele en fysieke wereld wilde vernietigen. Het publiek kon het verhaal volgen in een driedelige serie op YouTube en maandenlang verscheen ondersteunende content op verschillende sociale mediakanalen. Terug naar 2023, en je ziet nauwelijks avatars meer op de online kanalen van Aespa. De verhaallijn over actiehelden is ingeruild voor een geënsceneerde verhaallijn over 4 goede vrienden die veel backstage-beelden delen. Toch is technologie bij Aespa nooit ver weg. Ook al tonen de sociale mediakanalen van Aespa geen avatars meer, ze zijn nog steeds prominent aanwezig bij de liveshows. Afgelopen zomer was Joost de Boo, lid van het Open Culture Tech team, in Japan om Aespa live te zien in de Tokyo Dome, samen met 60.000 enthousiaste Japanse fans. “Voor de show, terwijl iedereen zijn plaats zocht, werd de Black Mamba-avatarserie op een groot scherm uitgezonden”, herinnert Joost zich. “Het nam het publiek direct mee in de wereld van Aespa. Maar niet alleen dat. Het was ook een natuurlijke opbouw richting het begin van de show waar de 4 leden eerst als dansende avatars het podium betreden, waarna ze gevolgd worden door de menselijke versies.” Terugkijkende vond Joost de liveshow in de Tokyo Dome zowel indrukwekkend als twijfelachtig. “Er is een bepaald esthetisch ideaal van fysieke schoonheid dat wordt nagestreefd door Aespa – en bijna elke andere idoolband die ik ken – en ik vraag me af of dat iets is dat we moeten promoten”. Door de jaren heen hebben steeds meer (ex-)leden van K-popgroepen zich uitgesproken over de donkere kant van de K-popcultuur; waaronder seksisme, misbruik en stigma's op het gebied van de geestelijke gezondheidszorg. We komen dus in een ander artikel terug op het onderwerp stereotypen en avatars. “Maar zonder deze zorgen te negeren, is de technologie die in de Aespa-show wordt gebruikt iets waar we zeker van kunnen en moeten leren.” In alle eerlijkheid klinkt het projecteren van een video op het podium natuurlijk niet erg revolutionair. Toch komt het niet vaak voor dat je een projectie op het podium combineert met een verhaallijn op sociale media en YouTube. Bovendien was dit niet het enige optreden van de avatars op het podium. Na de eerste twintig minuten van de show werd een groot scherm het podium op gereden. Wat er daarna gebeurde, kun je zien in de onderstaande video's. De rest van de show volgde dezelfde structuur als de chronologische inhoud op YouTube en sociale media: de avatars verdwenen en een groep menselijke vrienden bleef over. Wat hebben we op het podium gezien en wat kunnen we ervan leren? Eerst de Black Mamba-verhaallijn. Het is belangrijk op te merken dat Aespa is opgericht en eigendom is van SM Entertainment, een Zuid-Koreaans multinationaal entertainment-bureau dat een van de leidende krachten was achter de wereldwijde popularisering van de Zuid-Koreaanse populaire cultuur in de jaren negentig. SM Entertainment is actief in de gehele entertainmentindustrie en bezit en exploiteert platenlabels, talentenbureaus, productiebedrijven, concert-productiebedrijven, muziekuitgeverijen, ontwerpbureaus en investeringsgroepen. Wat we dus hebben gezien is een crossmediale productie van miljoenen euro's waarin tientallen getalenteerde ontwerpers, kunstenaars en ontwikkelaars hebben samengewerkt. Om de liveshow van Aespa te creëren, werkte SM Entertainment samen met (onder meer) 37th Degree en Giantstep, twee internationaal bekroonde bureaus: van het creëren van anime-personages, het modelleren van 3D-avatars en het ontwerpen van merchandise tot het schrijven, regisseren en filmen van verhalen. Maar naast de indrukwekkende high-budget contentproductie is het meest innovatieve deel niet de verhaallijn of avatars zelf, maar de manier waarop deze personages na ongeveer 20 minuten op het podium verschenen. Volgens LG is dit de eerste keer ooit dat 12 gloednieuwe “Transparante OLED”-schermen gecombineerd worden tot 1 groot hologram-scherm op een podium. Een nieuwe technologie waarvan we mogen verwachten dat deze de komende jaren veel gebruikelijker zal worden. Wil je meer weten over deze schermen, bekijk dan deze link of lees ons vorige artikel over goedkope alternatieven. Bron: https://www.giantstep.com/work/sm-ent-aespa-synk/ Als artiest in Nederland heb je waarschijnlijk niet de budgetten van SM Entertainment. Toch is het niet onmogelijk om een verhaallijn te verzinnen of een alter ego te bedenken – als je dat wilt. Ook is het niet onmogelijk om dat verhaal te vertalen naar audiovisuele content zoals (bewegend) beeld. Misschien kan generatieve AI je daarbij helpen? Maar het spannendste is dit: binnenkort is het ook mogelijk om jouw verhaal in 3D te vertalen met onze eigen Open Culture Tech “Avatar tool”. Vorige week hebben we ons eerste prototype live op het podium getest en de resultaten zijn meer dan veelbelovend.

  • Alexa, kun je een liedje voor me zingen?

    De technologie voor het klonen van stemmen heeft zich snel ontwikkeld en biedt artiesten nieuwe manieren om hun creatieve diepten te verkennen. Artiesten zoals Holly Herndon en Ghostwriter wisten de muziekindustrie op te schudden, ten goede of ten kwade. Hoewel deze technologie vooral bekend staat om robotstemmen in Alexa of Google Translate, is er ook toepassing voor deze technologie in de muziek. Muzikanten kunnen nu vocale texturen aan hun composities toevoegen, experimenteren met harmonieën en samenwerken met virtuele artiesten. Maar wat is dit nou eigenlijk, en hoe gebruik ik deze technologie als artiest? Vocale synthese De combinatie van voice clones, voice swaps en synthetische stemmen noemen we vocale synthese. Het verschil tussen deze drie technologieën is als volgt: Voice clones Een voice clone is een virtuele kopie van een bestaande stem. Om een voice clone te kunnen maken is het noodzakelijk om audiomateriaal te hebben van de stem die je wil namaken, zoals bijvoorbeeld spraakberichten of muziek. Door een algoritme te leren wat de karakteristieken van deze stemmen zijn, zoals timbre, toon en uitspraak, kan deze stem worden nagebootst. Voice swaps Voice swap technologie stelt je in staat om een stem in een geluidsopname of tijdens een live gesprek te veranderen. Het wordt voornamelijk gebruikt om iemands stem te wijzigen of te vervangen door die van een ander, terwijl de oorspronkelijke inhoud van de spraak behouden blijft. Voice swap technologie wordt momenteel bijvoorbeeld gebruikt om stemmen te dubben in films, voor virtuele assistenten of het voeren van anonieme gesprekken. Synthetische stemmen Synthetische stemmen zijn volledig computer-gegenereerde stemgeluiden, waarbij tekst automatisch wordt omgezet in gesproken woorden. Deze stemmen worden vaak gebruikt in digitale assistenten, GPS-navigatiesystemen of audioboeken en kunnen eenvoudig worden aangepast en gepersonaliseerd. Hoe gebruik ik vocale synthese als artiest? Er zijn 1001 mogelijkheden als het aankomt op het gebruik van vocale synthese in muziek. Het kan goede oplossingen bieden voor artiesten die zelf niet goed kunnen zingen maar wel volledige tracks willen maken, of voor artiesten die juist op zoek zijn naar uitbreiding op hun eigen stemgeluid. Vocale synthese software kan worden gebruikt om harmonieën en achtergrondzang te genereren die je liveoptredens of opnames kunnen aanvullen. Hierdoor kun je extra stemmen aan je muziek toevoegen zonder extra vocalisten. Dit zou je bijvoorbeeld kunnen doen door je eigen stem te klonen of door een synthetisch stemgeluid als tweede stem toe te voegen. Hieronder staan een aantal voorbeelden waar je mee kan experimenteren: Vocaloid: synthetische zangstemmen Vocaloid is een tool voor het maken van synthetische stemmen waarmee muzikanten aanpasbare virtuele zangstemmen kunnen creëren. De tool synthetiseert zang met behulp van vooraf opgenomen stembanken, waardoor gebruikers songteksten en melodieën kunnen invoeren en deze vervolgens over een notenbalk kunnen verslepen om hier eigen composities mee te maken. De software bevat een verscheidenheid aan stembanken met verschillende tonen en stijlen. Hoewel Vocaloid gemakkelijk te gebruiken is, is het erg moeilijk om een goed klinkende output te krijgen. De software vereist nogal wat aanpassingen en achteraf proberen of bewerken. Muzikanten kunnen experimenteren met verschillende vocale timbres en talen, wat een essentieel hulpmiddel is voor het creëren van onderscheidende vocale texturen. Nieuwe versies van de software bieden ook de mogelijkheid om in verschillende talen te zingen. iZotope VocalSynth: Vocale morphing iZotope VocalSynth is een plug-in voor stemverwerking waarmee artiesten hun stemmen real time kunnen manipuleren. Door live zang te combineren met gewijzigde vocale elementen, kunnen muzikanten diepte en karakter in hun muziek brengen. Een experimenteel kenmerk is het vermogen van VocalSynth om stemmen te transformeren in robotachtige, buitenaardse of buitenaardse texturen, perfect voor artiesten die zich wagen aan elektronische, experimentele of sci-fi-genres. Het vergemakkelijkt ook het creëren van harmonieën, vocale effecten en subtiele verbeteringen. Alter/Ego: stemmen maken Een andere optie is Alter/Ego, wat misschien niet de vocale synth is die je gewend bent, maar die zeker kan worden gebruikt om stemmen te maken. Het biedt een eenvoudige interface en een brede selectie aan vocale bibliotheken, waardoor gebruikers gemakkelijk verschillende zangstemmen kunnen maken. Het systeem is compatibel met verschillende DAW’s waardoor het makkelijk te integreren is in je productie workflow. Alter/Ego mist mogelijk de geavanceerde functies en aanpassingsmogelijkheden die sommige andere vocale synthesesoftware biedt. Muzikanten die zeer ingewikkelde en op maat gemaakte vocale effecten nodig hebben, kunnen dit enigszins beperkt vinden in vergelijking met meer complexe oplossingen.

  • Onze artiesten

    Open Culture Tech werkt toe naar een open-source toolkit met bestaande en zelfgebouwde tools voor AI-, AR- en Avatar-technologie. Om deze toolkit op te bouwen organiseren we het komende jaar meerdere liveshows met samenwerkende muzikanten om tools in de praktijk te testen. Wij stellen graag onderstaande samenwerkende artiesten voor. Houd onze agenda in de gaten, zodat je geen enkele show mist. Kun je niet wachten, kom dan morgen naar de Popronde in de EKKO (Utrecht), waar OATS gaat experimenteren met live avatar technologie. Of bezoek ADE, waar Ineffekt een meeslepende live-ervaring presenteert met AR-technologie. Ineffekt Ineffekt heeft bewezen een multi-genre producer en DJ te zijn. Zijn oneindige energie is terug te horen in de avontuurlijke tracks die tijdens zijn sets worden geselecteerd. Ineffekt beleefde zijn doorbraakjaar in een tijd waarin clubs gesloten waren, festivals verboden waren en dansen in het geheim gebeurde, en is gedreven om de wereld te laten weten wie hij is. Instagram OATS Door de agressie van punk en metal en de technische complexiteit van jazz te combineren, maakt OATS indruk met een emotionele en keiharde live-act. Hun verfrissende mix van genres als emo, mathrock en experimentele hiphop zorgen voor een gepassioneerd optreden dat je niet mag missen. Ze stonden op Complexity Fest 2023 en zijn geselecteerd als NMTH-talent voor Popronde 2023. Instagram Nana Fofie Nana Fofie, is een 28-jarige zangeres en songwriter, geboren en getogen in Nederland, van Ghanese afkomst. Haar overleden vader was een ervaren zanger die haar de verschillende kanten van muziek liet zien, van moderne soul tot traditionele Ghanese muziek tot R&B. Nana kreeg in 2019 haar eerste contract van onder meer Nicki Minaj, met als hoogtepunt een optreden in de Ziggo Dome in Amsterdam voor 15.000 mensen. Nana's carrière is blijven groeien met in totaal meer dan 60 miljoen streams. 2023 is het jaar van Nana's baanbrekende project. Instagram Alex Figueira Alex Figueira (uitgesproken als Fee-Gay-Ra) is een veelzijdige Venezolaans-Portugese muzikant, producer, DJ en platenverzamelaar gevestigd in Brussel. Hij staat bekend als de “hardst werkende man in de tropische muziek” en heeft succesvolle muziekprojecten opgericht zoals Fumaça Preta, Conjunto Papa Upa, Vintage Voudou Records, Music With Soul Records en de muziekstudio Heat Too Hot. Zijn solodebuutalbum "Mentallogenic" kreeg lovende kritieken en hij kreeg erkenning van marktleiders als Kenny Dope en Giles Peterson. Figueira combineert minder bekende genres uit Afrika, het Caribisch gebied en Latijns-Amerika met vintage soul, funk en psychedelica, wat resulteert in een unieke en experimentele muziekstijl. Instagram Melleni Melleni is de bijnaam van songwriter en producer Melle Jutte. Zijn muzikale werk weeft een eclectische mix van invloeden samen, die de pulserende ritmes van house en techno, de diverse wereld van mondiale grooves en de meeslepende soundscapes van experimentele en ambient muziek omvatten. Het kenmerkende geluid van Melleni wordt op subtiele wijze versterkt door de toevoeging van live-elementen en zang, waardoor de essentie van Melle Jutte's artistieke persoonlijkheid wordt vastgelegd. Samen creëert deze muzikale fusie een betoverend verhaal dat resoneert met een wereldwijd publiek. Instagram Eveline Ypma Eveline Ypma is een filmcomponist, multi-instrumentalist en geluidskunstenaar uit Amsterdam, Nederland. Ze is gespecialiseerd in compositie met een ingetogen en speels karakter. Haar liefde voor de natuur is te horen via de soundscapes in haar composities; dit geeft een organische en eigenzinnige dimensie aan haar muziek. Als leergierige muzikant verkent Eveline haar omgeving op zoek naar interessante geluiden, van vulkanische trillingen uit IJsland tot menselijke en natuurlijke geluiden bij een strandopgang in de Nederlandse duinen. Met een combinatie van veldopnames, soundscapes en muziekinstrumenten vertelt ze op meesterlijke wijze een verhaal. Haar gebruik van karakteristieke klanken en haar authentieke aanpak maken haar composities uniek. Website Jan Modaal Jan Modaal schrijft punk “smartlappen”. Uit de teksten van Jan blijkt een grote liefde voor de Nederlandse taal. De liedjes bevinden zich ergens tussen een vrolijke aanklacht en een boze liefdesverklaring. In 2020 verscheen ‘Wil je dood ofzo?’, het debuut van Jan Modaal. Jan legt zijn visie op de wereld uit in vier snijdende, scheurende stukken. In 2023 verscheen de tweede EP, Dode Witte Man. Hard, pakkend en rechttoe rechtaan. Jan Modaal is een man van het volk, de schelle stem van een generatie. Instagram Sophie Jurrjens Sophie Jurrjens leeft voor muziek. Sophie is componist en creatief ondernemer, geïnteresseerd in het samenvoegen van muziek met de omgeving. Na het behalen van haar bachelordiploma aan het Utrechts Conservatorium studeerde zij af aan de interfaculteit ArtScience van het Koninklijk Conservatorium/Koninklijke Academie voor Beeldende Kunsten in Den Haag. Om mensen de kracht van muziek te laten ervaren, heeft Sophie de Off-Track app ontwikkeld. Off-Track maakt van naar buiten gaan een beleving door muziek toe te voegen aan een wandelroute. Ze schrijven de muziek zelf en passen deze aan aan de route die je loopt. Instagram Smitty Smitty (27) is een multitalent uit Haarlem die zowel de kunst van het rappen als de skills van een producer beheerst. Met roots in de Dominicaanse Republiek en teksten in het Nederlands en Engels heeft Smitty een serieuze internationale uitstraling. De rapper/producer is sinds 2016 een waardevol lid van hiphop/trapcollectief Black Acid en maakt ook solo sterke moves. Smitty is een gepassioneerd verhalenverteller en dat hoor je terug in zijn muziek. Zijn geluid is zonder meer uniek: stoer en oprecht, en ondersteund door messcherpe teksten. Tijdens zijn show bij Creative by Nature speelde de rapper voor het eerst een akoestische versie van zijn liedjes - een stap die zijn diversiteit als artiest bewees. Instagram Casimir & Sofia Sofia Maria en Casimir treden regelmatig samen op op festivals en clubs door heel Nederland. Als duo spelen ze nog maar een paar jaar samen, maar toch hebben ze al een aantal grote festivals op hun naam staan. Altijd van achter een digitale draaitafel en vaak voor een breed publiek. Van Amsterdam Dance Event tot Best Kept Secret. Ze spelen uiteenlopende stijlen tussen house, electro en hier en daar een vleugje breakbeat. Instagram (Casimir) Instagram (Sofia) Vincent Höfte Vincent Höfte is 30 jaar oud en woont in Den Haag, werkt in Amsterdam als ingenieur. Muziek, en piano in het bijzonder, is al twintig jaar zijn hobby. Na even over het conservatorium nagedacht te hebben, bleef het een hobby. Zijn situatie is voor velen herkenbaar: "weinig tijd, ik zou graag weer meer willen spelen". Gelukkig bestaan er openbare zenderpiano’s en die zorgen altijd voor de motivatie om ongevraagd voor een zenderconcert te gaan. Vooral voor zichzelf, maar wellicht ook voor de toevallige toeschouwer.

  • Collectieve AR tijdens ADE

    Vorige maand creëerden we een AR (Augmented Reality) ervaring voor aankomende DJ Ineffekt die in première ging tijdens het Amsterdam Dance Event. Het stelde het publiek in staat om gezamenlijk de wereld van Ineffekt in AR te betreden terwijl ze luisterden naar zijn nieuwe EP genaamd High Hopes. Ineffekt werkte eerder samen met regisseur Cas Mulder om een korte video te maken voor zijn EP die afgelopen augustus uitkwam. De clip toont de producent in een schijnbaar lege ruimte, terwijl hij een organisme ziet groeien in een besmettingskast. Omdat de besmettingsdoos en de inhoud ervan allemaal waren ontworpen door een geweldig VFX-team, dachten we dat het interessant zou zijn om een ‘vervolg’ op de video in AR te maken. Met andere woorden: wat gebeurde er met het groeiende organisme in de glazen doos? De AR werd tijdens ADE vier keer gepresenteerd en was vrij toegankelijk. Bezoekers verzamelden zich op straat voor een platenwinkel. De High Hopes EP zou beginnen te spelen en we zouden het publiek uitnodigen om een QR-code te scannen die onmiddellijk de AR-ervaring zou dienen, zonder dat eerst een app moest worden gedownload. Eenmaal in de AR-ervaring werd het publiek omringd door een pulserend, post-apocalyptisch landschap. Er zijn fragmenten te zien uit de besmettingskist, die nu vrijwel volledig overspoeld is. Het gele organisme dat zo snel in de doos groeide, is nu overal. En na wat verkenning kon het publiek zien dat Ineffekt dit (en hen?) allemaal van een korte afstand bekijkt, ogenschijnlijk tevreden. De boodschap: je kunt de groei niet tegenhouden; de natuur (of creativiteit?) zal altijd zijn weg vinden.

bottom of page