De AI-camera waarmee je live special effects creëert

“ChatGPT, verander me in de tweelingbroer van Ryan Gosling!” Het lijkt misschien een toekomstdroom, maar dan toch geen héél verre meer. Artificiële intelligentie verandert de wereld van livestreams en videoproductie razendsnel, weet Jeroen Cluckers, onderzoeker aan AP Hogeschool Antwerpen. In het onderzoeksproject Promptable AI-Camera (PAIC) ontwikkelen hij en zijn collega’s een toepassing waarmee videomakers beelden realtime kunnen bewerken via tekstprompts.

Live special effects: is dat mogelijk?

“Absoluut. Dankzij computeranimatie (computer generated imagery of CGI) zijn er geen grenzen meer aan wat een film je kan tonen. Maar daar kruipt wel een hóóp werk in. Tot voor kort bestond dat proces in grote lijnen uit drie fases: in de preproductie bekeek je onder meer welke echte beelden je nodig hebt en wat CGI zal zijn; tijdens de productie maakte je de opnames met echte acteurs; en in de postproductie creëerde je de digitale beelden en bracht je alles samen tot een geheel: de compositing.”

Vandaag lopen die fases meer door elkaar, toch?

“Inderdaad. Dat is grotendeels te danken aan de komst van AI en software uit de gamingwereld, zoals Unreal. We spreken dan van virtuele productie. In Unreal bouw je de set van een film bijvoorbeeld als een 3D-omgeving waarin je kan rondlopen als in een videogame. Die wereld wordt geprojecteerd op een groot ledscherm achter de acteurs en wordt meteen mee opgenomen.”

“Met Promptable AI-Camera (PAIC) gaan we eigenlijk nog een stap verder.”

Hoe zit dat precies in elkaar?

“PAIC is geen fysieke camera maar een programma dat beelden kan bewerken van om het even welke bron: een filmcamera, webcam, smartphone … Wil je jezelf veranderen in een robot, of een vulkaan laten uitbarsten op de achtergrond? Met een simpele tekstprompt maak je beelden die realtime verschijnen. Zo kan je zelfs in een livestream dinosaurussen, ruimteschepen of aliens achter je laten opduiken, of jezelf in een totaal ander personage of wezen veranderen.”

Dat kunnen andere AI-systemen toch ook?

“Ja en nee. Systemen die tekst, beeld of geluid genereren kunnen inderdaad veel. Daarvoor hebben ze drie elementen nodig. Ten eerste: enorme hoeveelheden data. De ontwikkelaars van ImageNet, een databank voor onderzoek naar objectherkenning, verzamelden miljoenen beelden met bijbehorende omschrijvingen. Het tweede element is brute rekenkracht, geleverd door hardware uit – opnieuw – de gamingindustrie: de grafische processor (graphics processing unit of GPU). En dan is er nog het zelflerende model, een neuraal netwerk. Dat kwam er in 2012 met AlexNet, de eerste toepassing die de drie elementen combineerde. Maar zelfs AI kan niet zomaar video realtime bewerken.”

Wat is dan het struikelblok?

“De rekenlast, die te hoog is voor realtime toepassingen – denk aan de wachttijd wanneer je een AI-chatbot zoals ChatGPT of Copilot prompt. Voor PAIC hebben we een algoritme ontwikkeld dat de rekenlast verdeelt over verschillende GPU’s. Daardoor werkt elke GPU drie tot vier keer sneller. Andere AI-systemen werken bovendien met reeksen beelden om video te genereren, wat het proces zwaar maakt. PAIC werkt met individuele beelden; die efficiëntie is een grote troef.”

Waar willen jullie met PAIC naartoe?

“De bedoeling is dat je met PAIC je verbeelding de vrije loop kan laten, ook zonder tijd of budget voor opnames op locatie, dure sets of kostuums. Je geeft met tekstprompts aan wat je wil. Soms moet je een paar keer proberen voor je het juiste resultaat hebt, maar je ziet de veranderingen meteen en dat is een groot voordeel. Zodra de prompt op punt staat, heb je een afgewerkt beeld. Compositing is niet meer nodig: alle effecten, achtergronden, animaties enzovoort vormen meteen één geheel.”

“We maken nu een volledig virtuele kortfilm om de mogelijkheden te demonstreren, maar PAIC is evengoed bruikbaar voor – bijvoorbeeld – livestreamers, de evenementensector of marketingbureaus. Zie het als een videoproductie-assistent op steroïden.”

Brengt PAIC ook risico’s met zich mee?

“Uiteraard. Dat geldt voor alle nieuwe technologieën. Bestaande AI-modellen zijn bijvoorbeeld al gebruikt door oplichters die zich in videoboodschappen voordoen als iemand anders om geld te ontfutselen van familie of vrienden. In de Europese Unie legt de AI Act AI-producenten regels oplegt afhankelijk van de risico’s van hun product. Sommige toepassingen zijn verboden, terwijl systemen die fotorealistische imitatie mogelijk maken – zogenoemde deepfakes – tot de hoogste risicocategorie behoren. Er is dus regelgeving, maar het blijft belangrijk om zelf waakzaam te zijn.”