Kunstmatige intelligentie maakt scriptvideo's - tot nu toe kort en wazig, maar op een dag zal het alleen al een hele filmstudio vervangen.
Neurale netwerken zijn al redelijk goed (en in veel gevallen beter dan mensen) in het herkennen van patronen in een plaatje en zijn in staat om hele scènes in algemene termen te beschrijven. Generatieve neurale netwerken voeren de omgekeerde transformatie uit en kunnen een beeld vormen op basis van de beschrijving, of het volgende frame voorspellen op basis van eerdere.
De Belgische ontwikkelaars zijn zelfs nog verder gegaan door deze mogelijkheden te combineren in één systeem dat video's maakt "uit het niets", op basis van hun eigen ervaring met machine learning en scripttekst. Tinne Tuytelaars sprak hierover tijdens een bijeenkomst van de Association for the Advancement of Artificial Intelligence (AAAI) in de Verenigde Staten.
Het neurale netwerk werkt in twee fasen - volgens Tinne, alsof het het creatieve proces van een persoon imiteert: in de eerste fase wordt een wazige, benaderende "schets" van elk frame gevormd, waarna details worden gespecificeerd en toegevoegd. Een van de belangrijke onderdelen van een dergelijk systeem is het discriminator neurale netwerk, dat het resultaat vergelijkt met "echte" video's die geschikt zijn voor een bepaald scenario, en waarmee u de kwaliteit ervan kunt beoordelen, waardoor het werk van het generatieve deel van het systeem wordt verbeterd.
Het neurale netwerk werd getraind op 10 scènes ("golfen op het gras", "kitesurfen in de zee", etc.) en leerde acties en omstandigheden van elkaar te scheiden, en kon ze ook op een willekeurige manier combineren door bijvoorbeeld video's te maken. "Golf in het zwembad":
of "zeilen in de sneeuw":
Promotie video:
De kwaliteit van dergelijke animaties is natuurlijk nog verre van acceptabel: "video's" die ongeveer een seconde duren, bestaan uit slechts 32 frames met afmetingen van 64x64 pixels.
Maar met hetzelfde vertrouwen kunnen we garanderen dat deze cijfers snel zullen verbeteren, want nog niet zo lang geleden kon de bioscoop zelf alleen bogen op een modderig, zenuwachtig en dom beeld. Als zo'n neuraal netwerk echt snel en efficiënt kan worden gemaakt, komt er misschien een einde aan Hollywood: het is voldoende om het script te pakken en de film is klaar. Deze mogelijkheid zal nuttig zijn bij het genereren van grote sets voor het trainen van andere neurale netwerken en bij het creëren van nieuwe algoritmen voor het comprimeren en verzenden van streaming video.
Sergey Vasiliev
