Onderzoeksteams experimenteren vaak met video-inhoud met behulp van neurale netwerken. Neem bijvoorbeeld NVIDIA, dat eind 2017 een neuraal netwerk trainde om het weer en de tijd van de dag op video te veranderen. Een ander project van dit soort werd gelanceerd door onderzoekers van de Carnegie Melon University, die een neuraal netwerk creëerden om gezichtsuitdrukkingen van de ene persoon op het gezicht van een ander op te leggen.
Het project is gebaseerd op de DeepFakes-technologie voor het veranderen van gezichten op video. Het is gebaseerd op een generatieve vijandige vorm van machine learning. Binnen zijn kader probeert het generatieve model het discriminerende te misleiden en vice versa, waardoor het systeem begrijpt hoe de inhoud kan worden getransformeerd naar een andere stijl.
Het cycle-GAN-algoritme voor het overbrengen van eigenschappen naar een ander object is niet ideaal en maakt artefacten in de afbeelding mogelijk. Om de kwaliteit van het neurale netwerk te verbeteren, gebruikten de onderzoekers de verbeterde versie van de Recycle-GAN. Het houdt niet alleen rekening met de positie van verschillende delen van het gezicht, maar ook met de snelheid van hun beweging.
Het neurale netwerk bracht de gezichtsuitdrukkingen van tv-presentator Stephen Colbert met succes over op het gezicht van komiek John Oliver. Bovendien bracht ze het bloeiproces van de narcis over op de hibiscus.
Onderzoekers geloven dat de technologie kan worden gebruikt in cinematografie. Dit versnelt het proces en verlaagt de kosten voor het maken van films. Het vermogen van neurale netwerken om het weer op video te veranderen, maakt het gemakkelijker om elektrische auto's te leren rijden in verschillende weersomstandigheden.
Ramis Ganiev
Promotie video:
