Met de ontwikkeling van neurale netwerken en machine learning-technologieën breidt de reikwijdte van hun toepassing zich ook uit. Als eerdere neurale netwerken uitsluitend werden gebruikt voor het uitvoeren van complexe wiskundige, medische, fysieke, biologische berekeningen en voorspellingen, winnen deze technologieën nu aan grote populariteit in een meer 'alledaagse' omgeving - op het gebied van entertainment. Door slechts de eerste stappen in deze richting te zetten, zijn ze al in staat om verbluffende en soms zelfs uitstekende resultaten te laten zien. Vandaag zullen we enkele illustratieve voorbeelden analyseren.
Het video-remasteringproces is zo ingewikkeld en tijdrovend dat we misschien nog nooit veel meesterwerken van de wereldklassiekers hebben gezien met een nieuw, modern, helder en sappig beeld. De wereld zit echter vol met slimme fans en enthousiastelingen die goed thuis zijn in nieuwe technologieën, en in het bijzonder neurale netwerken en machine learning-technologieën, waarmee je zelfs thuis verbluffende resultaten kunt behalen. YouTube-gebruiker Stefan Rumen met het pseudoniem CaptRobau besloot bijvoorbeeld om enkele van de mogelijkheden van neurale netwerken te demonstreren bij het verwerken van video's van een oude sciencefictionreeks.
Zijn eerdere werk is Remako Mod, een "HD-remake" van de klassieke en zeer populaire Japanse RPG Final Fantasy VII genaamd. Om dit te doen, gebruikte hij het AI-algoritme AI Gigapixel, waarmee hij de afbeelding van de originele foto 4 keer kon schalen en deze naar HD-resolutie kon converteren zonder noemenswaardige veranderingen in het originele kunstontwerp. Dus terwijl je nog een decennium wacht tot het moment waarop de Japanse ontwikkelaar en uitgever van computerspellen Square Enix officieel een remaster uitbrengt van misschien wel een van de beste delen van deze gameserie, kun je de mod van Stefan Rumen zelf proberen door hem van deze site te downloaden.
Trouwens, onlangs is de technologie van neurale netwerken om oude games opnieuw te masteren en ze naar een relevantere en modernere look te brengen zonder het algemene originele concept te veranderen, een echte trend geworden onder verschillende modders. Zo hadden we het nog niet zo lang geleden over ESRGAN-technologie (Enhanced Super Resolution Generative Adversarial Networks), die beeldschalingstechnologieën implementeert met een kwaliteitsverbetering van 2-8x. Het algoritme 'voedt' de originele afbeelding met een lage resolutie, waarna het niet alleen de oorspronkelijke resolutie van de laatste verhoogt, maar ook de beeldkwaliteit verbetert door op realistische details te schilderen en texturen 'natuurlijker' te maken.
Vergelijking van textuurkwaliteit: aan de linkerkant is de originele textuur uit het Morrowind-spel, aan de rechterkant - verwerkt door het neurale netwerk.
Een personage uit Doom (links - was, rechts - werd).
Achtergrondverwerking in Resident Evil 3.
Promotie video:
Hoe het ook zij, in de tussenpozen tussen de remastering van "The Seventh Final" besloot Stefan Rumen een ander project op te pakken - om dezelfde machine learning-technologie te gebruiken, maar dit keer voor het verwerken van frames van de klassieke sciencefictionreeks uit de jaren 90. Rumen koos Star Trek: Deep Space Nine als object voor zijn experimenten.
Het schalen van een livebeeld van een tv-serie is heel anders in complexiteit dan het schalen van een vooraf gerenderd beeld van Final Fantasy VII, merkt de auteur op, dus het uiteindelijke resultaat ziet er merkbaar beter uit dan het originele materiaal in lage resolutie, maar dit beeld is nog lang niet het ideaal waarover je had kunnen dromen sinds de eerste Blu-ray-spelers op de markt kwamen. Af en toe verschijnen er kleine "artefacten" op het scherm. Maar nogmaals, in het algemeen ziet alles er meer dan waardig uit. Maar over het algemeen moet u het zelf zien.
Voor dit project gebruikte Rumen ook het AI Gigapixel-algoritme, dat werd getraind om afbeeldingen te bewerken op basis van echte foto's. De auteur merkt op dat de nieuwe foto is verkregen in 1080p en 4k, maar aangezien Rumen geen tv of monitor met native 4K-resolutie heeft, kan hij de 4K-versie niet voldoende beoordelen.
Helaas kun je niet de hele serie in Full HD kwaliteit bekijken. Het verwerken van al het bronmateriaal zou erg lang hebben geduurd, daarom gebruikte Rumen voor de demonstratie alleen losse frames uit verschillende series. Volgens hem heeft hij dit project maar om één reden opgepakt: om te laten zien dat het echt mogelijk is. Naar zijn mening zal een heel team van professionals die bij een groot televisiebedrijf werken en de beschikking hebben over geschiktere en krachtigere computerapparatuur voor dergelijk werk, deze taak veel beter aankunnen.
Het gebruik van neurale netwerken om het verwerken van oude beelden uit videogames en films te vereenvoudigen, zijn niet de enige gebieden waar dergelijke technologieën hun talenten kunnen tonen. In de moderne wereld, waar panoramische camera's die 360 graden kunnen produceren, evenals headsets voor virtual reality, aan populariteit winnen, zijn ontwikkelaars begonnen met het actief verkennen van het potentieel van panoramische fotografie.
Een van de nieuwste ontwikkelingen in deze richting is een neuraal netwerk dat panoramische statische beelden kan weergeven. Het is geschreven door machine learning-experts van Massachusetts Universities, Columbia Universities en George Mason University.
Het gecreëerde algoritme bepaalt het type omgeving en objecten op de foto en selecteert en rangschikt vervolgens geluiden uit de gebruikte database in overeenstemming met de ruimtelijke berekening van de afstand tot hun bronnen in dit beeld. Hierdoor krijgt het panoramische beeld een realistisch en ruimtelijk geluid waarmee u het gepresenteerde beeld op een geheel nieuwe manier kunt evalueren.
Volgens de ontwikkelaars van dit neurale netwerk kan de technologie interesse vinden bij ontwikkelaars van VR-content (films en games). In dit geval hoeven de laatste niet alle geluiden handmatig op het panoramische beeld te leggen, het neurale netwerk zal het allemaal alleen kunnen doen.
Nikolay Khizhnyak
