Het maken van algoritmen voor het werken met afbeeldingen is altijd een vrij moeilijke, maar veelbelovende taak geweest. Toen ik in 1999 nog bezig was met het schrijven van mijn afstudeerproject, was het onderwerp "patroonherkenning" erg relevant in automatische besturings- en managementsystemen.
Dat is wat ze vandaag kunnen doen. Indiase ontwikkelaars hebben een systeem gepresenteerd dat korte video's kan maken van wazige afbeeldingen. Het algoritme werkt op basis van convolutionele en terugkerende neurale netwerken en stelt je in staat bewegingsartefacten in afbeeldingen om te zetten in korte (tot tien frames) video.
Meer details …
Bij het bekijken van een wazig beeld kan een persoon mentaal een beeld voltooien van wat er gebeurt. Het zien van een foto van een vogel met wazige vleugels suggereert bijvoorbeeld dat de vervaging van het beeld het gevolg is van artefacten in de beweging van de vleugels tijdens het vangen. Voor computer vision-systemen is deze taak echter moeilijker, en de meeste bekende methoden zijn alleen gericht op het verwijderen van bewegingsartefacten en het afvlakken van frames.
Wetenschappers van het Indian Institute of Technology, geleid door AN Rajagopalan, suggereerden dat een enkele wazige afbeelding zou kunnen worden gebruikt om een hele korte video te maken: dat wil zeggen: herstel de oorspronkelijke beweging van de artefacten in de afbeelding. Om dit te doen, ontwikkelden ze een algoritme op basis van convolutionele neurale netwerken, die actief worden gebruikt voor taken met betrekking tot automatische beeldherkenning, evenals terugkerende neurale netwerken.
Het model is getraind op een groot aantal video's, die zijn opgesplitst in frames. Daarna zoekt het neurale netwerk naar een dergelijk frame, de artefacten waarop de artefacten van het trainingsmonsterframe het meest overeenkomen. Daarna "herstelt" de decoder de artefacten van het trainingsvoorbeeld in beweging die is vastgelegd op video. Het model slaat dus gegevens op over mogelijk herstelde bewegingen van elk wazig frame dat beschikbaar is in het trainingsvoorbeeld.
Promotie video:
Als resultaat van het werk produceert het neurale netwerk video, gereconstrueerd uit het wazige beeld, bestaande uit tien frames. Het ontwikkelde algoritme zal volgens de makers in de toekomst kunnen helpen om niet alleen het herstel van wazige beelden te verbeteren, maar ook de video's zelf.
Het verwijderen van bewegingsartefacten in individuele frames kan ook de videostreaming verbeteren. Tot nu toe zijn hiervoor voornamelijk algoritmen gebruikt om de bitsnelheid aan te passen aan de videosnelheid en de buffering ervan.
Elizaveta Ivtushok
