Neben Nvidia’s DLSS und AMD Fidelity FXSR könnte Sony an einem eigenen Verfahren zur Verbesserungen der Bildqualität auf PS5 und PSVR 2.0 arbeiten. Das geht aus einem aktuellen Patent hervor.
Darin wird eine Methode beschrieben, in der defekte Bilder oder Bilder, in denen Fragmente fehlen, durch eine eine Kombination aus Machine-Learning und Computer-based Implementation ersetzt und aufgefüllt werden.
Als Beispiel beschreibt man dazu:
„Wenn zwei oder mehr Bilder vorhanden sind, die Perspektiven derselben Umgebung darstellen, kann es sein, dass keine Bilddaten vorhanden sind, die einer Zwischenperspektive entsprechen, die ein Benutzer sehen möchte. Alternativ können einige Bilddaten aus einer der Perspektiven fehlen. Prozesse des maschinellen Lernens können verwendet werden, um die Zwischenperspektive abzuleiten und die fehlenden Bilddaten zu ersetzen. Das Ausführen von maschinellen Lernprozessen, um fehlende Daten zu erhalten, ist rechen- und zeitaufwändig.“
Dadurch lernt die KI stetig eine relativ einfache Methode, um Inhalte zu kategorisieren, ob Inhalte vorhanden sein sollten oder nicht, und diese schneller und mit weniger Rechenleistung zu füllen.
Anwendung in VR
Die Technologie könnte sowohl bei der PS5, wie auch PlayStation VR 2.0 zum Einsatz kommen, das von sich aus schon rechenintensiv ist und wo man nach Wegen sucht, um eventuelle Lücken zu umgehen. Zumindest wird auch ein Anwendungsbeispiel für VR beschrieben:
„Ein User, der ein Virtual-Reality-Headset trägt, wird durch zwei Monitore im Headset eine Darstellung einer dreidimensionalen Szene präsentiert. Wenn der Benutzer seinen Kopf bewegt, wird eine neue Szene erzeugt und entsprechend der neuen Position und Ausrichtung des Headsets angezeigt. Auf diese Weise kann ein User ein Objekt in der Szene umsehen. Bereiche der Ausgangsszene, die durch die Bewegung in der neuen Szene sichtbar werden, werden als zuvor „okkludiert“ bezeichnet. Die angezeigten Szenen können durch einen Computer oder durch einen vom Headset entfernten Cloud-basierten Rendering-Dienst erzeugt werden. Eine Rate, mit der Bilddaten an das Headset geliefert werden, wird durch die Bandbreite der Verbindung zwischen dem Headset und dem Computer, der Konsole oder dem Cloud-basierten Rendering-System begrenzt. Folglich sind manchmal aufgrund von Bandbreitenbeschränkungen oder Unterbrechungen nicht alle Daten verfügbar, die zu einem bestimmten Zeitpunkt erforderlich sind, um eine Szene vollständig aufzubauen und anzuzeigen. Lücken in den Bilddaten, aus denen die Szene besteht, sind ein unerwünschtes Ergebnis und haben einen erheblichen negativen Einfluss auf die Immersion des Benutzers.“
Wann und wie dieses Patent zum Einsatz kommt, ist natürlich weiterhin offen.