Restauration en HD

[isamidala]

Impressionnant travail bravo

[Lyvan]

Effectivement, plan par plan c'est un boulot monstre ! J'espère que la flamme reste intacte, car il faut énormément de patience. On est avec toi !

[Jep]

Merci!

Comme j'ai tout cassé et que je n'ai pas le temps de réparer ce soir, un message rapide.
Et comme d'hab 2 pas en avant et un en arrière!
31GB et 2300 vidéos générées avec des réglages différents.

Capture d'écran 2025-02-17 223420.png

Il n'y a pas 1 workflow mais 4 workflows et il faut que je choisisse le meilleur pour chaque scène.
chaque workflow utilise des modèles de machine learning différents que je n'ai pas entraînés moi-même car il manque des versions HR (haute résolution) pour le faire.
Ou un modèle ayant été entraîné avec des dégradations similaires, ce qui n'est pas le cas.

On m'a conseillé une architecture/modèle qui donne de bien meilleurs résultats (à base de transformers). Bien qu'ayant un outil des plus efficaces en fps/vram, il ne tourne qu'à 0.65fps (1 image toutes les 1.54s) sur ma RTX4080...

voici un exemple avec différents workflows. L'image de départ est la centrale.

Capture d'écran 2025-02-17 225052.png

[Logan8]

La deuxième image à partir de la gauche est la plus belle/détaillée. Quelle outil d'upscaling et configuration as-tu utilisé?

[Jep]

La deuxième image à partir de la gauche est la plus belle/détaillée. Quelle outil d'upscaling et configuration as-tu utilisé?

Pour cette scène, j'ai utilisé un workflow utilisant un réseau DAT-2 (Dual Aggregation Transformer) avec un modèle entraîné par un contact.
J'en ai d'autres basés sur de l'ESRGAN, RealPLKSR, RealCUGAN, SCUNet.

[Jep]

En passant par là,
rien n'est parfait... Pour une première version, j'ai choisis de privilégier les personnages plutôt que l'arrière plan: un modèle est pas trop mauvais pour l'arrière plan, un autre pour les personnages/objets.

18h d'upscale et ensuite je passe à la stabilisation/colorimétrie sous DaVinci Resolve.
J'ai envie de finaliser cet épisode 1 même s'il y a bcp d'artéfacts, ils sont nombreux sur le bluray

J'ai d'autres idées, expérimentations, notamment
- segmenter et upscaler indépendamment l'arrière plan et le reste (objets), mais je risque d'avoir un problème de carte graphique avec pas assez de VRAM / ça fera presque doubler le temps d'upscale.
- autre point: améliorer la stabilisation sur certaines scènes en passant par de l'IA plutôt que Davinci resolve.
... asuivre...

[Logan8]

Super cool ton projet. Je suis curieux de voir le résultat pour le premier épisode. Et soit pas trop exigeant avec ton travail, ça va être bien meilleur que les DVD et Blu-ray existant!