Restauration en HD

[Jep]

Je continue. J'ai fait une première passe sur les génériques. Avancement
Vérifié sur mon v.p. en plus de mon écran de PC. Les résultats peuvent être différents sur d'autres écrans, le mien étant un 100% Rec.709 et mon v.p à peu près calibré. A voir sur un écran de "base", mais ce n'est pas ma priorité.

La limitation n'étant toujours que de travailler que des éditions trouvables légalement en France. Ce sont des versions compressées (DVD) et très bruitées, c'est compliqué de dé-bruiter sans perdre trop de détails et ne donnera jamais d'excellents résultats. Je ne recherche que quelque chose de plus "regardable" en grand écran, càd sans que ça ne pique trop les yeux.

Voici une petite photo des éditions que j'ai disséquée, histoire de voir ce qui est ce qui donne de meilleurs résultats.
Dans l'ordre de gauche à droite, éditions:
- Sony (2001): utilisé pour générique à suivre/de fin, peut-être utilisée dans le futur pour l'élargissement de certains plans (?)
- Fabulous (u.k.): non utilisé. A étudier pour l'élargissement de certains plans, mais assez peu probable
- A.K. vidéo remasterisée: non utilisé
- A.K. vidéo: peut-être utilisée dans le futur pour l'élargissement de certains plans (?)
- Kaze: la principale utilisée: vidéo et son
- Sony (2000): non utilisée

[Jep]

Pris du retard pour raisons personnelles et médicales (covid),

Juste pour essayer ma connexion fibre, j'ai uploadé le générique de début, je ne me rappelle plus où j'en étais dans les corrections de courbes pour les génériques

EDIT: 2022-12-31, et hop un petit strike de youtube, peut-être parce que je les avais mises en "public" (par défaut)

EDIT: oh la vache, la compression youtube...
youtube vs lecteur vlc:

[Jep]

Je fais le point sur les éditions et sur l'avancement de mon petit projet...
Parce que je suis bloqué et qu'il va falloir que je fasse un choix... douloureux

Allons-y, démarrons le pâté!

En commun sur toutes les éditions

je ne parlerai pas des reportages, l'édition DVD Kazé 2008 étant la moins douloureuse pour les yeux
le - étant un aspect négatif, le + un aspect positif
- la colorimétrie!

Edition Sony 2000

- résolution trop basse (352*576), beaucoup de détails perdus
+ pas de gros défauts de compression
- problème de synchro audio (sur épisode 1)
- après upscale/dé-bruitage: beaucoup de bruit restant ou trop de crénelage (effet escalier) sur les traits

Edition Sony 2001

- énormément de problèmes lié à l'encodage mpeg (blocks)
- traits mal définis, trop de crénelage (effet escalier) après upscale/dé-bruitage

Edition AK vidéo

- énormément de problèmes lié à l'encodage mpeg, plus que pour sony 2001
- flou après upscale/dé-bruitage

Edition AK vidéo remasterisée

vraiment remasterisée?
- du flou, du flou, du flou
- du bruit,
- mais moins de problèmes liés à l'encodage mpeg par rapport à la version précédente

Edition anglaise fabulous

+ le meilleur cadrage
- du flou, beaucoup de détails perdus
- trop de crénelage (effet escalier) après upscale, dé-bruitage
- la moins stable de tous les éditions
- montage différent (plans manquants) par rapport à l'édition française
- image très terne

Edition Kaze 2008

+/- la plus nette, mais des contours mal définis après upscale/dé-bruitage qui donne de crénelage (effet escalier)
- halo rose déjà présent autour des traits, qui est accentué après upscale/dé-bruitage
- du bruit qui s'enlève relativement bien MAIS qui génère du fourmillement après de l'upscale/dé-bruitage
- cadrage le moins bon: trop serré
- quelques images perdues par rapport aux autres éditions mais non visible
+ qualité audio la meilleure parmi les éditions DVD

Edition japonaise

- je ne l'ai pas mais les épisodes sont visibles en streaming
+ la meilleure en terme de cadrage
- montage différent (plans manquants) par rapport à l'édition française
- en ayant vu des comparatifs, je pense qu'il y aurait des problèmes de crénelage après upscale/dé-bruitage

Blu-Ray Kaze 2013

- je ne l'ai pas mais il semble que c'est la même version que 2022

Blu-Ray Kaze 2022

+ traits les mieux définis et les plus fins ce qui donne la meilleure netteté et pas de crénelage
+ le moins de bruit et de défauts
+ pas de fourmillement
+ la plus stable
- environ le même cadrage que l'édition Kaze 2008
- les problèmes de passage entre plans toujours présents mais moins que sur l'édition 2008
- la pluie a disparu sur pas mal de plans
- la meilleure qualité audio
- la colorimétrie a été globalement modifiée mais pas plan par plan, la modification par une TV donnerait le mêm résultat!

Conclusion personnelle sur ces éditions:
- Audio: Blu-Ray Kazé 2022
- Vidéo:

• Réduction de bruit: Blu-Ray Kazé 2022
• Netteté: Blu-Ray Kazé 2022
• Stabilité: Blu-Ray Kazé 2022
• Cadrage (du + au -): japonaise, anglaise, sony 2001, DVD Kaze 2008, Blu-Ray Kazé 2022
• Détails: DVD Kazé 2008, Sony 2001
• Colorimétrie: aucune

Concernant mon projet, historique

- En février 2020, j'étais parti sur l'édition Sony 2001, mais les problèmes liés à l'encodage MPEG m'ont fait passer à l'édition 2000, mes outils étaient basiques et ne permettaient pas une correction de colorimétrie plan par plan
- En 2021, édition Sony 2000 (acquisition), développement d'outils:

• pour la vidéo: utilisation d'algorithmes de modules python (opencv, scikit) en plus des filtres FFMPEG.
• pour l'audio en mono: pour permettre l'amélioration du montage audio car les passage entre épisode/générique/reportage sont "pourris"

- Depuis fin 2021, édition DVD Kaze 2008 (acquisition): développement d'outils autour de cette édition. Ces outils peuvent être utilisés pour d'autres éditions (mais non validé car des bugs persistent):

• remplacement d'images d'un même plan lorsqu'elle sont trop de bruit, tros gros défaut. Réutilisable quelque soit l'évolution du projet
• outil pour la correction de la colorimétrie plan par plan. Réutilisable quelque soit l'évolution du projet
• paramétrage pour le montage vidéo et synchronisatin A/V: fondus, boucles sur image et fondu, duplication de segments audio (notamment pour les débuts de générique du reportage), synchronisation A/V pour les reportage. Réutilisable quelque soit l'évolution du projet

- Le tout entrecoupé de pauses

Concernant mon projet, avenir

Ayant récemment (1 semaine) pu étudier la version Blu-Ray de Kazé, j'en suis arrivé aux conclusions suivantes:

• Pour l'audio, je vais partir sur l'audio du Blu-Ray, moyennant modification de mes outils pour un passage en stéréo, ceci afin d'améliorer le montage A/V
• Essayer d'améliorer les résultats que j'avais obtenus avec la version sony 2001 en utilisant les modules python que je n'avais pas utilisés: dernière étape avant de prendre la décision de passer à la version Blu-Ray, choix par dépit.
• Quitte à sacrifier le cadrage, autant partir sur le Blu-Ray Kazé 2022 et effectuer les corrections de colorimétrie dessus
• Si utilisation des Blu-Ray, serait-il possible de superposer des "images de pluie" générés par des outils (à développer)?
• Reportage: utilisation du DVD Kazé 2008? pas très coûteux en énergie pour modifier les outils, la correction de la colorimétrie que je fais est globale et le dé-bruitage est relativement faible.
• Génériques: utilisation de ceux que j'ai déjà générés, je n'aime pas ceux du BR (moins bons?), peut-être un mix pour récupérer le logo. Stabilisation du générique de fin? A voir, car je n'ai pas développé les outils de stabilisation (j'ai déjà les algorithmes qui donneraient des résultats convenables)

Si vous avez des remarques, questions, avis (surtout!), je les lirai avec grand plaisir!
Merci!

Et bon réveillon!

[Jep]

Une petite réponse rapide à mon commentaire précédent : sur l'audio du BR, je me suis fourvoyé.

En considérant uniquement l'épisode 1, il n'y a que les génériques de début et de fin qui sont en stéréo, et il me semble que c'est de la vraie et non pas de la pseudo-stéréo pour ces génériques.
Tout le reste est du mono (dupliqué sur canaux droite et gauche)
edit: même constat pour l'épisode 2, et en même temps, c'est assez logique car tout avait été fait en mono à l'époque.

1) Sur cette capture d'écran de l'audio du BR, les 2 canaux supérieurs sont les canaux droite/gauche. La 3ème piste est la soustraction des deux canaux droite et gauches: la différence est nulle excepté pour les 2 génériques. Mono donc pour l'épisode. cqfd.

soustraction des canaux

.
2) Après comparaison au casque, la piste audio du BR semble étouffée et moins "claire" que la piste audio du DVD: ça rend moins bien lors des passages de tintements de métal contre métal ou contre le sol (exemple: épée de Mendosa dans la taverne qui cogne lorsqu'il se lève brusquement). Il me semble que ce qui a été fait n'est juste qu'un filtrage et même peut-être juste qu'un passe-bas uniquement (mais ça doit être dans un de mes cauchemards): dites-moi que j'ai tord, mais si j'ai tord, alors le résultat n'est pas à la hauteur du temps passé...
.
3) Les petits défauts faciles à enlever n'ont même pas été corrigés... comme par exemple... le glitch du début de l’épisode, inaudible, mais ça ne prenait que quelques instants (demi-minute) à supprimer ce glitch en utilisant l'effet fade-in, voire même une mis à 0 des samples sans fade in! Je ne parle même pas des passages entre les différentes parties... Au vu du temps que j'ai passé pour scripter ces corrections, pour 39 épisodes, 3 jours de travail au grand maximum pour rendre le montage audio plus acceptable (enlever glitch, ajouter des silences entre les parties, corriger pour que l'audio du générique du reportage ne soit plus recouvert par la partie "à suivre"). Et même moins, car j'ai dû faire le repérage, tester sous audacity, scripter, régénérer le tout et tester le tout.

On voit sur l'image suivante ce glitch sur la piste audio du BR du DVD

.
Conclusion: mise à part les génériques de début et de fin, la piste audio du BR ne me convainc pas. Ceci étant, l'audio des éditions Kazé sont les moins bruitées et meilleures que les autres éditions.

[Atlanta]

je suis même si j'ai du mal à comprendre, je trouve ça extrêmement intéressant

[Jep]

je suis même si j'ai du mal à comprendre, je trouve ça extrêmement intéressant

Merci!

Petites infos en passant par là...
Je suis en train de faire un pas en arrière, voire 2: je nettoie entièrement le projet:
- en laissant tomber la technique d'"image stitching" qui n'est pas probante, compliqué, et pour les raisons en dessous
- j'ai rajouté le fait d'incorporer l'audio des br pour les génériques de début et de fin.
- j'ai édité des courbes pour la colorimétrie de l'édition kaze 2008 (la moitié des plans de l'épisode 1) afin de voir le temps passé: c'est assez rapide.
- j'ai simplifié le projet pour tester d'autres éditions et choisir celle qui conviendrait le mieux pour chaque partie (et plus tard pour chaque plan?)
- je suis en train de tester des algorithme d'AI Super Resolution sur les éditions sony 2000 et kaze 2008, les autres éditions (sony 2001, akvideo, fabulous) sont trop floues ou trop bruitées (block mpeg2).

Voici des screenshots de ce que j'obtiens avec un des algo que j'ai trouvé (open source) et un des modèles fournis
originale (kaze), super resolution sony 2000, super resolution kaze, et ce que j'obtiens avec les algo actuels de mon projet

Ces algo nécessite une bonne carte graphique pour que ça soit rapide, je vais devoir casser la tirelire pour remplacer ma carte graphique d'il y a 10 ans et trouver le meilleur algo/modèle (pour d'autres images, le résultat est moins bon...).

[Jep]

Et voici pour les génériques... Bon faudra voir ce que ça donne en vidéo car j'ai déjà eu des surprises à cause de fourmillements...
note: il s'agit des upscale AVANT corrections de la colorimétrie

[Jep]

Bon, et si je donnais quelques nouvelles?
Des imprévus perso et pro, des moins bons et des meilleurs à venir, ça réduit mon temps disponible.

Alors?
Des résultats pas à la hauteur de ce que j'attendais... De nouvelles idées, des tests, long à coder et long pour générer des images (j'ai besoin d'une carte vidéo plus puissante, la mienne d'il y a 11 ans ne suit pas et je suis obligé d'utiliser le CPU pour ça) : 20secondes/frame

- Je passe sur l'édition 'f' pour les épisodes (l'anglaise pour ne pas la nommer dont l'éditeur est spécialiste pour faire faire strikes youtube ), c'est celle qui tient le mieux l'upscale super-resolution (AI) par rapport aux autres: mais la très faible résolution des DVD fait apparaître du bruit numérique (fourmillements, comme pour toutes les éditions d'ailleurs)
- L'édition kazé 2008 donne de bons résultats en ce qui concerne les détails, par contre du bruit numérique (lié à l'encodage) en plus du fourmillement, bien plus que pour l'édition f.
- La stabilisation est obligatoire pour cette édition. Je dois effectuer des tests pour effectuer la stabilisation avant l'upscale (plutôt qu'après comme actuellement) et permettrait d'appliquer un filtre temporel permettant (j'espère) de réduire le fourmillement.
- J'ai évalué des outils commerciaux d'upscaling (AI), il y en a un qui est très efficace pour la stabilisation, par contre le résultat de l'upscale est flou. Les autres donnent des résultats pourris pour le même extrait.
- J'ai fait visualiser beaucoup (~30) d'essais de vidéo générées pour le même extrait à mes enfants (entre 8 et 15 ans). En mettant de côté les différences de colorimétrie, ils préfèrent la version 'f' qui fourmille plutôt que la version blu-ray!
au risque de me répéter, la version blu-ray est superbement stable (sauf lors des changements de plans) et pas de fourmillements (grâce au nouveau scan de la péllicule)
- Pour le générique de fin, j'ai testé l'inpainting pour "gommer" des défauts, mais il faudrait que j'ajoute un outil pour générer les masques facilement. On verra plus tard mais c'est possible et donnerait de bons résultats sur des trames non "remplaçables" par la précédente/suivante.

super resolution AI: dans l'ordre: f, sony 2000, kaze 2008, blu-ray(extrait)

inpainting:

Prochaines étapes:
- Coder et tester des algo pour stabiliser et rajouter un filtre temporel avant l'upscale et essayer de réduire le fourmillement...
- Acheter une carte graphique une fois que les résultats me semblent suffisamment probants

PS: des liens pour voir ce qu'est l'upscaling super-resolution :
https://github.com/xinntao/Real-ESRGAN/ ... arisons.md
https://github.com/bilibili/ailab/blob/ ... ADME_EN.md

[Atlanta]

on peut voir que certaines teintes ont bien terni !
très intéressant jep

[Jep]

Bonjour!

on peut voir que certaines teintes ont bien terni !
très intéressant jep

Merci. De base, entre les éditions dvd, la colorimétrie est différente. Sur les captures d'écran et sur les vidéos de démonstration, je n'ai pas fait de correction de la colorimétrie. Sachant ne plus qu'elle est en plus modifiée selon les algorithmes utilisés, c'est la dernière étape et j'ai déjà tous les outils de prêts.

Pour l'instant, je ne m'intéresse qu'à la netteté et au dé-bruitage.
Après avoir généré plus d'une 100aine de vidéos à comparer pour le même plan de 3s, je pense avoir trouvé quelque chose de convenable... jusqu'à la semaine prochaine?
Voici une playlist de 6/7 vidéos: extrait édition BR, édition f, méthode traditionelle (QTGMC), méthode AI super resolution (3 modèles différents) et super résolution+passage de 25à50fps
remarque: le saut au début du plan est lié à la stabilisation mais ne sera pas présent (limitation des scripts d'essais que j'ai écris)
https://youtube.com/playlist?list=PLmic ... 4UA9vq51An

N'hésitez pas à me dire celle que vous préférez (en faisant abstraction de la colorimétrie bien sûr!)