Repository navigation
ai raw denoise artefact #1104
Replies: 4 comments 6 replies
|
Sur quel type de capteur et avec quel modèle ? Malheureusement, sur un modèle neuronal, je n'ai aucun moyen de corriger un algorithme puisqu'il n'y a pas d'algorithme. La seule solution est de jouer avec la correction du profil et d'envoyer plus d'images d'entraînement pour que le modèle apprenne à ne plus faire ça. |
|
fuji X100F d’après l'exif |
|
je crois que j'ai trouvé le pb meme s'il faudrait que je poursuive les tests je suppose que tu as fait tes tests avec un gpu physique Comme demandé, quand j'ai lancé le premier calcul 'Large', il n'a pas pu le faire avec le gpu faute de mémoire . Et le résultat était bon. les calculs sont lourds selon l'utilisation ou non du gpu ou selon le modèle utilisé
question subsidiaire : pourquoi enchaîne-t-on certaine fois plusieurs calculs les uns derriere les autres? 124,503912 [dev_pixelpipe] took 54,035 secs (7,953 CPU) processed Raw denoise (AI) on CPU with tiling, blended on [preview] 693,893473 [dev_pixelpipe] took 425,275 secs (2289,828 CPU) processed Raw denoise (AI) on CPU with tiling, blended on CPU [full] ces calculs tres longs peuvent faire tres mal au démarrage d'ansel :) |
|
Bon, j'ai regardé. Et tu avais raison depuis le début : « c'est le calcul gpu qui déconne (i-gpu intel) », c'était exactement ça. J'ai reproduit chez moi sur un RAF X-Trans, et il y avait en fait quatre bugs différents empilés. Un seul explique l'essentiel de ta trame, mais les trois autres t'ont bien pourri la vie aussi. Un mot d'abord sur pourquoi c'était si dur à cerner : tes essais comparaient deux choses à la fois sans qu'on puisse le deviner. Tes runs « Large » tournaient sur CPU (faute de mémoire GPU), tes runs GPU tournaient en « Quarter ». Donc « Large = bon » et « CPU = bon », c'était le même essai. Impossible de savoir lequel des deux comptait. J'ai forcé chaque taille de modèle sur chaque périphérique pour démêler ça. 1. Le vrai coupable : une option de compilation OpenCL, sur Intel seulementAnsel compilait ses noyaux OpenCL avec Sauf que la fonction d'activation du réseau, c'est ½·x·(1 + erf(x/√2)). Et un réseau convolutif passe le plus clair de son temps avec des valeurs pile dans cette plage. Résultat : tout le modèle dérive, partout dans l'image. Écart par rapport au rendu CPU :
0,0023 %, c'est exactement le chiffre de la NVIDIA. Donc : le CPU et la NVIDIA étaient d'accord entre eux, c'est Intel qui était à côté. Ce n'était pas « le GPU » en général, c'était ce pilote-là avec cette option-là. Le pire c'est que ça ne servait à rien : j'ai mesuré 0,4 % d'écart de vitesse sur un pipeline complet, soit du bruit de mesure. L'option est virée pour tous les fabricants. Au passage, sur Intel la fonction
2. Le découpage en tuiles pouvait tomber à côté de la trame du capteurLe pavage pour OpenCL pouvait placer l'origine d'une tuile sur une position non alignée sur la mosaïque du capteur. Sur ton image, le pas vertical tombait à 3865 pixels — un nombre impair, donc décalé d'une ligne par rapport à la trame X-Trans de 6 px. Toutes les tuiles après la première bossaient dans une phase de couleur fausse. Mesuré : la bande mal alignée s'écartait 80 fois plus du CPU que la bande correctement alignée, avec une périodicité verticale de 6,00 px — soit littéralement la trame du capteur imprimée dans l'image. Les deux pavages CPU n'avaient pas ce défaut, d'où l'impression que « c'est le GPU ». 3. Le recouvrement entre tuiles était trop petitIl était à 48 px, sur un raisonnement faux de ma part : j'avais mesuré la réponse du réseau à un point isolé, alors qu'un bord de tuile ne supprime pas un point, il supprime tout un demi-plan de contexte. La vraie portée du réseau, c'est 96 px. Du coup les coutures entre tuiles atteignaient 238 à 317 fois l'écart intérieur. Passées à 96 px (192 pour le multi-échelle), elles tombent à 1,3–11 fois, elles ne sont plus le défaut dominant. Ça coûte ~5 % de temps de calcul. 4. Le budget mémoire des GPU intégrés — c'est ça qui te renvoyait sur CPUTu disais que « Large » n'avait pas pu tourner sur GPU faute de mémoire. En fait c'était l'inverse : Ansel surestimait énormément la mémoire dispo. Sur un GPU intégré, la mémoire « graphique » annoncée, c'est la mémoire système — ma P630 annonçait 28 926 Mio sur une machine de 31 Gio. Ansel prenait ce chiffre au sérieux, en déduisait que tout tenait, n'activait donc jamais le découpage en tuiles, puis se cassait la figure à la première allocation avec Corrigé : le budget d'un périphérique à mémoire partagée est maintenant plafonné. Le même export tourne désormais sur le GPU, avec pavage, sans aucun repli — y compris Large, qui passe très bien sur iGPU une fois découpé. Ce que je n'ai PAS réussi à corrigerLes petits modèles laissent une trame résiduelle sur X-Trans. C'est ton « modèle quarter est un peu tramé », et ça reste vrai après les quatre corrections. Mesuré sur une zone plate, en force de la structure alignée sur la mosaïque, par rapport à un rendu non débruité :
J'ai vérifié que ce n'est pas un problème de phase dans le code : CPU et GPU donnent le même résultat à trois chiffres significatifs, et l'effet est divisé par 60 rien qu'en ajoutant des paramètres au réseau. Si les couleurs étaient mal étiquetées quelque part, toutes les tailles seraient touchées pareil — ce n'est pas le cas. C'est une limite de capacité d'apprentissage : le réseau doit apprendre à traiter identiquement les 36 positions distinctes d'une trame X-Trans 6×6, contre 4 seulement pour du Bayer. Un petit modèle y arrive moins bien. Ça se corrige à l'entraînement, pas dans le code. À l'heure actuelle, moins de 6% des photos utilisées pour entraîner les modèles sont des XTrans. Il faut monter ce ratio à au moins 20%. En attendant : sur X-Trans, prends large si le temps de calcul te va, half comme bon compromis — et c'est maintenant possible sur GPU, ce qui était justement le blocage. Tu notais toi-même que « le modèle half reste raisonnable (48 s) et le résultat très bon » : ça colle parfaitement avec les mesures. Une réserve, pour être honnête : les tests automatiques que j'ai ajoutés (torch ↔ CPU ↔ OpenCL, 24 combinaisons, Bayer et X-Trans, tous les modèles) valident le réseau et les noyaux OpenCL, mais pas l'assemblage des plans d'entrée face à un décalage de recadrage réel. Cette partie-là, je l'ai vérifiée à la mesure sur images réelles, pas par un test qui tournera tout seul à l'avenir. |

Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
Bonjour,
un artefact de l'algo Raw denoiser (AI)
sans

avec

une grille apparaît
All reactions