なぜ、既存の写真編集ソフトウェアだけでは、古いカラーネガをスキャンした画像によくみられる、不定形な黄変の補正が困難なのでしょうか。フィルムが全面的に均一に褪色している場合は、画像全体にかかるグローバル補正でOKです。しかし不定形黄変の場合は、場所によって黄変していたり、していなかったり、さらにはその濃度も様々です。おそらく多くのユーザはこのような不定形黄変写真を修正しようとするときに、画像全体に関わるグローバル補正では補正しきれないので、局地的なローカルな補正を試みようとされると思います。その際、補正箇所の範囲指定選択でよく使われるのは、類似色範囲を範囲指定する色域指定でしょう。そして色域指定を行った範囲に対し、色調調整をかけるという手順になると考えられます。
そして、既存の写真編集ソフトウェアにおいて、色域選択に使われる計算方法は通常主としてユークリッドの距離 (ΔE) を用いています。但し、ΔE といっても、何の軸に対してΔEを適用するかによって、指定される具体的な色域は異なります。例えば、RGB であるのか HSL (色相、サチュレーション、明度)であるのか、はたまた L*a*B* (明度、色 a*チャンネル、色 b*チャンネル) であるのかによって違いが出てきます。とはいえ、共通するのは、絶対値で指定した基準点に準拠して範囲を決めるということです。その基準点に対しどの程度の許容量を認めるかで、類似色と判定される (カバーできる) 範囲の大きさは変化しうるものの、基準点が絶対値であるという点は変わりません。実はこれが、黄変ネガ補正の困難の原因となっています。
ネガカラーフィルムの化学的黄変を考えると、黄変がある程度広い範囲に広がっている場合、元の色が何色であったかにより、実際の黄変部分のが呈する色は大きく変わります。しかし、ΔE は基本的に絶対的な基準点を参照して範囲を決めますので、この範囲を一括して指定するのは困難です。そうなると、黄変部分をカバーするには、細かくパラメータを変えて何度も色域による範囲指定を繰り返し、更に補正の仕方もその場の色に応じて細かく変える、という作業が要求されることになります。
元の色ごとに範囲指定を行い、それぞれ補正を
行わなければならないため補正は非常に困難
但し黄変部分が特定の色域に限定されている状態、例えば青空の一部にとどまっているような場合は、ΔE に基づく色域指定でもあまり手間を掛けずにカバー可能な場合もあります (図 2 のような状態)。
ΔE を使った範囲指定でも十分に対応可能
しかし、黄変が様々な色域にまたがって広がっているような場合(図 1 の下)、人間の目には黄変部分は極めて自明に見えますが、それは人間の目の特性 (錯覚) によるもので、緑色が黄変している部分と紫色が黄変している部分では、数値的にはかなり異なりますので、ΔE では、黄変状態に応じて一括して指定することが困難なのです。そこで、ΔE を使っている限り、上に述べたような元の色に応じた細かい編集分けが必要になります。ただ、これを場所場所に応じてうまく色域指定を行い、また編集調整を行うのは、不可能ではありませんが、非常に難易度の高い、時間のかかる作業になります。とくに色相の移り変わりがグラデーション状に近い場合至難の業です。原理的にできないことはないはずだ、というのと、実用的な難易度の範囲内と、時間内に作業ができるか、ということの間には大きな乖離があるわけです。
つまり、広い色域にまたがる黄変部分をうまくカバーするような色域選択のためには、ΔE や絶対値に準拠する色域指定は好ましくありません。相対的にどの程度黄色いのか、という相対的な判定基準で色域の範囲選択を行う必要があるのです。
実は、既存の写真編集ソフトウェアにおいても、相対的な基準に基づく色域マスクを使っていると思われるツールは存在します。しかし、その主眼は微妙に色のニュアンスを変えるということにあるようで、化学的に大きく変色してしまった画像の補正には、圧倒的に補正量が足りません。また、そのマスク作成の自由度も非常に低いです。もちろん、黄変による変化量が少なければ対応は可能でしょう。
また、画像間の演算機能を備えているソフトであれば、相対値に基づくマスクも作れなくはないですが (当初は、私もPhotoshopの画像演算機能を使ってマスクを作成し補正を試していました)、演算できるように画像を加工するのにも手間がかかって、1枚の補正に数時間を要する状態で、既存の写真編集ソフトだけでも、補正は100%不可能な訳ではない、ということを証明する以外には役に立たない、とても実用にならない状態でした。補正経過をブログに書きましたが、とても人にノウハウとして伝えられるほどまでに難易度を下げることは困難でした。
以上が、既存の写真編集ソフトウェアだけでは、不定形黄変写真の補正が極めて困難である理由です。ただし、既述のように黄変の場所や程度によっては、既存のソフトだけでも補正できる画像があるにはあります*1。
これに対し、筆者が開発したツールでは、相対RGB色マスク画像作成ツールにせよ、B チャンネル再建法補正ツール (拡張擬似フラットフィールドアルゴリズム) にせよ、基本的には、ΔE を使わず、相対的な色の判定基準に基づいて範囲指定や補正量を決めていますので、今までのソフトウェアに比べて大幅に効率的な黄変補正が可能になっています。但し、黄変量を推定するのに、黄変前の B チャンネルがどのような値であったかを知ることはできません。そのため、オリジナルの B チャンネルの代わりに、G チャンネルの値や、G チャンネルと R チャンネルを混合した値を、その代用として参照して決めています。とは言え、単純に B チャンネルと G チャンネルの差分を黄変量として推定しているわけではありません。それであれば 単純に B チャンネルに G チャンネルを代入したのと同じになってしまいます。単純に G チャンネルの代入にならないようにアルゴリズム的に工夫しています。それでも、完全にプログラム任せで補正することはできず、一部マスクの編集作業などがどうしても必要になってきます。例えば、基本的には黄変量を、G や R チャンネルと比較してどれほど相対的に黄色いかで推定していますので、人工物などでもともと黄色いものなどを除外できません。また、修正後の B チャンネルの値が、一般に G チャンネルの値に近くなる傾向もありますので、こういう部分で編集作業が必要になるのです。
なお、黄変写真の補正に対して 今後、AI が発達すれば可能になるのではないかと期待している方もおられると思います。現在 Photoshop 等、AI で写真の色付けを行っているアルゴリズムでは、写真に写っている物の形状と色の対応関係を学習させて色付けを行っていると思われます。
このようなアルゴリズムでは、物の形状と色との一定の対応関係があるようなものではある程度うまくいきます。例えば森や川の色というのはある程度決まっていますので、それっぽい結果を得ることができます。しかし看板に描かれた色だとか、服の色、鉄道車両の色彩などは、人間が恣意的に決めています。同じグレースケール値でも青でもあり得れば、赤でもあり得ます。このようなものに関しては、 AI で色彩を決めきることは原理上極めて困難です。もっとも人工物であっても、例えば蒸気機関車はおおむね黒と決まっているので、そのようなものは、うまくいくでしょう。木造家屋のかやぶき屋根、コンクリートのビルなども同様です。
従って、色が恣意的に変わりうる人工物は、物の形状と色の対応関係を学習させて色付けを行うというアルゴリズムを採用している限り、色の着色に関しては、今後とも改善される見込みは薄いと思います。車輛の形式ぐらいまでは区別できるようになるかもしれませんが、その形式の車輛の色が決まっていない限り、色を決定するところまでは原理的に困難です。むしろたくさん画像を学習させればさせるほど、さらに迷いがひどくなるという弊害も出てきます。
もちろん、物の形状と色の対応関係を学習させて色付けを行うというアルゴリズムを捨てて別のアルゴリズムを採用すれば、この辺りは変わってくる可能性があると思います。
--------------
DP Review の掲示板に、不均等黄変フィルム画像の補正を尋ねている方がいましたが (2017年)、やはり、日本の方のようです。フィルムはさくらカラーとのことです。
https://www.dpreview.com/forums/post/59839688
*1:例えば、以下のサイトで紹介されている事例が、その典型例になります。黄変した部分の大半がほぼ空色系および無彩色の部分に限定されていますので、うまくいっています。しかし、黄変がもっと多様な色相領域に広がっており、しかも細かくグラデーション状に色相が移り変わっていたりすると、途端に難易度が急上昇します。
