水族園・植物園・昆虫園・動物園・博物園・文学館・歴史館・産業科学館・天文科学館・美術館・音楽館・食文化館・図書館 etc.

１５４計算機科学研究所（ＣＧ）

君には見えるか？ “錯視画像”を作り出す生成AI 2024年05月15日 ITmedia AI＋

ITmedia AI＋ > 君には見えるか？　“錯視画像”を作り出す生成AI　...
君には見えるか？　“錯視画像”を作り出す生成AI　「遠近で変わる絵」「白黒と色付きで変わる絵」など
Innovative Tech（AI+）
2024年05月15日 12時00分 公開
[山下裕毅，ITmedia]
米ミシガン大学に所属する研究者らが発表した論文「Factorized Diffusion: Perceptual Illusions by Noise Decomposition」は、人間の知覚に錯覚を引き起こすような画像を生成する手法を提案した研究報告である。
　この手法の特徴は、画像を複数の成分に分解し、それぞれの成分を異なるテキストプロンプトで制御できる点にある。
例えば、画像をガウシアンフィルター（画像のノイズを軽減するために使う画像処理フィルター）によって低周波成分と高周波成分に分解し、低周波成分には「人物の写真」、高周波成分には「動物の写真」といったプロンプトを与える。
すると遠くから見ると人物に、近くで見ると動物に見えるような「ハイブリッド画像」を生成する。
　このように見る距離によって知覚が変化する現象は、人間の視覚処理が多重解像度で行われていることに起因する。
遠近で内容が変わって見える画像　小さい方の画像の内容が知覚できない場合は、もっと画像を小さくすると見える　
（左）山（右）熊
（左）山中の道、（右）シカ
（左）都会、（右）人の顔
（左）川、（右）牛
（左）花、（右）パンダ
（左）うさぎ、（右）人の顔
（左）花、（右）マリリン・モンロー
白黒と色付きで変わる絵　　　　　　
 1|2|3 次のページへ
また、この手法ではRGB色空間における明度成分と色成分への分解も行われる。
明度成分と色成分にそれぞれ異なるプロンプトを与えることで、明るい環境では別の画像に、暗い環境ではまた別の画像に知覚されるような「カラーハイブリッド画像」の生成も可能である。
白黒とカラーとで異なる内容に見える画像　
（左）ひまわり、（右）熊
（左）ダイニングテーブル、（右）熊
（左）小屋、（右）蜂
（左）鳥、（右）カエル
ブレると変わる絵
前のページへ 1|2|3 次のページへ
さらに、モーションブラーをかけることを念頭に置いた分解によって、静止画としては異なる画像に見えるが、動かすと別の画像に知覚されるような「モーションハイブリッド画像」も実現されている。
ブレの有り無しで異なる内容に見える画像　（左）遺跡、（右）パンダ
（左）山の景色、（右）人の横顔
（左）都会、（右）クルマ
（左）遺跡、（右）熊の人形
　提案手法では、各成分に対して異なるプロンプトの下で複数回ノイズ推定を行う。
その後、推定したノイズを成分ごとに再構成することで目的の画像を得ている。
　これはあたかも各成分を独立に異なるプロンプトで生成し、後から統合したかのような結果をもたらす。
こうした仕組みにより、事前学習済みの拡散モデルをファインチューニングすることなく、ゼロショットで多様な錯視画像の生成を実現している点が、この手法の大きな利点である。
　加えて、実画像のある成分（例えば低周波成分）を固定しつつ、残りの成分をテキストプロンプトから生成することで、実画像を加工したハイブリッド画像の作成も可能である。
これは拡散モデルを事前分布とみなした逆問題の解法とも解釈でき、応用の幅が広い。
（左）額に入った絵、（右）アルベルト・アインシュタイン　遠くから見ると人物に見える
（左）電球、（右）トーマス・エジソン
Source and Image Credits: Geng, Daniel, Inbum Park, and Andrew Owens. “Factorized Diffusion: Perceptual Illusions by Noise Decomposition.” arXiv preprint arXiv:2404.11615（2024）.
Innovative Tech（AI+） 連載一覧次回の掲載をメールで受け取る　
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。
新規性の高い、AI分野の科学論文を山下氏がピックアップし、解説する。