前回は、ネフロックで初めて特許を取得した、掛けているメガネを映像から消して別のメガネをバーチャル試着できる「眼鏡試着支援装置」について書きました。
では、一体どうやって眼鏡を消したのか？？？
今回は、ネフロックにとって２つ目の特許、この装置での眼鏡消しにも活用している「画像処理技術」について書いていきます。
■発明の背景
従来の画像生成技術では、ある状態Aの画像から別の状態Bの画像を生成するには、状態Aと状態Bのペアとなる画像データを用意し、その相関関係を学習することによってモデルを生成する方法が知られていました。
しかしそれが人間のような生体画像の場合、例えばメガネを掛けている人の画像から掛けていない人の画像を生成したい場合などにおいて、現実には前述の手法を実践するのは困難でした。なぜなら、ペアとなる画像というのは、顔の位置や向きなどメガネ以外の部分は完全に一致している必要があるからです。そのようなデータを用意するのは物理的に不可能に近く、またそういったデータセットも当時存在しませんでした。
そのため、実際にビジネスにおいて実用化しようとすると、この適切なデータを用意することが難しい場合が意外と多く、現実にはなかなか実用化が進まないという課題がありました。
（ちなみに、先ほどのメガネの例では、画像生成技術以外にも、メガネを掛けた人物のメガネ部分を検出してマスクで覆うことによってメガネを見えなくする、という手法も海外で提案されています。しかし、これにはメガネごとに複雑な演算を必要とし、試着をするたびに多くのステップをユーザーが踏まなければならないため、この手法もまた実用化するのは現実的でありませんでした。）
そこでネフロックでは、そういった課題を解決できる、独自の構成による画像生成エンジンを開発しました。
■発明の概要
①学習用の教師データを生成するフェーズと、②1で生成した教師データを用いて学習するフェーズと、③前記2で学習した学習済モデルを用いて実際の実用場面で推論を行う推論フェーズから、構成される画像出力方法。
▶ ①教師データ生成フェーズ
本物のメガネあり画像からメガネなし画像を生成する「生成部（Generator）」と、その生成したメガネなし画像と別の本物のメガネなし画像をまぜて、生成か本物かを判定する「識別部（Discriminator）」にて構成されています。
▶ ②学習フェーズ
①で本物であると識別された本物のメガネあり画像と生成されたメガネなし画像をペアの教師データとして、相関関係を学習することによってニューラルネットワークの学習モデルを生成する「学習部」にて構成されています。
▶ ③推論フェーズ
②でできた学習済みのニューラルネットワークモデルを用いて、新たな本物のメガネあり画像から、メガネなし画像を生成する「出力部」にて構成されています。
- 【発明の名称】画像出力装置及び画像出力方法
- 【特許番号】 特許第6856965号
- 【特許権者】 株式会社ネフロック
- 【公開情報】
https://www.j-platpat.inpit.go.jp/c1800/PU/JP-6856965/773091865428D1BD19EE5D7E0A4EF02AF962C59404F861709519976AEC85EE9D/15/ja
■ポイント
1) 教師データを生成するフェーズを組み込むことによって、学習に適したペア画像を生成できるため、適切な学習用データが取得できないというこれまでの問題を解決することができます。
2) フェーズ①の段階で実は既に、ある状態の画像から別の状態の画像が生成できるようになっているとお気付きかもしれません。しかし、これを学習モデルとはせずにあくまで生成された画像を教師データとして用い、②の学習フェーズで再度別の種類のネットワークを用いて学習させるという、独自のダブル学習構造にすることで安定性を高めています。これにより、実用化に適したクオリティでの画像生成を実現しています。
■この発明により期待できること
この技術は、ある画像から別の画像への生成に関連した幅広い応用が可能です。
これまで適切な学習用データを準備するのが難しかった用途においては特に、事業化への大きな助けになると考えられます。
▷人物画像における応用例
アクセサリや衣類などの装飾品の有り/無し、メイクの前/後、髪型変更の前/後、整形の前/後、ダイエットの前/後、ある人物の現在/過去/未来など
▷物品や風景画像における応用例
ある物品の傷の有/無、ある物品の正常/異常、ある風景の季節A/季節Bなど
▷その他
ある人や物の実在画像/イラスト/CG/アバターなど
■実用中の事例
この技術は、前回ご紹介したもう一つの特許と同様、「MEGANE on MEGANE（メガネオンメガネ）」というサービスとして、JINS渋谷パルコ店に導入されています。
ぜひ、店頭で体験してみてください！！
■おわりに
ネフロックの特許について、２回に渡ってご紹介いたしました。
実はこれらの特許は、ネフロックとして初の国際特許も目指して進めているところです。海外市場への展開も積極的に行っていきたいと考えています。
当技術にご興味をお持ちいただけましたら、
info@nefrock.com までお問い合わせくださいませ。
アイディア交換だけからでも、ぜひお気軽にご連絡ください。
