パナソニック・ミラーレス一眼 LUMIX（開発者インタビュー編）
今や、一眼レフに代わって“レンズ交換式カメラの主役”になりつつあるのが、ミラーレス一眼カメラです。このタイプのカメラの魅力は、メーカーや機種によって微妙に異なります。ですが、最近の動向では、AF機能の「AI技術を活用した被写体自動認識AF」を採用するメーカーや機種が増えてきて、ユーザーの関心も高まっています。その自動認識AFとはどういう機能なのか？ また、その機能によって、どういう撮影が可能になるのか？ それらの疑問の答えを求めて、被写体自動認識AFを搭載するミラーレス一眼カメラを開発・発売しているメーカーのひとつ「パナソニック株式会社」を訪ねました。
（取材と執筆：JPS 吉森信哉）
顔が隠れている人、後ろを向いている人、いくつかの動物。そういった人や動物を被写体として認識する、パナソニックの「被写体自動認識AF」。この高度な機能は、AI分野の先進技術であるディープラーニング技術によって実現された。今後、自動認識できる被写体の拡大にも期待がかかる。（画像提供：パナソニック株式会社）
今回話を伺った、パナソニック株式会社 アプライアンス社 スマートライフネットワーク事業部 イメージングBUの方々。
福川浩平さん（左）、中村匡利さん（中央）、角和憲さん（右）。
今回のインタビューに合わせて用意して頂いた、2台のLUMIX S1R（DC-S1R）と、Sシリーズ交換レンズ群。
「ディープラーニング技術」は、LUMIXカメラで初採用
JPS：AI分野の先端技術であるディープラーニング技術は、最初はどの部門の製品に採用されましたか？ また、その技術を最初に採用したLUMIX製品と、現行のLUMIXシリーズでの採用状況は？
福川：実は、民生向けの商品で最初にディープラーニング技術を採用したのは、LUMIXのDC-G9の人体認識になります。DC-G9の次は、DC-GH5S。そして、今春に発売したフルサイズ機のDC-S1RとDC-S1。この4機種に採用しています。
角：マイクロフォーサーズ機だと、DC-G9、DC-GH5Sの次に「DC-99」も発売しています。ですが、これはミドルクラスの機種で、ディープラーニング技術は採用していません。今のところは、ハイエンドの機種だけに採用しています。
LUMIX G9 PRO（DC-G9） ディープラーニング技術を初めて採用。マイクロフォーサーズのハイエンドモデル。2018年1月発売。
LUMIX GH5S（DC-GH5S） 画素数を抑えて、高い高感度性能を実現。2018年1月発売。
LUMIX S1R（DC-S1R） フルサイズの高画素モデル。2019年3月発売。
LUMIX S1（DC-S1） 優れた高感度性能を持つフルサイズモデル。2019年3月発売。
メーカーサイト
Sシリーズ：https://panasonic.jp/dc/s_series.html
Gシリーズ：https://panasonic.jp/dc/g_series.html
“ディープラーニング”とは？
深層学習。コンピュータによる機械学習のひとつ。従来の機械学習とは、情報分析のための枠組みが違う。人間の脳神経回路を真似たニューラルネットワークを多層化し、コンピュータ自身が画像データなどの特徴を捉えるのである。これにより、より正確で効率的な認識が可能になる。
人間に頼らない認識ルールで被写体認識が向上
JPS：AIのディープラーニング技術は、カメラのAF機能で具体的にどういう風に使われて（どういう事が行われて）いますか？
福川：今回のディープラーニング技術による人体・動物認識では、数万枚の画像からディープラーニング、つまり学習をさせます。それによりネットワークを形成させて、そのデータをカメラに搭載します。それをヴィーナスエンジンで処理する事で、人体や動物を認識させる。そういう機能になります。実際にカメラで使って頂けるとわかりますが、自動認識AFに設定して電源オンにしておくと、常にリアルタイムで被写体の認識機能が働いているのが確認できます。
JPS：実際にAF駆動が始まるのはシャッターボタンの半押しからでも、被写体の認識そのものは電源が入った時点で始まると？
福川：そういう事です。ずっと裏側で動かしています。
ソフト設計部 ソフト設計六課・福川浩平さん。
（※肩書は取材時のもの）
JPS：顔認識や瞳認識は以前からもありましたが、その機能とAIのディープラーニング技術を採用した同機能との違いは？
福川：従来の顔認識などは、作り手である人間が認識のルールを決める方式でした。今回のディープラーニングでは、顔認識などのルールは人間が決めるのではなく、事前に画像から学習させる事で、自動的にその認識のルールが形成されるのです。それによって、顔が横を向いたり、顔を手で覆ってしまったりしても、また形や大きさが多少変わっても認識できる、という特長があります。認識率に関しても、具体的な数値は申し上げられませんが、従来の方式よりもかなり認識率が上がっています。
中村：「目はここにありますよ」とか「鼻はここにありますよ」という特徴量をつかむのが、顔認識や瞳認識になります。今までの顔認識では、その特徴があるかないかは人間が決めたルールで判断されていましたが、ディープラーニングはそうでないのです。この方式ならば、今後さらに認識率を上げる事も可能ですし、顔や人体以外の被写体の認識も可能になるでしょう。そういった点が、この技術の有用なところだと思います。
ソフト設計部 開発課・中村匡利さん。
（※肩書は取材時のもの）
AI専用回路の高速処理で、人や動物の形の認識とAFを実現
JPS：最近では、他社からもAIのディープラーニング技術を利用した被写体認識機能が登場していますが、御社の製品では人や動物の形も認識してくれます。その人体認識AF・動物認識AFの特長や技術的な難しさを教えてください。
福川：人体や動物の形を、従来の人間が決めたルールの技術で認識させようとすると、その特徴量の幅が広いため難しくなります。そこで、ディープラーニング技術の画像学習による“アルゴリズムやネットワークが自動的に形成される”という機能によって、人体や動物の幅広い特徴認識が可能になるのです。また、被写体をリアルタイムに認識させてピントを合わせるには、処理速度の速さも求められます。ヴィーナスエンジンの中には、AIの処理をおこなう専用の回路があり、そこの機能によって高速処理を実現しています。そして、今回の被写体認識AFでは、人体に加えまして、イヌ科、ネコ科、鳥の動物認識AFも実現していますが、鳥の認識が難しかったですね。鳥は翼の羽ばたき具合で姿かたちが大きく変わるので、止まっている姿や羽ばたいている姿など、幅広い学習をさせないと、なかなか認識率が上がりません。そこは苦労しましたね。
角：鳥という被写体は、国内外ともにかなり要望が高かったので、そこはぜひ対応してくれと、技術の方にはお願いしました。
商品企画部 第一商品企画課 主幹・角和憲さん。
（※肩書は取材時のもの）
「顔認識AF」では、画面内に複数（最大15人）の人の顔を検知してAFエリアを表示する。顔が隠れた場合でも「人体認識AF」が即座にカバーする。「動物認識AF」は、鳥、オオカミなどを含むイヌ科や、ライオンなどを含むネコ科、の動物を認識する。いずれも、認識した被写体が複数の場合、AFエリアの切替えが可能。（画像提供：パナソニック株式会社）
JPS：人体認識AFや動物認識AFは、全体の形を認識する機能ですか？ そうだとすると、被写体までの距離や使用レンズの条件などによって、顔や瞳にピントが合わないケースも出てくるのでは？
中村：ちょっと試してみましょう。（※テーブル上のオオカミのミニチュアをS1Rで試し撮り）
福川：ファインダーやモニターの表示上は、人体や動物の全体の形を捉えたようになっていますが、撮影して再生すると、顔や瞳の部分を捉えている表示が確認できます。実は、表示上では全体を見せていますが、内部では“動物の顔”や“鳥の顔”という認識をおこなっています。その認識ができた時には、顔の部分にピントを合わせるようになっているのです。
LUMIX S1Rで「動物認識AF」のテスト撮影。撮影時には、オオカミの体全体にAFエリア枠が表示されていた。しかし、その撮影画像を再生してみると、顔の部分でピント合わせが行われた事が確認できる。
被写体自動認識AFは、構図に集中する手助けになる
JPS：人体認識AFや動物認識AFは、顔・瞳認識AF以上に“カメラ任せでピントが合わせられる”汎用性の高いAF機能です。それ故に“ビギナー向きの機能”という捉え方をする人もいるかもしれません。実際のところ、動体撮影を専門におこなうプロやハイアマチュアカメラマンのシビアな要求（確率、精度、速度、操作性など）にも堪え得る機能と言えるでしょうか？
福川：我々は、状況によっては、プロの方にも十分使って頂けると考えています。たとえば、動物のように同じ場所に留まってくれない被写体だと、その動きに合わせてフォーカスポイントを移動させるのが難しくなります。さらに、飛ぶ鳥などは、いつどの位置に入ってくるか予想しにくい被写体なので、フォーカスポイントの移動はさらに困難になってきます。また、被写体にフォーカスポイントを重ねる操作に意識が行き過ぎると、構図に集中できなくなってきます。そういう被写体やシチュエーションでは、動物認識AFなどはプロの方にも“構図に集中して撮影する”という目的のアシスト機能として十分使って頂けると思います。もちろん、AF速度や認識率などは、まだまだ進化させる余地はあると考えています。
角：動物認識AFに撮りを入れるにあたり、野鳥をメインに撮影されているプロ写真家へのヒアリングや実写依頼（プロトタイプ機での）をおこないました。そういうプロの方は野鳥の習性も詳しい訳ですが、こういう認識機能があると役に立つ、というお声を頂きました。そういう声も参考にしながら、商品の開発・展開をおこないました。
JPS：被写体を認識するだけでなく、実際にAF駆動が動体に追従する性能も重要です。そのあたりの技術的なポイントは？
福川：今回、35ミリ判フルサイズのS1とS1Rを開発するにあたり、これまでのマイクロフォーサーズよりも被写界深度が浅くなるため、AFにとっては非常に厳しい条件でした。特に動体追従が厳しくなります。そこで、動体予測のアルゴリズムの進化や、レンズ側のAFアクチュエータ（出力された電気信号を機械的運動に変換する駆動装置）の高速化などにより、フルサイズでも十分に動体を追いかけられるAFを実現しました。
JPS：AIのディープラーニング技術を採用したAF機能は、今後さらに進化するでしょうか？ 動物認識AFではイヌ科やネコ科な鳥以外の動物の認識に期待したいですし、乗り物系の被写体の認識も欲しいところです。
福川：技術的には、認識AFの被写体の種類を増やす事は可能です。また、認識率や認識速度を上げる事も可能です。ですから、今後お客様の要望を聞きながら、その両面からAF機能を進化させて行きたいと考えています。
～インタビューを終えて～
画面上のAFエリア数やAFカバー面積の拡大。人物の顔や瞳を検知して、その部分にピント合わせ。……と、ミラーレス一眼カメラのAF機能や性能は、光学ファインダー式の一眼レフを凌ぐ進化を遂げてきました。そして、今回紹介したパナソニックのLUMIXシリーズでは、進化したAI技術によって被写体の形まで自動認識してAFでピント合わせが可能に！ ですが、その先進のAF機能は“カメラ任せの機能”ではなく“撮りたい被写体に的確にピントを合わせるサポート機能”として捉えるたい所です。次回は、その「被写体自動認識AF」の実力を、実写レポートで紹介します。