Google が Pixel 3 にナイトサイトを導入したとき、それは驚きでした。
低照度の写真では、誰かがライトをオンにしたように見えます。 以前は不可能だったシーンが可能になり、三脚やヘッドライトのフラッシュは必要ありません。
5 年後、暗闇で写真を撮るのは時代遅れになりました。価格帯の上下を問わずすべての携帯電話には、何らかのナイトモードが搭載されています。 ただし、ビデオとなると話は別です。 静止画のナイト モードでは、複数のフレームをキャプチャして明るい画像を作成しますが、その性質上、その機能のダイナミクスをコピーしてビデオに貼り付けることは不可能です。 すでに 一連の写真。 最近の現状では、その答えは AI を呼び込むことです。
今秋に Pixel 8 Pro が発売されたとき、Google は、将来のソフトウェア アップデートで導入される、夜景機能付きビデオ ブーストと呼ばれる機能を発表しました。 AI を使用してビデオを処理し、詳細と色を強化します。これは、低照度のクリップに特に役立ちます。 問題が 1 つだけあります。この処理は携帯電話ではなく、クラウド上の Google サーバーで行われるということです。
約束どおり、Video Boost は数週間前、12 月の Pixel アップデートでデバイスへの展開を開始しました。これには、私の Pixel 8 Pro レビュー ユニットも含まれます。 それは良いことです！ しかし、これはオリジナルの『ナイトサイド』のような重大な分岐点ではありません。 これは、Night Sight がデビューしたときにどれほど印象的だったか、そしてビデオがスマートフォンのカメラ システムに与える特定の課題を物語っています。
Video Boost の仕組みは次のとおりです。まず、最も重要なことは、Pixel 8 が必要であることです。 教授、通常の Pixel 8 ではありません — Google はその理由について私の質問に答えませんでした。 使用したい場合は、カメラの設定でオンにしてビデオの録画を開始するだけです。 完了したら、ビデオは自動的または手動で Google フォト アカウントにバックアップされます。 それなら待ってください。 そして待ってください。 場合によっては、お待ちください – Video Boost は最大 10 分間のビデオに対して機能しますが、2 分間のクリップの処理には数時間かかる場合があります。
録画しているビデオの種類によっては、待つ価値がある場合とそうでない場合があります。 Googleのサポートドキュメント どのような照明でも「Pixel スマートフォンで、優れた照明、色、ディテールを備えた高品質の動画」を作成できるように設計されています。 しかし 重要 Video Boost は、暗い場所での優れたビデオ サービスです — チーム プロダクト マネージャーの Isaac Reynolds は私にこう言いました。 「他のアルゴリズムの変更はすべて夜景を追求したものであるため、これを夜景ビデオと考えてください。」
非常に暗い場所でビデオを録画しようとすると、安定化やトーン マッピングなど、良い光の下でビデオを美しく見せるすべてのプロセスが機能しなくなります。 レイノルズ氏が説明する 慈悲 暗い場所で得られるぼやけたビデオは異なります。 「OIS [optical image stabilization] フレームは確認できますが、一定の長さまでしか確認できません。 低照度のビデオではより長いフレームが必要となり、安定化がより大きな課題となります。 「暗い場所で歩き始めると、長いフレームではある種のフレーム内ブラーが発生することがありますが、これは OIS で補正できる残留物です。」 言い換えれば、より複雑です。
これらはすべて、私が自分のビデオ ブースト クリップで見ているものを説明するのに役立ちます。 明るいところでは、あまり違いが分かりません。 一部の色はもう少し明るく見えますが、十分な光があるときに定期的に使用する必要があるようなものは見当たりません。 で とても 低照度ビデオ ブーストは、標準的なビデオ クリップで完全に失われた色と詳細の一部を復元できます。 ただし、同じ位置で撮影した通常の写真と夜側の写真の違いほど劇的なものではありません。
ただし、これらの両極端の間には本当にスイート スポットがあり、そこで Video Boost が本当に役立つことがわかります。 あるクリップでは、私は夕暮れ時に暗いパーゴラに入っていきます 神戸ベルハウス、シャドウのディテールとブースト後の安定化が大幅に向上しています。 一般的な中程度から低めの屋内照明で Video Boost を使用すればするほど、ビデオ ブーストが有効であることがわかりました。 ダイニングルームの床でトラックで遊んでいる私の息子のように、このような状況では静的なビデオがどのように流れ去るかがわかり始めます。 ビデオブーストをオンにすると、欠けていた活気がいくらか戻ってきました。
ビデオ ブーストは Pixel 8 Pro のメイン背面カメラに限定されており、4K (デフォルト) または 1080p、30fps で録画できます。 ビデオ ブーストを使用すると、2 つのクリップが作成されます。1 つは強化されておらず、すぐに共有できる最初の「プレビュー」ファイルで、最後に 2 番目の「ブースト」ファイルです。 内部ではさらに多くのことが起こっています。
レイノルズ氏は、Video Boost ではまったく異なる処理パイプラインを使用しており、RAW ファイルと JPEG ファイルの関係と同様に、標準的なビデオ ファイルを録画するときに通常は破棄されるキャプチャ画像データの多くを保持していると説明してくれました。 この情報は、クラウドに送信されるまで、一時ファイルによってデバイス上に保持されます。 それ以降は削除されます。 一時ファイルは巨大になる可能性があるため、これは良いことです (長いクリップの場合は数ギガバイトにもなる)。 ただし、最終的にアップスケールされたビデオのサイズは、3 分間のクリップで 513MB、録画した一時ファイルで 6GB と非常に手頃です。
Video Boost に対する私の最初の反応は、それが一時しのぎのように見えるということでした。つまり、現在はクラウドで動作する必要があるが、将来的にはデバイスに移行する機能のデモです。 クアルコムは今秋、同様のデバイスのバージョンを披露しましたが、これで最終決定となるはずですよね? レイノルズはそれについてはそうは思わないと言う。 「クラウドでできることは、電話でできることよりも常に興味深いものです。」
携帯電話でできることとクラウドサーバーでできることの違いは背景に消えていきます
好例: 現在、Pixel スマートフォンでは、Google の HDR Plus モデルのさまざまな小型で最適化されたバージョンがデバイス上で実行されている、と同氏は言います。 しかし、Google が過去 10 年間にわたって Pixel スマートフォン向けに構築してきた完全な「親」HDR Plus モデルは、どのスマートフォンでも現実的に実行するには大きすぎます。 そして、デバイスの AI 機能は時間の経過とともに向上するため、 いくつかの クラウドでのみ実行できることがデバイスに移行します。 しかし同様に、クラウドでできることも変わりつつあります。 レイノルズ氏は、クラウドを Tensor の機能の「もう 1 つの要素」と見なしていると述べています。
そうすれば、ビデオブーストが可能になります がある 未来を垣間見る — 携帯電話の AI がクラウドの AI と連携して動作する未来。 追加機能はオンおよびオフのデバイス AI によって処理され、携帯電話でできることとクラウド サーバーでできることの違いは背景に消えていきます。 Knight Side のような「すごい」瞬間ではありませんが、携帯電話の機能についての考え方が大きく変わることになるでしょう。
