60fpsはどこにでもある...オンラインを除いて。

近所のBest Buyのビデオカメラ売り場を歩いていると、60fpsで記録されていないHDカムコーダーを見つけるのは困難になってきています。医療用画像処理機器や産業用キャプチャ機器、GoProなどのアクションカム、iPhone 6やSamsung Galaxy Note 4などのモバイル機器など、その他の動画撮影機器でも同じことが言えます。

私たちが家庭やオフィスで映像を見るときに使う機器も60fpsに対応しています。ハイビジョンテレビ、ノートパソコンやデスクトップパソコンのモニター、タブレット、スマートフォンなどは、一般的に最大60フレーム/秒の再生に対応しています。

テレビゲーム、特にXbox OneとPlayStation 4用に構築されたテレビゲームは、60fpsの再生を目指して開発されることが多くなっています。

そして近年、ESPN、ABC、FOXなどの大手メディアが、720p/60（1280×720の解像度で60fps）でチャンネルを放送するようになりました。

デジタル動画エコシステム全体が60fpsにアップグレードされたように見えますが、オンライン動画という1つの顕著な例外があるわけではありません。2004年の VloggerCon 、2005年に最初にYouTubeに投稿された動画 など、インターネット動画の黎明期から、インターネットや企業ネットワークで配信される動画は、わずか30fpsに制限されていました。

オンライン・ビデオに追いつく時が来た 

2015年、その10年来のトレンドに逆行することになりました。数ヶ月前、YouTubeは60fpsビデオの限定的なサポートを発表しました（GoogleのChromeブラウザでのみ表示可能）。そして先週、 Panoptoが発表した 、私たちのビデオプラットフォームは、すべてのウェブブラウザとモバイルデバイスで60fpsをサポートする最初のものとなりました。この記事では、なぜ60fpsがより良い再生体験を提供するのか、ビジネスや大学での60fpsビデオの使用例、オンラインビデオが30fpsで不自然にスロットルされてきた理由、そしてPanoptoがどのようにしてビデオプラットフォームに60fpsを実装したのかを見ていきます。また、60fpsビデオのサンプルもご用意しておりますので、オンラインストリーミングの良さを実感していただけると思います。

60fpsとは何か、何が優れているのか。

ビデオを見ることは、学習した不信感を抱くことです。

私たちがビデオを見るとき、実際には滑らかな動きを見ているわけではありません。動きがあるように見せかけた静止画の連続を見ているだけなのだ。その意味で、ビデオは高度に洗練されたデジタルフリップブックに過ぎません。

YouTubeの初期のコンセプト 

フリップブックは、速くめくるほど動きが滑らかに見えます。同様に、動画のフレームレート（fps）が高いほど、動きが滑らかに感じられます。動きが滑らかであればあるほど、よりリアルな映像になります。

それが映像の目的であり、記録された現実をできるだけ忠実に表現することです。つまり、映像のフレームレートを上げれば上げるほど、私たちの目が自然に見ている滑らかな動きに近づけることができ、映像の質が向上するのです。

しかし、60フレーム/秒というのは、2つの理由からユニークなベンチマークです。

まず、再生の滑らかさの違いを多くの人が認識できる最高のフレームレートです。60fpsを超えるフレームレートでは、人間の知覚が限界に達してしまいます。60fpsと120fpsの違いを認識できる人はほとんどいないので、60fpsを超えるフレームレートは、一般的にはスローモーションで見ることを前提とした映像にのみ適しています。

第二に、仮に多くの人が毎秒60フレームとそれ以上のフレームレートの違いを認識できたとしても、現在の私たちはデスクトップやノートパソコン、モバイル機器の画面に制限されています。ブラウン管や液晶モニターは60Hzで更新される。つまり、1秒間に60回、画面の画像を更新する。つまり、60fpsでビデオをストリーミングすると、スクリーンの最大リフレッシュレートと完全に一致することになります。

フレームレートが上がると映像がより滑らかでリアルになる例として、下の動画は3つの異なるフレームレートで撮影されています。最初の部分は15fps、2番目の部分は30fps、最後の部分は60fpsで撮影されています。

15、30、60fpsのビデオストリーミングの例 

スポーツやビデオゲームだけではありません。

ハイフレームレート（HFR）ビデオは、一般消費者向けのメディア、特にビデオゲームやスポーツ中継などでよく知られています。これらのジャンルは、動きの多い映像であるため、60fpsの恩恵を受けており、スムーズな映像再生のメリットが強調されています。

HFRビデオのメリットは、コンシューマー向けだけではありません。ハイフレームレートは映像をよりリアルに見せることができるため、企業や大学で記録されるほぼすべてのメディアの品質向上につながる可能性があります。

Consider industrial video that captures processes on a manufacturing floor. Industrial cameras, like those offered by Point Grey, have supported HFR video capture for years. Now, with HFR supported natively in video platforms, managers will be able to watch recorded or live streamed video in greater detail than was ever before possible.

60コマ/秒で撮影された産業機械 

医療用画像も、1/60秒で生体事象が発生するHFR映像の恩恵を受けています。動画プラットフォームが60fpsでキャプチャされない場合、フレーム間で重要なイベントが見逃される可能性があります。

Animations of all kinds are visibly improved with high-frame rate video playback. Medical animations can be seen with greater precision and CAD simulations provide more lifelike rendering of models. In the example below, Blausen Medical shows the potential of HFR video for broadcast-quality medical animations.

60fpsの医療用アニメーションをBlausen Medical社が提供 

上の最初の例が示すように、ありふれた「話し手」のビデオでも、60フレーム/秒では明らかに見栄えが良くなります。基調講演、幹部のコミュニケーション、ライブストリーミングイベントから、建築物のビデオ、大学の講義、科学研究室まで、60fpsの映像は、企業や学術機関にとって、よりスムーズでシャープな映像を提供し、過去10年間に慣れ親しんだ「十分な」オンラインフィードよりもHDTV放送のように感じられます。

しかし、30fpsで十分だと思われているなら、企業や大学に60fpsは本当に必要なのでしょうか？

私たちはこの問題を別の角度から考えてみました。 当社の技術スタックには60fpsをサポートする能力があるのか、そしてそれを導入した場合、お客様にメリットがあるのか。

実は、現在のビデオキャプチャ、処理、配信技術は、ハイフレームレートに対応しています。また、60fpsはメディアの保存やストリーミングのコストを増加させないため（ビデオファイルのサイズはビットレートと時間の積で決まる）、企業や大学の誰もが、15fpsのぎこちない映像から60fpsの滑らかな映像へとノブを上げるオプションを持つべきだと考えています。

しかし、なぜオンラインビデオはこれまで30fpsに制限されていたのでしょうか？

近年、ネットワークの帯域やCPUの処理能力が向上したとはいえ、60fpsを実現するのは容易ではありません。

ライブやオンデマンドのオンラインストリーミングでHFRをサポートするためには、キャプチャの時点から再生の時点まで、一連の有能な技術が必要です。

• 優れたカメラセンサーとは動画キャプチャデバイスは、毎秒60フレームで動画をサンプリングするための集光機能とタイミングを備えている必要があります。しかし、ロジテックやマイクロソフトなどのウェブカメラは、まだ60fpsを実現できていません。
• カメラからパソコンへの高速パイプ HFRに対応したカメラセンサーを搭載していても、パソコンとの接続がボトルネックになることがあります。具体的には、カメラは60フレーム/秒で情報をパソコンに情報を中継する必要があり、そのためUSB2.0は高フレームレート動画に対応していません。転送速度が480MbpsのUSB 2.0のパイプは、毎秒60フレームの非圧縮動画をパソコンに送るには十分なサイズではありません。これに対して、”最大5Gbpsの転送速度を持つ” USB 3.0では、それが可能になります。
• 効率的なメモリ管理と圧縮。 お客様のコンピュータに届いたフレームは、ビデオプラットフォームのエンコーディングパイプラインに送られ、メモリに読み込まれ、処理された後、メモリから消去されます。フレームが取りこぼされないようにするためには、メモリの確保、フレームの圧縮、メモリの解放のプロセスを非常に効率的に行う必要があります。また、アダプティブ・ビットレート・ストリーミングのために複数のビットレートをエンコードする場合、ビデオの各フレームをエンコードするパイプラインは、次のフレームを処理するまでに、1回だけでなく3〜4回も処理する必要があります。
• 効率的な再生。 最後に、有線でストリーミングされたHFRビデオは、クライアントでアンパックされ、通常はWebブラウザで画面に表示される必要があります。毎秒60フレームの場合、FlashであれHTML5であれ、クライアントの技術は、画面が更新されるのと同じ速度で、ワイヤからフレームを取り出して画面に表示するために、非常に生産的に働く必要があります。

要するに、60fpsを実現するのは難しいため、オンラインストリーミングは10年以上にわたって30fpsに制限されてきました。ハードウェアメーカーにとっても、ビデオソフトウェアプロバイダーにとっても、60fpsを実現することは難しいのです。しかし、ネットワークの速度が速くなり、プロセッサの性能が向上すれば、オンラインビデオの60fps化は避けられません。実際、2年前には、Blender FoundationとJanus Kristensenが、60fpsアニメーションの代表作となった「Big Buck Bunny」をリリースしたときに、HFRオンラインビデオのテストが行われていました。

ビッグ・バック・バニー - 60fpsのオンライン・ストリーミングの可能性を示す初期の例 

Panoptoのオンラインビデオプラットフォームで60fpsを実現

Panopto社の ビデオプラットフォーム の最新のアップデートでは、HFRビデオの録画、ライブストリーミング、アップロードのサポートを実装しました。これにより、Panoptoのお客様は、Windowsのデスクトップやラップトップから、ビデオカメラ、ドキュメントカメラ、医療用画像処理装置、産業用カメラ、その他のハイフレームレートキャプチャをサポートするメディアキャプチャソースから、毎秒最大60フレームのビデオをキャプチャすることができるようになりました。また、iPhoneや現場のプロ用ビデオカメラで撮影したような録画済みのビデオを、Panoptoの ビデオコンテンツ管理システム（ ）にアップロードして、デスクトップやラップトップで60fpsの再生ができるようにエンコードできるようになりました。

また、ビデオポッドキャストに1080p60の画質設定を追加したことで、モバイル機器でも60fpsでのストリーミングが可能になりました。

60fpsの動画を録画、ライブストリーミング、Panoptoへのアップロードが可能。 

私たちのビデオプラットフォームは、以下の組み合わせにより、高フレームレートのストリーミングを実現しています。

• エンコーディングスタックのパフォーマンスチューニングを入念に行い、フレームドロップを最小限に抑えたマルチビットレート60fpsをサポートしています。
• ビデオカメラやその他のメディアソースからPanoptoのキャプチャーPCに高品質なHFRビデオを確実に配信するために重要な、アップストリームデバイスの機能についての深い認識と効果的な交渉。
• FlashベースおよびHTML5ベースの動画コントロールをJavaScriptでラップする動画プレーヤーコードの最適化。

当社のお客様がプレゼンテーションや講義を60fpsで撮影するようになり、YouTubeや他のビデオプラットフォームが新しいベンチマークに対応するようになると、知識の共有やコミュニケーションのためのメディアとして、ビデオの使用が加速します。私たちは、オンラインビデオの進化の一翼を担えることを嬉しく思います。また、お客様がHFRで撮影されることを楽しみにしています。

現在、Panopto Cloudから配信されている60fps動画のサンプルをいくつかご紹介します。

NASAのMMSミッションの概要 

バンジョーでBlackberry Blossomを演奏するJesse Vernon氏 

...そして、スターウォーズファンの皆様には、"フォースの覚醒 "の60fpsの予告編をお届けします。