Stadiaの特許読んでみたら、発表以上にスゴイ機能が書いてあった【GDC2019・Google】

stadia_logo海外テック動向

GoogleがGDC2019(Game Developer Conference 2019)で発表したクラウドゲームプラットフォーム「Stadia」。

・Youtubeのトレーラー映像から5秒でゲーム開始可能
・PC、スマホ、テレビなど様々なデバイスでプレイ可能&一瞬でデバイス切替可能
・ゲームをサクサクプレイしながら、プレイ動画を4K・60FPSで配信可能
・様々なグラフィック表現をリアルタイムで反映(Style Transfer)
・Youtubeで配信プレイ中のゲームに乱入可能(Crowd Play)
・ゲームプレイの状態を共有し、他のプレイヤーがプレイ可能なリンクを生成
(State Share)

などなど、度肝を抜く機能が連発で、日本でも大きな話題になっています。

Googleの新ゲームサービス「Stadia」まとめ:これは歴史に残るぞ
新時代の幕開けとともに、新世界が広がり始めた。Google(グーグル)がやっちまいました。ゲーム業界の革命です。GDC(ゲーム開発者カンファレンス...

Google's Stadia Announcement at GDC 2019 in Under 14 Minutes

主なトピックと開始位置
5秒でプレイ開始 https://youtu.be/BeFnQrgtZ9k?t=24
デバイス切替 https://youtu.be/BeFnQrgtZ9k?t=48
Style Transfer https://youtu.be/BeFnQrgtZ9k?t=500
State Share https://youtu.be/BeFnQrgtZ9k?t=530
Crowd Play https://youtu.be/BeFnQrgtZ9k?t=580

ちょっと気になったのでStadiaに関係ありそうな特許を探してみたところ、日本で報じられてる以上にスゴイ内容が公開されてたので軽く紹介してみます。

最初に要約

・Stadiaでプレイされたゲーム状態データをクラウドに記録
・その情報を使って、ゲームのプレイ動画を自動生成
・プレイ動画をYoutubeにアップ。Youtube視聴者増える。
・視聴者をゲームプレイに誘導。ゲームプレイヤー増える。

の無限ループで、ゲームと動画視聴のネット2大エンタメをまとめて押さえる可能性あり

読んだ特許:Cloud-based multi-player gameplay video rendering and encoding(US9682313B2)

US9682313B2 - Cloud-based multi-player gameplay video rendering and encoding - Google Patents
Generating in real-time multiple gameplay videos in a cloud computing network of a mobile game played on multiple mobile devices is disclosed. A cloud-bas...

アメリカで登録になってる特許(米国特許9682313)です。ちなみに同じ出願が元になった特許がもう1件あり(米国特許9233299)、どちらも米国で特許として登録になってます。

今回紹介する特許に関係ある機能としては、ゲームのプレイ状況を共有して他の人がそこからプレイできる(と紹介されている)「State Share」です。

冒頭で紹介したGizmodeさんの記事では、State Share機能は下記のように紹介されています。

続いて「State Share」。これがかなりユニークな機能で、ゲームとある瞬間を、ゲーム世界の状態・プレイヤー位置・所持アイテムなども含めて、そのままプレイできる形でシェアできちゃうんです。それも、リンクを貼るだけで。だからたとえばホラーゲームをプレイしていて、すごいピンチを切り抜けたぜ!って自慢したかったら、そのピンチ状態ごとシェアすればOK。ツイッターでもどこでもいいのでリンクを貼れば、それをクリックした誰もがその状況を楽しめるわけです。まるで記憶ごとシェアするような感じ。タイムアタック競争でも使えそうですよね。シェア欲をここまで刺激する機能は、なかなか無いぞ!
引用:Googleの新ゲームサービス「Stadia」まとめ:これは歴史に残るぞ

その次に貼ったEngadgetの動画の該当箇所もこういう説明で、

ゲームプレイの「ある一瞬を切り取って保存している。それをシェアできる」イメージを持つ人が多いのではないでしょうか。

特許の中身を詳しく見てみる

では、特許の中にどんなことが書いてあるか見ていきましょう。該当部分だけサクサク引用して補足していきます。

A mobile game is played on multiple mobile devices (ie, an instance of the mobile game, or a gameplay session).

モバイルゲームは複数のモバイルデバイスでプレイされる。

Various states of the gameplay session of the mobile game associated with a mobile device are captured,

ゲームプレイの状況は記録される

including user inputs such as clicks mouse movement, keyboard inputs, timing information of each state, game data, and audio/video information associated with each state and any other user input during the session of the gameplay.

その中にはユーザーの操作、例えばマウス操作やキーボード入力も含まれる。他の様々な入力(any other use input)も含まれる

と書いてあります。

これ、要するに、「ある瞬間のゲームの状況」だけではなく、「ゲームプレイ中に行われたユーザー操作の履歴を記録するよ」ということです。

いちおう言っておくと、特許に書いてあるままの機能をサービスに実装しているとは限りません。ですが、特許出願をして権利として登録にまで持ち込んでいることを考えると、サービスへの実装を見据えているのは間違いないように思えます。

特許内には具体例として、Biancaという仮想のユーザーを描写した下記の記載があります。

As Bianca is playing the game, the player of her mobile phone captures the game state of the game into a gameplay state information file as the game progresses.
The game state includes Bianca’s user inputs, such as clicks, touchscreen gestures, selections, as well as device motions (for games that make use of device orientation and acceleration data), as well as the state of game objects (eg, points, characters, game level, etc.).

Biancaのスマートフォンは、彼女のゲーム状態データ(the game state)をゲームの進行に合わせて記録します。
ゲーム状態データは、ゲームの状態(得点・キャラクターなど)と同様にBiancaの操作、たとえばクリックやタッチ操作、スマホの加速度センサなどの動きを記録します。

さきほど書いた「ゲームの状況」だけではなく「ゲームプレイ中に行われたユーザー操作の履歴を記録する」というのがわざわざ書いてあるのが分かります。

in response to the user of the client 110 ending a game session (e.g., quitting the game and selecting uploading mobile game button on his/her mobile device), the state capture API compiles the captured gameplay states into a gamestate information file in a JSON (JavaScript Object Notation) format and uploads the gamestate information to a storage (e.g., GOOGLE Cloud Storage) of a cloud-based video system for further processing.

ユーザーがゲームを終了したら、ゲーム状態データをファイルにしてストレージに保存します。

The renderer 220 retrieves the gameplay state information stored in the cloud storage 202 and replays the game session including rendering the audio representation (if the mobile game has sound) and video representation of the gameplay based on the gameplay state information.

ストレージに保存したゲーム状態データを元に、ゲームセッションをリプレイします、とも書いてあります。

で、Stadia特許の何がすごい?

ゲームのプレイ状態を保存して再現する機能自体は既にあります。マリオカートのゴーストモードとかですね。

【ねじれマンション】TA スタッフゴースト マリオカート8DX 攻略 MK8DX Mario Kart 8 Deluxe "Twisted Mansion" Time Trial

今回の特許で開示された内容ですごいのはここからです。

For a mobile game simultaneously played by multiple game players 120 , the cloud-based video system 200 receives and stores the game state information from each game player.

複数の各プレイヤーからゲーム状態データを取得する。

From the collected gameplay state information from multiple players, the director 260 automatically selects an interesting viewing point captured by a mobile device of a game player based on a variety of factors.

複数のプレイヤーから収集したゲーム状態データから、ディレクター(映像生成機能みたいなもの)は自動的に興味深い視点を抽出する。

video system 200 renders 714 the gameplay by reconstructing audio (if available) and video representations of the mobile game at the corresponding gameplay state described by the gameplay state information associated with the selection.

ゲーム状態データを元に、ゲームプレイ映像を再構築できる。

ここまで紹介してきた内容から何ができるかというと、

・複数プレイヤーによってプレイされた内容が
・自由自在に編集された状態で映像化される

ということです。「自由自在に編集された状態の映像」とは例えば、

・複数人のプレイ画面を切り替えた映像はもちろんできる
・誰のプレイ画面でもない視野からの映像も挿入できる
・切り取る場面はプレイヤーやゲームの状況(敵を倒した、試合が佳境に入ったなど)により自動抽出できる

のような感じです。特許には書いてありませんが、冒頭で紹介した「グラフィック表現をリアルタイムで反映(Style Transfer)」する機能も使えるはずなので、さらにモノクロにしたりいろんな編集ができるでしょう。

実は、この特許で権利として取られているのは、まさにこの部分です。下記はClaim 1(特許の権利内容を文章で定義したもの)の一部を抜粋したものです。

encoding the rendered gameplay to generate a gameplay video of the mobile game played on the computer device based on the rendered gameplay, wherein at least a portion of video content of the generated gameplay video is different from video content of the rendered gameplay.

生成された映像の少なくとも一部は(ユーザーの)ゲームプレイを記録したものとは異なる内容である

Googleはゲームプレイ動画を無限に自動生成できるようになった

ここまでの内容から何が見えるかというと

・Stadiaでプレイされたゲーム状態データをクラウドに記録
・その情報を使って、ゲームのプレイ動画を自動生成
・プレイ動画をYoutubeにアップ。Youtube視聴者増える。
・視聴者をゲームプレイに誘導。ゲームプレイヤー増える。

これ、「ゲーム状態データ増える→プレイ動画増える→Youtube視聴者増える→ゲームプレイヤー増える→ゲーム状態データ増える(以下、略)の無限ループです。

動画提供サービスの王様・Netflixが「自分たちのライバルは他の動画提供サービスではなく、フォートナイト(オンラインゲーム)だ」と発表したのはつい先日ですが、動画とゲームというインターネットの2大エンタメサービスをGoogleが一気に抑える可能性があるということですね。

まとめ

以上、GoogleのStadia関連の特許から見えたことをまとめてみました。Stadiaに関わる特許はこの1件だけではないはずですが、1件読むだけでもなかなかの情報が見えてくると分かっていただけたのではないでしょうか。

Stadia、日本でのリリース時期は未定のようですが、引き続き情報を追ってみたいと思います。