外部からストリーミングサービスを分析する
- 「そのダッシュボードが正に当社の監視モニターに表示されている常設画面なのです」
- 「お客様の視点から見ることが、エラーの外側から見ることがいかに重要かを強調することはできません。それがNPAWが当社のために行っていることなのです。」
BLOCKBUSTERは、80万人以上の登録ユーザーに1万本の映画を提供している、デンマークで市場をリードする映画のストリーミングサービスです。そのビジネスモデルは売買が基本であり、サブスクリプションではありません。そのため、可能な限り完璧に機能するように細心の注意を払う必要があります。
我々の評価は、配信したコンテンツの品質次第で決まるのです
Henrik Loop
Blockbuster、最高技術責任者
数年前、Blockbuster社は北欧地域における存在感を高めるために、デンマークでのサービスを開始することを決断したところから話は始まります。決断してすぐに、自分たちが構築したサービスには拡張性がないことに気づきました。しかし、開発に関しては、大手ブランドのニーズに合わせるために、すべてを変えようとしているところでした。
新しいプラットフォームを構築する際に重要な要件となったのが、外部からパフォーマンスを監視できるようにしたいという事でした。これには様々な意味がありますが、体験品質(QoE: Quality of Experience)に関しては、サーバーの稼働状況を定常的に注目するよりも、ユーザーがコンテンツやプラットフォームをどのように体験しているのかを把握したいと考えていました。つまり、入力よりも出力に基づいたシステムが重要であると考えたのです。
有用なプラットフォームとデータの所有権
「私たちは、ユーザー体験を監視してくれるプラットフォームを索していました。」とHenrik氏は説明します。
「実際のところ、ユーザー体験の監視は、YOUBORA(現NPAW Suite*)に類似した別の分析サービスが既に実装されていましたが、他社の分析サービスでは彼らにデータの所有権があるために、我々がデータを抽出することができないところに問題がありました。我々は、ビジネスインテリジェンスやマーケティング、財務など、様々な部門をサポートするデータを取得して、Blockbusterの全体的な状態を示す一般的なレポートを作成できるようにしたかったのです。」
YOUBORAを実装してみた結果、Blockbusterは自分の未処理データへ完全にアクセスできるようになり、実用的な方法で構造化することができました。これによって、Blockbusterを介してコンテンツをどのように視聴者が体験しているのかが視覚的に把握できるようになり、大きな変革をもたらしました。
Blockbusterは、競合他社のストリーミングサービスが掲げるパフォーマンスのKPIと比較して、自社の評価を行っています。
Blockbusterはデータの所有権を持てるようになったので、再生の失敗率などを取り出して他社サービスと比較したり、自社サービスのパフォーマンスが順調なのか、スケジュールが遅れているのか、もしくは早まっているのかなどを確認できるようになりました。Blockbusterチームは目標を達成するために、サーバーやプロセスに対してアクションを実行し、YOUBORAを使ってユーザー体験への影響を評価しています。
他社の分析サービスでは、データの所有権を自身で持てなかったため、我々はデータを抽出することができませんでした。私たちは、ビジネスインテリジェンス、マーケティング、財務など、様々な部門をサポートできるようにデータを持ちたかったのです。
「例として、現在の「プレイヤー」のプロバイダーが期待通りのパフォーマンスを発揮しているかどうかを確認する必要があったため、別のベンダーの「プレイヤー」間でPoC(概念実証)を行い、どちらが高いパフォーマンスを発揮しているかを比較検討できました。このような比較を自身でできることは、我々にとって非常に大きなアドバンテージであり、このような可視性を得られたことで、現在はプレイヤーを変更することになりました。このことについては非常に満足しています。」
現在、コペンハーゲンにある監視用のモニターに、YOUBORAのダッシュボードが常時表示されています。サーバーに問題があったり、プレイヤーに問題があったり、それに類するものがあれば、リアルタイムにダッシュボードが教えてくれます。何が起きているのかが分かるので、とても便利です。
クライアントのニーズに絶えず耳を傾け、常に進化する製品
2016年にBlockbusterが最初にYOUBORAと実装した当時には、Blockbusterが自ら創り出そうとしていたいくつかの機能が不足していました。Henrik氏がYOUBORAの担当者達に、BlockbusterがYOUBORAに求めていたデータの連携について話した時のこと、YOUBORAのロードマップがすでにその方向に向かっていることが分かり驚きました。
「私は、ある日YOUBORAの担当者に、お客様がどのような再生の失敗を体験しているのか、また、一定期間に再生の失敗がいくつ発生しているのかを確認できればと伝えました。驚いたことに、わずか数ヶ月後に、YOUBORAにエラーダッシュボードが実装されたのです。」
「このダッシュボードはコペンハーゲンの監視用のモニターに常時表示されていて、サーバーに問題があったり、プレイヤーに問題があったりするとリアルタイムに通知してくれます。何が起こっているのかを確認するのにとても便利です。」
エラーダッシュボードとスマートアラート
Blockbusterの監視用のモニターには、YOUBORAの「エラーダッシュボード」が常時表示されています。これにより、エラーがどれだ発生しているのか、再生中どの部分で発生しているか、そしてそれが視聴の障害につながるのかどうかを、正確に把握することができます。
徹底的な調査の結果、キャッシュの領域を調べて、ここのアーキテクチャを変更する必要があることが分かりました。そして以前とは異なるアーキテクチャに変更しました… YOUBORAがなければ、このような問題を確認することはできなかったでしょう。
我々は、全体像を把握するエラーの種類に関する指標を設定しましたが、正確には何を見つけているのかは知りません。YOUBORAの異常検出機能によって、異常が発生するたびにアラームで知らせてくれます。これが調査したい分野についての優れたインサイトを与えてくれるので、とても助かっています。全体的にはかなりの成功例と言えるでしょう。
「エラーダッシュボードは非常に優れています」とHenrik氏は説明します。「実際、何かが最適化されていなかったために、YOUBORA上で再生の失敗が増加していることが分かりました。徹底的に調べた結果、キャッシュ領域の調査や、アーキテクチャの変更が必要であることが判明し、以前とは異なるアーキテクチャに変更したのです。以前はローカルキャッシングを行っていましたが、現在はオリジンでのグローバルキャッシングを行っています。もちろん、これはエンドユーザーからは見えない裏側の話ですが、YOUBORA上の再生の失敗数は減少しています。これは、エンドユーザーにどのような影響を与えるのかを把握するために、測定して追跡できるようにするものです。そういう意味では、YOUBORAがなければ、このような問題は見えてこなかったと思います。」
エラーダッシュボードについて考えると同時に、注目すべき重要な要素として、BlockbusterチームはYOUBORAのAIを搭載したスマートアラートの話にも興奮していました。この機能によって、Blockbusterは追跡したい異常の類に関連した指標とディメンションを選ぶことができます。これらの指標に関連した数値が、過去のベンチマークデータに基づいたユーザーの平均値から外れた場合に、システムは自動的にアラームを作動させます。特定のエラーを探していない場合においても、YOUBORAのAIを搭載したスマートアラートは、何が起きているかをHenrik氏のチームに通知してくれます。
「我々は、全体的に調べたいエラーの類に関する指標を設定しましたが、何を探しているのか正確には知りません。異常検出機能によって、異常が発生するたびにアラームの通知で知らせてくれます。調査したい分野についての優れたインサイトが得られるため、調査すべき箇所を把握することができ、非常に便利です。全体的にはかなりの成功例と言えるでしょう。」
「エラーダッシュボードは非常に優れています」とHenrik氏は説明します。「実際、何かが最適化されていなかったために、YOUBORA上で再生の失敗が増加していることが分かりました。徹底的に調べた結果、キャッシュ領域の調査や、アーキテクチャの変更が必要であることが判明し、以前とは異なるアーキテクチャに変更したのです。以前はローカルキャッシングを行っていましたが、現在はオリジンでのグローバルキャッシングを行っています。もちろん、これはエンドユーザーからは見えない裏側の話ですが、YOUBORA上の再生の失敗数は減少しています。これは、エンドユーザーにどのような影響を与えるのかを把握するために、測定して追跡できるようにするものです。そういう意味では、YOUBORAがなければ、このような問題は見えてこなかったと思います。」
エラーダッシュボードについて考えると同時に、注目すべき重要な要素として、BlockbusterチームはYOUBORAのAIを搭載したスマートアラートの話にも興奮していました。この機能によって、Blockbusterは追跡したい異常の類に関連した指標とディメンションを選ぶことができます。これらの指標に関連した数値が、過去のベンチマークデータに基づいたユーザーの平均値から外れた場合に、システムは自動的にアラームを作動させます。特定のエラーを探していない場合においても、YOUBORAのAIを搭載したスマートアラートは、何が起きているかをHenrik氏のチームに通知してくれます。
「我々は、全体的に調べたいエラーの類に関する指標を設定しましたが、何を探しているのか正確には知りません。異常検出機能によって、異常が発生するたびにアラームの通知で知らせてくれます。調査したい分野についての優れたインサイトが得られるため、調査すべき箇所を把握することができ、非常に便利です。全体的にはかなりの成功例と言えるでしょう。」
サーバーのパフォーマンスではなく、ユーザー体験を基にした意思決定
Henrik Loop氏が強調した最も興味深い点の1つは、視聴者の体験をYOUBORAで監視することを選択した理由で、「内側から見るのではなく、外側から見る」という彼らの製品改良の理念にもつながっていることです。
「セットアップの特定の領域でエラーが発生したときには、それらのエラーにできるだけ早く対処して、それがクライアントのエラーなのか、サーバーのエラーなのかを判断します。YOUBORA は、サーバー上の変化をリアルタイムで監視し、エンドユーザーにとってプラスかどうかを確認するのに役立ちます。」
私が強く伝えたいことは、エラーの外側から、お客様の目線に立つことがいかに大切かということです。
YOUBORAは、その力を我々に提供してくれるのです。
NPAW について
NPAW (Nice People At Work)はバルセロナ(スペイン)に本社を持ち、オンラインメディアサービスを支援するビッグデータとビジネスインテリジェンスの会社です。オンラインメディアビジネスにおいては 2008 年から取組み、今日ではこの分野における世界的にも重要なプレイヤーとなりました。