動画ストリーミング配信サービス「Netflix」と言えば、強烈なオススメ機能がその特色の一つと言えます。実際に「Netflix」をお使いになったことがある方は、ほぼ検索機能は使わず「Netflix」がオススメする映画を選ばれて多いのではないでしょうか？
さてこのオススメ機能にはユーザーニーズとの「マッチングシステム」もありますが、同時にそこには膨大かつ丁寧なA／Bテストが行われているそうです。
UI・UXデザインの世界ではもはや常識となったA／Bテストですが、全世界の会員数6,500万人超とも7,000万人超とも言われる「Netflix式A／Bテスト」がデザイナー・開発者向けイベントで紹介されたそうなので、本稿ではその概要を取り上げます。
「Netflix」式仮説立案
科学において「仮説」は、研究や実験から得られたデータを説明するために立案するものですが、デザインにおける「仮説」は、セオリーや推測がそう呼ばれます。
つまりデザインにおける仮説とは、参考となるデータなどは何もない状態で立案され、ひたすらテストを繰り返す対象ということになります。
上図はその一例ですが、上の画像は全て同じ映画のアートワークです。Netflixでは、基準となる比較対象（Cell1 Control）に対して複数の比較対象が用意されます。例に即して言うなら、「Cell2」が14％多くユーザーが反応したアートワークであり、このA／Bテストの勝者を決定していきます。
「Netflix」式検証
Netflixは多くの企業と同様に、一般ユーザーのデータを検証として用います。
つまり先ほどの「勝者」が本当によいパフォーマンスを上げるのかが検証されますが、その検証の精度や疑問に対する答えとして十分な確証を持っているのかを確かめることが重要となります。
Netflixのホーム画面に行くと毎回表示される映画のタイトルが変わりますが、これもそうしたNetflixの複雑な検証の場として使われているんですね。
（ログインしてホーム画面に表示されるタイトル）
（2回目のログインをした時に表示された画面）
この「検証」に関して、NetflixのエンジニアであるGopal Krishnan氏は、
もし90秒以内にユーザーからのアテンションを得られなかった場合、そのユーザーは興味を失って別の行動に移ります。こうした失敗に終わるセッションが起こる理由は二つあります。
ひとつは私たちが適切なコンテンツをユーザーに示さなかったから。もうひとつは適切なコンテンツを示していても、そのユーザーが観るべきコンテンツだという確証を示せなかったから、のどちらかです。
近年Netflixは、自動的にグループ化された同じ背景画像をもつアートワークのバリエーションを作るシステムを開発しました。そのシステムはこんなレプリカを作ることもできます。
（※矢印がついているものは特にパフォーマンスがよかったアートワーク）
まとめ
NetflixにはA／Bテストを行うスペシャルチームがあり、また会員数も膨大なため検証データの質も上がります。そのためなかなか一般的なデザイナーがNetflixと同じことをするのは難しいです。
ですが、UI・UXデザイナーにとって「仮説立案→検証」というサイクルはユーザーの動向を観察し続けることからしか得られません。そうした際にA／Bテストはユーザーの「ふるまい」を観察するのに最適な方法となるでしょう！
「デザインは制作して終わりではなく、検証をもって完了する」
――NetflixのA／Bテストはそんなことを教えてくれますね。
（※本稿は「How Netflix does A/B Testing」を翻訳・再編集したものです）
おすすめ新着記事
おすすめタグ