A/Bテストとは？

A/Bテストは、WEBサイトもしくはアプリケーションなどで活用される改善テストの一つです。改善したいポイントを一箇所変更し、CVR（コンバージョン率）へどんな影響を与えるかという検証のことであり、WEBマーケティングにおけるCRO（コンバージョン率最適化）の施策の一つです。
A/Bテストの対象となるものは、流入数の多いページからコンバージョンまでの導線の改善、コンバージョンボタンデザインの改善、ランディングページ内に存在する文言の改善、フォームの機能改善などといった、様々なタッチポイントです。

※「A/Bテスト」という言葉は、初めはWEBサイトの改善テストに対してのみ用いられていましたが、近年ではWEBサイトの改善テストに限らず、「特定の箇所に対してテストパターンを用意し、改善点を見つけていく」こと全般に対して用いられています。

A/Bテストを行う意味

先程も少し触れましたが、A/BテストはWEBサイトやアプリケーションのコンバージョン（多くは売上の向上や新規ユーザーの獲得など）改善を目的として、そのためにどんな導線が効果的かという仮説を立て、その結果を明確にするために実施します。
WEBサイトやアプリケーションには改善が可能なポイントがいくつもあることから、実際に運用していても“どのポイントをどういった形に変更することがコンバージョンに影響するのか分かりにくい”ことがあります。 “なんとなくこっちの方が良さそうだな”という理由で変更したものの、しっかりA/Bテストで確認してみるともっと簡単に成果をあげられる改善点があった、ということはとても多いのです。

このように課題を見極められないと、具体的な戦略を立てられません。経験と勘に頼った業務遂行では、PDCAサイクルが回らないでしょう。仮設立案、実行、学習、軌道修正を繰り返し、目標達成に向けて加速することが重要になります。

また、取り組むべき課題を見極められれば、無駄な業務が増えたり重要度が低い業務に高いコストを割いたりする事態を防げます。

A/Bテストで改善が期待できる要素

A/Bテストによって改善が期待できる要素は以下の通り、
・バナーのクリック率（CTR）
・滞在時間
・ランディングページの直帰率
・次ページへの遷移率
・フォームのコンバージョン率（CVR）
・購入商品のクロスセル
など、多岐にわたります

A/Bテストのメリット

A/Bテストを行うことにどんなメリットがあるかを解説します。

低コストかつ効果的

WEBサイトやページ単位でのリニューアルを考えた場合、ページ数にもよりますが、必要になる予算は少なくありません。A/Bテストの場合は、手ごろな価格のツールも多く存在します。それらを利用することで、リニューアルに比べて大幅に予算を抑えながらも、WEBサイトやページの効果を上げることが可能です。

また、一般的にリニューアルを行う際には、「サイト構造やコンテンツを企画する→デザインに起こす→HTMLやプログラムを用いて構築していく」という流れがあるので、着手から完了までの工数も長くかかってしまいます。
A/Bテストであれば、ヘッド部の画像のみや、コピー部分のみであったりと、ちょっとした改善から対応することが可能なので、少ない工数で開始して、継続していくことができます。

機会損失を防ぐことができる

A/Bテストでは、複数のページを検証していく中で、エンゲージメント率やコンバージョン率の高い、いわゆるチャンピオンページを見つけることができます。チャンピオンページとは、ユーザーの共感を得やすく、説得力のあるページを指します。
そのため、よりパフォーマンスの高いページへと最適化できた場合、例えば直帰率の改善をはじめ、商品購入や問い合わせあるいは資料請求に繋げることもできますので、機会損失を防ぐことになるでしょう。

客観的な数値が目に見える

“サイトリニューアルをした結果、リニューアル前の方がCVRが良かった“などという悲惨な目に合わなくて済むように、A/Bテストの場合、同時期にスプリットラン（同時並行）でテストを行える事が大きなメリットになります。結果として表れた数値を見て、効果の高い方を残して次のテストを開始する、というPDCAを回すことで、段階的に、そして安全に改善を行っていく事が可能です。

A/Bテストのデメリット

では反対に、A/Bテストのデメリットとは何でしょうか

ある程度の期間とアクセス数が必要

A/Bテストの結果を判断するためには、ある程度の母数が必要になってきます。母数が10の場合、1つのコンバージョンが起こると、CVRは10%も変動します。
統計学上、標本誤差5%以下が有意水準とされており、この場合、分母は400以上が望ましいです。A/Bテストを行いたいページへのアクセス数を把握してから行わないと、思わぬ時間がかかることになりますので、注意が必要です。

効果的なテストが行えない場合がある

A/Bテストは、WEBサイトの現状を把握した上で、理想のターゲット像を明確にしておく必要があります。A/Bテストにおいて、アクセス数として数えられるユーザーすべてがWEBサイトのターゲットというわけではありません。実際に“アクセスしてからコンバージョンにいたる“ユーザーの属性をしっかりと捉えられていなければ、信頼に足る結果を導けるようなA/Bテストを実施することはできません。
ただ、テストの実行条件を絞った場合、その条件にあったターゲットユーザーのアクセスがある程度集まるまでに時間がかかってしまいます。テストを無駄にしないためには、常に現状を把握すること、そして効果的なターゲット像の設定が重要となります。

A/Bテストを行う際のポイント

事前に現状をしっかりと分析し、仮説を立てることが大切になります。この時に仮説の立て方が弱かったり、分析が甘かったりした場合、テスト結果の解釈に大きく影響します。
また、WEBサイトの課題に対して、色々な部分を改善したいという気持ちが逸り、手っ取り早く同時にいくつもの要素に対してA/Bテストを実施したいと考えるかもしれません。
これはケースバイケースではあるのですが、基本的にはA/Bテストは一度に一要素に対して行うことが望ましいです。
たくさんの要素に対して同時並行でA/Bテストをしてしまうと、どの要素への施策がどの程度改善に繋がったのかを検証しにくくなるため、せっかく立てた仮説と、出てきた結果について間違った判断をしてしまう可能性が高まります。

しっかりとした仮説をたてる

事前に現状をしっかりと分析し、仮説を立てることが大切になります。この時に仮説の立て方が弱かったり、分析が甘かったりした場合、テスト結果の解釈に大きく影響します。
また、WEBサイトの課題に対して、色々な部分を改善したいという気持ちが逸り、手っ取り早く同時にいくつもの要素に対してA/Bテストを実施したいと考えるかもしれません。
これはケースバイケースではあるのですが、基本的にはA/Bテストは一度に一要素に対して行うことが望ましいです。
たくさんの要素に対して同時並行でA/Bテストをしてしまうと、どの要素への施策がどの程度改善に繋がったのかを検証しにくくなるため、せっかく立てた仮説と、出てきた結果について間違った判断をしてしまう可能性が高まります。

目的を明確にする

A/Bテストは、資料請求率を挙げたい、バナーのクリック率を上げたい、ユーザーの登録数を増やしたい、サイトの離脱率を下げたいなど、改善の目的を明確にして行うことで、余計な作業を行わなくて済み、効率良くA/Bテストを行うことができます。

まとめ

A/Bテストはサイトリニューアルに比べて、安価で容易に始める事が可能です。
特に仮説をしっかり立て検証を行うPDCAを繰り返すことで、仮説の精度があがれば、より改善が期待できるようになりますので、事前準備をおろそかにせず、取り組んでいきましょう。