従来の A/B テスト ツールは設定が複雑で、開発プロセスから分離されていました。
LaunchDarkly は、開発ワークフローそのものに「実験」を組み込みます。
フラグを作成した瞬間から実験の準備は完了です。新たなタグの埋め込みや、複雑なデータ パイプラインの構築は不要です。
フロントエンドの UI だけでなく、検索アルゴリズム、API の応答速度、インフラのコストなど、バックエンドの深い部分まで検証できます。
もし実験パターン B がエラーを引き起こしても、キル スイッチで即座に実験を中止し、安全なデフォルト状態に戻せます。
エンジニアやデータ サイエンティストの手を借りることなく、
プロダクト マネージャー自身が高速に PDCA を回せるようになります。
「新機能はコンバージョンを上げるはずだ」という仮説を立て、測定したい指標(クリック率、ページ滞在時間など)を LaunchDarkly 上で選択します。
全ユーザーの 10% を対象に実験を開始。LaunchDarkly が自動的にユーザーをコントロール群(A)とテスト群(B)にランダムに振り分けます。
結果が出るまで数日待つ必要はありません。データはリアルタイムに集計され、ベイジアン統計を用いて「勝者」が判明した時点で通知されます。
実験で成果が出たバリエーションを「採用(Rollout)」ボタン 1 つで全ユーザーに適用。負けたコードは後で安全に削除できます。
ビジネス指標からシステムの健全性まで、あらゆるデータを実験の判定材料に。
特定のボタンのクリックや、購入完了、サインアップ数などのユーザー行動。
特定のページへの到達率や、セッションあたりの閲覧ページ数。
カート内の商品金額合計や、滞在時間などの数値データ。
API のレイテンシー (応答速度)、ページ ロード時間、エラー発生率。
LaunchDarkly の Experimentation 機能を使えば、
エンジニアのリソースを圧迫することなく、確信を持って機能をリリースできます。