А/В-тестування рекомендаційних блоків

A/B-тестування дозволяє автоматично визначати кращий результат показу рекомендаційного блока за CTR і конверсіями.

Ви можете протестувати:

• джерела даних — для рекомендацій у додатках та тих, що отримуються через JavaScript API,
• назви, джерела даних, зовнішній вигляд і місця розміщення блоку — для рекомендацій, що повністю створюються на боці eSputnik.

Визначайте найефективніші варіанти та створюйте нові блоки, спираючись на результати тестів.

Налаштування А/В-тестування

1. Щоб налаштувати тест створеної рекомендації, перейдіть до розділу Сайт → Рекомендації і натисніть на потрібну рекомендацію.

2. Перейдіть на вкладку А/В-тест і натисніть кнопку Почати А/В-тест.

Параметри тестування

1. Виберіть кількість варіантів, що братиме участь у тестуванні — за замовчуванням це два варіанти, щоб додати більше — натисніть відповідну кнопку (максимальна кількість варіантів — 8).
2. Вкажіть відсоткову вагу кожного варіанту, або розподіліть її рівномірно, натиснувши відповідну кнопку.
3. Додайте опис варіантів, щоб в майбутньому легко дізнатися ключові відмінності варіантів, що тестуються (опційно).

Нижче виберіть параметри, які тестуватимете. Краще перевіряти по одному параметру за один раз, щоб розуміти, які саме чинники впливають на результати.

Джерело даних. Вкажіть, за яким з алгоритмів виводитимуться рекомендації. Для його зміни натисніть на варіант і у списку виберіть потрібний.

Місце розміщення. Вкажіть місця розміщення рекомендації на сторінці.

Зовнішній вигляд. Вкажіть варіанти, які братимуть участь у тесті, у той же спосіб, що й місця розміщення.

Заголовок. Пропишіть різні варіанти, щоб зрозуміти, який із них привабливіший.

Після внесення налаштувань натисніть Зберегти у верхній частині сторінки.

Статус тестування та його оцінка

Кожна рекомендація, для якої проводилося A/B-тестування, має відповідну позначку у вигляді кнопки у загальному списку створених рекомендацій.

Залежно від поточного статусу (завершено / не завершено) та ключових результатів (за CTR та досягнутими конверсіями) кнопка забарвлюється у різні кольори. При наведенні на неї відкривається короткий звіт. Натисніть кнопку Перегляд тесту, щоб переглянути результати детально.

Кольорові позначення:

• Зелена кнопка – тестування завершено, є переможець за CTR та конверсією.
• Сіро-жовта кнопка свідчить про те, що для визначення переможця за CTR недостатньо даних, конверсія однакова.
• Кнопка жовтого кольору – за CTR та конверсією однакова статистика, тестування продовжується.
• Зелено-жовта кнопка означає, що є переможець за CTR, а за конверсією однакова статистика. Тестування продовжується.
• Жовто-зелена кнопка – є переможець за конверсією, за CTR отримані однакові результати.
• Сіра кнопка – даних для визначення переможця за жодним із показників недостатньо.

Звіт про результати тестування

На першому екрані перегляду тесту виводиться переможець із зазначенням отриманих результатів.

Для визначення один із варіантів повинен лідирувати з ймовірністю не менше 90%, і різниця в ймовірності між варіантами повинна становити понад 5%. Поки не буде досягнуто цього мінімального порога, тестування триватиме.

Якщо даних достатньо, ви можете зупинити тест, натиснувши кнопку Обрати варіант і завершити тест (жирним текстом буде прописаний варіант, який найкраще показав себе).

Якщо переможці за CTR і за конверсією – різні варіанти, то найкращим може бути лише переможець за конверсією, оскільки продажі важливіші, ніж показник клікабельності.

Після опису кращого варіанту подано звіт із результатами тестування для кожного з варіантів. У зелену рамку взято показники CTR і конверсії варіанта, що переміг. Під варіантом вказано ID джерела даних, яке тестується.

В останньому блоці звіту (Динаміка активності) графіки візуалізують отримані результати порівняно з іншими варіантами тесту.

Щоб побачити кількість показників за певний проміжок часу, наведіть курсор на графік:

Внизу сторінки відображається перелік завершених тестів: