A/B-тестування віджетів

A/B-тестування (або спліт-тестування) — це метод дослідження взаємодії з користувачем. Під час тесту ви можете розподілити аудиторію між різними варіантами віджета або кнопки виклику та визначити, який із них працює краще.

В eSputnik A/B-тестування доступно для таких типів віджетів:

  • Форми підписки
  • Інформери
  • Кнопки виклику
  • Вікове обмеження

Тест може включати віджети різних типів.

📘

Примітка

Не можна видалити віджети, які беруть участь у запущеному тесті.

A/B-тестування не можна запускати для віджетів, які:

  • Містять помилки
  • Мають незбережені зміни
  • Беруть участь в іншому A/B-тестуванні

Щоб відкрити екран A/B-тестів, перейдіть до розділу Сайт → Віджети та виберіть A/B-тести на лівій бічній панелі. Якщо у вас ще немає тестів, відкриється початкова сторінка A/B-тестів.

Розділ A/B-тести на бічній панелі віджетів сайту

Керування A/B-тестами

Для створення нового тесту натисніть кнопку Новий тест.

 Новий тест

Щоб запустити A/B-тест, вам потрібно принаймні 2 віджети. Якщо їх немає, натискання кнопки Новий віджет відкриває меню створення віджета.

Виберіть тип віджета і дотримуйтесь інструкцій з налаштувань.

Меню вибору типу віджета для створення нового тесту

Після створення віджетів можна переходити до тестування.

В eSputnik можна протестувати:

  • 2 віджети
  • 2 віджети, коли один з них прив’язаний до кнопки виклику
  • 2 пари віджетів та кнопок виклику

У наступних розділах описано, як створити й запустити кожен із цих типів тестів.

На сторінці A/B-тестів запущені тести позначено значком відтворення у стовпці Статус, а завершені — значком галочки.

Список активних та завершених A/B-тестів

Стовпчик Впевненість показує надійність результатів тесту у відсотках. Результати тесту вважаються надійними, якщо рівень впевненості перевищує 90%. У цьому випадку значення впевненості відображається зеленим кольором.

📘

Як інтерпретувати впевненість

Впевненість вимірює, наскільки ймовірно, що спостережувана різниця між віджетом A і віджетом B є реальною, а не випадковою — чим вища впевненість, тим більше можна довіряти, що лідируючий варіант справді кращий, а не просто випадково опинився попереду. Вона природно зростає з накопиченням трафіку й конверсій, тому:

  • Впевненість нижча за 90%: вважайте результат неостаточним — дайте тесту продовжити роботу, а не оголошуйте переможця. Це часто трапляється на початку тесту або коли обидва варіанти працюють дуже схоже (невелика різниця потребує більше даних, щоб стати статистично надійною).
  • Впевненість вища за 90%: різниця навряд чи випадкова, і можна діяти на основі результату (наприклад, скориставшись варіантом Зупинити та скасувати публікування того, що програв).

Фіксованого мінімального розміру вибірки немає — це залежить від обсягу вашого трафіку і від того, наскільки велика різниця в ефективності між варіантами. Якщо впевненість залишається низькою після достатньо тривалого тестування, подумайте, чи варіанти взагалі відрізняються настільки, щоб дати вимірюваний ефект.

Зупинка запущеного тесту

  1. Виберіть тест зі списку зі статусом В процесі, розгорніть меню та виберіть один із варіантів зупинки:
  • Зупинити. Зупинити тест і залишити віджети опублікованими.
  • Зупинити та скасувати публікування гіршого. Зупинити тест і скасувати публікування віджета з гіршими результатами, якщо впевненість нижча за 90%.
  • Зупинити та скасувати публікування того, що програв. Зупинити тест і скасувати публікування віджета з гіршими результатами, якщо впевненість вища за 90%.
  • Зупинити та скасувати публікування обох. Зупинити тест і скасувати публікування обох віджетів, якщо впевненість становить 0%.
Варіанти зупинки A/B-тесту в меню тесту зі статусом В процесі
  1. Підтвердіть зупинку тесту.

Зупинені тести змінюють свій статус на Завершений.

📘

Важливо

Після зупинки тест не можна запустити повторно.

Видалення тесту

  1. Виберіть тест зі списку, натисніть значок три крапки та натисніть Видалити. 
Видалення тесту
  1. Підтвердіть видалення тесту.

Тест назавжди видаляється зі списку A/B-тестів. Віджети, які брали участь у видаленому тесті, залишаються в акаунті.

Перегляд результатів тесту

Щоб відкрити сторінку статистики, натисніть назву тесту в стовпці Ім’я.

Перемикайтеся між вкладками Всі, Десктоп та Мобільний, щоб переглянути відповідні деталі тестування.

Для попереднього перегляду віджета наведіть на нього курсор у стовпці Віджети. Віджет відображається в нижньому правому куті екрана.

Щоб перейти до параметрів віджета, натисніть його назву.

Попередній перегляд віджета в нижньому правому куті екрана зі стовпця Віджети

Щоб переглянути віджет і правила його виклику в новому вікні, натисніть значок Попередній перегляд віджета (око) у правій частині рядка.

Значок попереднього перегляду віджета в рядку статистики тесту

У вікні попереднього перегляду можна перемикатися між десктопною та мобільною версіями за допомогою відповідних значків у верхньому лівому куті.

Для переходу до параметрів віджета натисніть кнопку Відкрити.

Для переходу до параметрів віджета натисніть кнопку Відкрити

Створення A/B-тесту для двох варіантів віджета

Ви можете запустити A/B-тест, щоб порівняти ефективність 2 віджетів.

  1. У вікні A/B-тестів натисніть кнопку Новий тест.
  1. У вікні Новий тест введіть ім’я тесту (обов’язково) та опис тесту (необов’язково).
Поля імені та опису у вікні Новий тест
  1. Натисніть Вибрати віджет A та виберіть віджет зі списку.
Вибрати віджет A
📘

Примітка

Віджет можна знайти за допомогою рядка пошуку у верхній частині вікна Вибрати віджет:

  • Для пошуку за назвою введіть назву віджета або її частину та натисніть значок пошуку чи клавішу Enter.
  • Для пошуку за ID введіть id:, пробіл та ID віджета, а потім натисніть значок пошуку чи клавішу Enter. Наприклад: id: 8230.
Рядок пошуку віджета за назвою або ID
  1. Натисніть Вибрати віджет B і виберіть його зі списку.
📘

Примітка

Щоб замінити віджет, натисніть значок Замінити віджет і виберіть інший зі списку.

Вибір віджета B зі списку та значок Замінити віджет
  1. Введіть значення в полі Розподіл трафіка для одного з віджетів.
Поле Розподіл трафіка для віджетів A і B
📘

Примітка

Значення розподілу трафіку визначає розподіл показів для віджетів A і B. Значення за замовчуванням становить 50% для кожного віджета. Це означає, що кількість показів обох віджетів рівномірно розподіляється між усіма відвідувачами сайту чи сторінки. Мінімальне значення — 1, максимальне — 99.

  1. Натисніть Запустити тест.

Якщо віджети не опубліковано, відкриється діалогове вікно Почати тестування. Виберіть Опублікувати обидва віджети і почати тест та натисніть Запустити тест.

Запустити тест

Тест відобразиться у загальному списку A/B-тестів зі статусом В процесі.

В процесі

Запуск A/B-тесту для двох віджетів, один з яких прив’язаний до кнопки виклику

Якщо для одного з ваших віджетів у налаштуваннях виклику увімкнено опцію По кліку на кнопку виклику, ви можете запустити A/B-тест для 2 віджетів, приєднаних до кнопки виклику.

Коли відвідувач сторінки натискає кнопку виклику під час тестування, вона показує або віджет A, або віджет B, залежно від застосованих значень розподілу трафіку.

📘

Примітка

Для такого тесту опцію По кліку на кнопку виклику має бути ввімкнено лише для одного віджета.

  1. На лівій бічній панелі виберіть A/B-тести та натисніть кнопку Новий тест.
Кнопка Новий тест у розділі A/B-тести для тесту з кнопкою виклику
  1. У вікні Новий тест введіть ім’я тесту (обов’язково) та опис тесту (необов’язково).
  2. Натисніть Вибрати віджет A і виберіть віджет зі списку. Для цього віджета має бути ввімкнено параметр виклику По кліку на кнопку виклику.
📘

Примітка

Віджет можна знайти за назвою або ID за допомогою рядка пошуку. Для пошуку за ID використовуйте формат id: 8230.

  1. Натисніть Вибрати віджет B і виберіть віджет зі списку. Для цього віджета не має бути ввімкнено параметр виклику По кліку на кнопку виклику.
Вибір віджетів A і B для A/B-тесту з кнопкою виклику
📘

Примітка

Щоб замінити віджет, наведіть на нього курсор, натисніть значок Замінити віджет і виберіть інший віджет зі списку.

  1. Введіть значення в полі Розподіл трафіка для одного з віджетів.
  2. Натисніть Запустити тест.

Якщо віджети не опубліковано, відкриється діалогове вікно Почати тестування. Виберіть Опублікувати обидва віджети і почати тест та натисніть Запустити тест.

Запуск A/B-тесту двох віджетів, прив’язаних до двох кнопок виклику

Якщо для обох віджетів у налаштуваннях виклику ввімкнено опцію По кліку на кнопку виклику, ви можете запустити A/B-тест для 2 віджетів, приєднаних до 2 різних кнопок виклику.

Відвідувач сторінки побачить одну з кнопок виклику та пов’язаний з нею віджет залежно від застосованих значень розподілу трафіку.

У цьому випадку автоматично запускаються 2 різні тести:

  • Тест для кнопок виклику.
  • Тест для віджетів.

Статистика збирається окремо для кожного тесту.

  1. На лівій бічній панелі виберіть A/B-тести та натисніть кнопку Новий тест.
  2. У вікні Новий тест введіть ім’я тесту (обов’язково) та опис тесту (необов’язково).
  3. Натисніть Вибрати віджет A і виберіть віджет зі списку. Для цього віджета має бути ввімкнено параметр виклику По кліку на кнопку виклику.
📘

Примітка

Віджет можна знайти за допомогою рядка пошуку. Також можна відфільтрувати список за періодом або скористатися перемикачем За оновленням.

  1. Натисніть Вибрати віджет B і виберіть віджет зі списку. Для цього віджета має бути ввімкнено параметр виклику По кліку на кнопку виклику.
📘

Примітка

Щоб замінити віджет, наведіть на нього курсор, натисніть значок Замінити віджет і виберіть інший віджет зі списку.

Вибір віджетів A і B, прив'язаних до кнопок виклику
  1. Введіть значення в полі Розподіл трафіка для одного з віджетів.
  2. Натисніть Запустити тест.

Якщо віджети не опубліковано, відкриється діалогове вікно Почати тестування. Виберіть Опублікувати обидва віджети і почати тест та натисніть Запустити тест.

У списку на екрані A/B-тестів з’являться два тести: один для віджетів, інший — для кнопок виклику.

Список двох окремих A/B-тестів: для кнопок виклику і для віджетів

Did this page help you?