Как читать A/B-тест: конверсия, lift и p-value

Эксперимент в QuantumBA сравнивает два варианта по одной метрике — обычно это конверсия.

Конверсия = число конверсий / число показов. Lift показывает, насколько вариант B сильнее или слабее A. Двусторонний z-тест пропорций отвечает, случайный ли это разброс.

Если p-value ниже 0.05, разница считается статистически значимой. Даже тогда смотрите на размер выборки: маленькие тесты легко переоценивают эффект.