@Backtomath

Всем привет!

Решаю классическую задачу на нахождение объема выборки.
Сформулирована она следующим образом:

А/Б тестирование
Контрольная группа А - 50% с CTR = 1%
Группа Б - 50% с CTR >= 2%

Вопрос:
1. Сколько раз нужно показать баннер, чтобы проверить тест?
2. Какой доверительный интервал изменения конверсии нового варианта (тест Б) (как я понимаю, мат.ожидание?) ?

Мое решение:
За уровень надежности беру 95% (alpha)
Использую формулу, следующую из интегральной теоремы Лапласа

alpha = P = {|m/n - p| < e} = 2Ф(e*sqrt(n/pq)), где р=успех, q=1-p

2Ф(e*sqrt(n/pq)) = 0.95,
Ф(e*sqrt(n/pq))= 0.457
(e*sqrt(n/pq))=2
за е я принимаю вероятность ошибки равную 0.05 (неуверена в этом, мало информации нашла на эту тему)
0.05*sqrt(n/0.02*0.98))=2
sqrt(n/)=2/0.007
n = 81632

Верно ли найден объем выборки?
Если воспользоваться формулой Чебышева

n=(Z^2*pq)e^2, n = (1.96^2 0.02*0.98)/0.05^2=30
Выборка равняется 30, что кажется мне совсем неверным

Если с помощью следствия т. Муавра-Лапласа значение выборки верное (опять же, если е посчитано правильно), как мне искать интервал нового CTR, зная только объем выборки, мат ожидание (0.02) и уровень значимости 95% ?

Заранее спасибо за ответы и разъяснение

0

@jogano

А я не понимаю.

И в чём суть теста? 50% это что? Можете нормально сформулировать задачу, а не только числа дать?

0

@Backtomath

Так формулируются задачи на А/Б тесты
Есть контрольная группа и составляет она 50% выборки
На другой группе - 50% выборки - проводят тест, чтобы понять, изменится ли конверсия (дизайн поменяли, например)

Суть теста не имеет значение, важно только, что конверсия нового варианта (тест Б) должна составить 2%

Вопрос задачи: какое число раз необходимо провести испытание (в нашем случае показать баннер), чтобы утверждать о том, что конверсия с точностью 95% изменилась

Далее - найти доверительный интервал изменения этой конверсии

0