A/B-тесты в SEO: как проверять гипотезы, а не верить на слово

«Давайте перепишем тайтлы — станет лучше». «Добавим текст на карточки — вырастет трафик». «Уберём блок перелинковки, он мешает». За двадцать лет я слышал тысячи таких фраз, и почти всегда за ними стояла не проверенная гипотеза, а вера. Проблема в том, что вера не масштабируется: если вы внедрили изменение на 3000 страниц и трафик просел, вы уже не поймёте, виновато изменение или очередной апдейт Яндекса. A/B-тестирование в SEO — единственный способ отделить сигнал от шума. Но работает оно совсем не так, как классический A/B в CRO, и именно это непонимание убивает большинство попыток.

Почему классический A/B-тест в SEO невозможен

В конверсионной оптимизации всё просто: пользователь заходит на страницу, скрипт бросает монетку и показывает ему вариант A или вариант B. Трафик делится пополам, каждый посетитель видит одну версию, конверсии считаются раздельно. Через две недели вы знаете ответ.

В SEO эта схема ломается на первом же шаге. Ваш «пользователь» — поисковый робот. И у него есть три особенности, которые делают классическую сплит-схему бессмысленной:

• Робот один. Вы не можете показать Яндексу вариант A и вариант B одновременно. У страницы есть один URL и одно содержимое в индексе. Индекс — это состояние, а не поток посетителей.
• Показ разного контента роботу и пользователю — это клоакинг. Попытка «честно» разделить трафик, отдавая роботу вариант A, а людям вариант B, — прямой путь к санкциям. Об этом стоит помнить всем, кто любит хитрые схемы: разбор того, за что прилетает, есть в материале про поисковые фильтры Яндекса.
• Задержка обратной связи. В CRO результат виден через часы. В SEO между изменением страницы и изменением позиций проходит от нескольких дней до нескольких недель: нужно переобойти, переиндексировать, пересчитать. Мгновенной петли обратной связи не существует.

Отсюда вывод, который надо принять сразу: в SEO единицей теста является не пользователь, а страница. Мы не делим трафик — мы делим страницы. Не «половина людей видит B», а «половина страниц стала B».

Что такое SEO A/B-тест на самом деле

Правильная модель называется тестом на группах страниц (bucket testing, split testing по URL). Логика такая:

1. Берём большую группу однотипных страниц — например, 800 карточек товара одной категории или 400 страниц услуг по городам.
2. Случайным образом делим их на две выборки: контрольную (A) и тестовую (B). По 400 и 400, или 200/200 — главное, чтобы деление было случайным, а не «первая половина алфавита против второй».
3. На тестовой выборке внедряем одно изменение. Контрольную не трогаем вообще.
4. Ждём. Сравниваем динамику метрик двух групп относительно предтестового периода.

Ключевая мысль: мы сравниваем не «B лучше A», а «изменение динамики группы B отличается от изменения динамики группы A». Контрольная группа здесь работает как барометр внешней среды. Если Яндекс раскатил апдейт и обе группы просели на 15% — эффекта теста нет. Если контроль просел на 15%, а тест на 3% — изменение сработало, оно вытянуло группу на 12 пунктов относительно фона. Именно за этим нужен контроль: он поглощает сезонность, апдейты, конкурентов и погоду на рынке.

Без контрольной группы вы не тестируете, а гадаете. «Внедрили — выросло» — это не результат, это совпадение, пока не доказано обратное.

Требования к однородности выборок

Здесь ломается 80% тестов. Если группы разные по своей природе, разница в динамике ничего не докажет. Однородность — это не формальность, а фундамент.

Что должно совпадать между A и B:

• Тип страницы. Карточки только с карточками, категории только с категориями. Смешивать нельзя: у них разная механика ранжирования и разная сезонность.
• Шаблон вёрстки. Одинаковая структура блоков, одинаковый набор элементов. Если часть страниц имеет отзывы, а часть нет — это уже второй фактор.
• Диапазон частотности запросов. Нельзя класть в тест только высокочастотники, а в контроль — хвост. Распределите частотность равномерно: отсортируйте страницы по трафику и раскидайте через одну.
• Уровень вложенности и вес. Страницы из разных уровней структуры сайта получают разный внутренний вес и по-разному реагируют на изменения.
• История и стабильность. Исключите страницы, созданные меньше 3 месяцев назад, — они ещё «плывут» и добавят шума. Исключите страницы с нулевым трафиком: делить ноль на ноль бессмысленно.
• Отсутствие внешних ссылок-выбросов. Если на одну страницу в группе стоит 200 внешних ссылок, а на остальные ноль — она перетянет на себя всю статистику.

Практический приём: перед стартом теста сделайте A/A-проверку. Разделите выборку, ничего не меняйте и понаблюдайте 2–3 недели. Если группы движутся синхронно (расхождение в пределах 3–5%) — деление корректное, можно тестировать. Если они уже разъезжаются сами по себе — выборки неоднородны, пересобирайте. Этот шаг занимает три недели и экономит месяцы ложных выводов.

Что реально имеет смысл тестировать

Не всё поддаётся тестированию, и не всё нужно тестировать. Вот то, что даёт измеримый и воспроизводимый результат.

Тайтлы и сниппеты

Самый доступный и самый быстрый вариант. Меняем формулу Title на тестовой группе: добавляем цену, убираем название бренда, ставим цифру, меняем порядок слов. Метрика — CTR в поиске, он виден в Вебмастере уже через 7–10 дней после переобхода. Ранжирование при этом почти не меняется, а вот кликабельность может дать +20–40%. Подробнее о механиках — в разборах про эффективные метатеги и повышение CTR сниппета.

Структура страницы

Порядок блоков, наличие FAQ-секции, вынос характеристик наверх, добавление блока «похожие товары». Метрика — позиции и глубина просмотра. Здесь эффект медленнее, но заметнее.

Объём и характер текста

Классический спор «нужен ли текст на категории» решается только тестом. Возьмите 300 категорий, на 150 добавьте описание на 1500 знаков, 150 оставьте как есть. Через 6–8 недель у вас будет ответ для вашего сайта — а не абстрактное «в 2019 году у кого-то сработало». Полезно заранее свериться с принципами того, как писать SEO-тексты правильно, чтобы тестировать качественный текст, а не переспамленную простыню.

Перелинковка

Добавление блока ссылок, изменение анкоров, увеличение количества входящих внутренних ссылок. Тестируется отлично, потому что эффект чисто технический и хорошо изолируется. Механики описаны в материале про внутреннюю перелинковку сайта.

Микроразметка

Добавление Product, Review, FAQPage, BreadcrumbList на часть страниц. Метрика — расширение сниппета и рост CTR. Один из самых чистых тестов: разметка либо есть, либо нет, полутонов не бывает. Детали — в статье про микроразметку и SEO.

Скорость загрузки

Сложнее: технические изменения обычно раскатываются на весь сайт сразу. Но иногда можно — например, включить ленивую загрузку изображений только для части шаблонов или отдать WebP на половине карточек. Метрика — Core Web Vitals по группам плюс поведенческие.

Методика: как поставить тест, чтобы ему верить

Шаг 1. Гипотеза

Гипотеза — это не «попробуем добавить текст». Гипотеза — это фальсифицируемое утверждение с ожидаемым эффектом и метрикой:

«Если добавить в Title цену от, CTR карточек в категории "Насосы" вырастет минимум на 10% относительно контрольной группы за 6 недель, потому что запрос пользователя содержит коммерческое намерение и цена в сниппете снимает барьер клика».

Здесь есть всё: действие, метрика, ожидаемый размер эффекта, срок и причинно-следственное объяснение. Если вы не можете написать «потому что» — гипотезы у вас нет, есть желание что-нибудь потрогать.

Шаг 2. Размер выборки

Главный вопрос новичка: «сколько страниц надо?». Ответ зависит от размера эффекта, который вы хотите поймать. Грубые ориентиры из практики:

• Меньше 50 страниц в группе — тест бессмысленен. Шум перекроет любой эффект.
• 100–200 страниц в группе — можно ловить крупные эффекты от 20% и выше.
• 300–500 страниц в группе — рабочий минимум для эффектов 10–15%.
• 1000+ страниц в группе — можно уверенно ловить 5%.

Логика простая: чем меньше эффект, тем больше наблюдений нужно, чтобы отличить его от случайных колебаний. И наоборот — если вы работаете с сайтом на 40 страниц, SEO A/B-тесты вам недоступны в принципе. Это не трагедия, просто другой инструмент. Для таких проектов работает конкурентный анализ и последовательное внедрение проверенных практик.

Шаг 3. Длительность

Минимум — 4 недели после того, как изменения попали в индекс. Не с момента внедрения: сначала нужно дождаться переобхода. На крупном сайте с частым обходом это 3–7 дней, на редко обходимом — 2–4 недели. Проверяйте по логам сервера и по отчёту «Обход страниц» в Вебмастере.

Реалистичный тайминг полного теста:

1. Неделя 0: подготовка выборок, снятие базовых метрик за 8 недель до старта.
2. Недели 1–3: внедрение и переиндексация.
3. Недели 4–9: набор данных.
4. Неделя 10: анализ.

Итого 2,5 месяца на один тест. Да, это долго. Тот, кто обещает вам «протестируем за неделю», либо не понимает, о чём говорит, либо продаёт вам ощущение работы.

Шаг 4. Контроль внешних факторов

Во время теста нельзя:

• закупать ссылки на страницы из тестовой или контрольной группы;
• менять шаблон, влияющий на обе группы;
• запускать другой тест на пересекающихся страницах;
• устраивать акции и распродажи, задевающие только часть выборки;
• переносить сайт, менять CMS, включать новый CDN.

Ведите журнал теста. Простая таблица: дата, что сделали на сайте, что произошло снаружи (апдейт Яндекса, сезонный пик, конкурент вышел с демпингом). Через два месяца вы не вспомните, почему 14 мая был провал, — а в журнале будет запись.

Статистическая значимость простыми словами

Не пугайтесь термина. Смысл его бытовой: значимость отвечает на вопрос «мог ли такой результат получиться просто случайно?».

Представьте: вы подбросили монетку 10 раз и получили 7 орлов. Монетка кривая? Скорее нет — на 10 бросках 7/3 бывает сплошь и рядом. А если 700 орлов из 1000 — вот тут уже стоит присмотреться к монетке. Разница только в объёме данных.

В SEO-тесте то же самое. Если тестовая группа выросла на 4%, а контрольная на 1% — при выборке в 80 страниц это ничего не значит, такой разброс возникает сам собой. При выборке в 2000 страниц те же 3 процентных пункта уже сигнал.

Практические ориентиры без формул:

• Смотрите на разброс внутри группы, а не только на среднее. Если в тестовой группе 10 страниц выстрелили в +300%, а 390 не изменились, «средний рост 8%» — фикция. Используйте медиану, она устойчива к выбросам.
• Считайте долю выигравших страниц. Если в тесте улучшилось 62% страниц, а в контроле 49% — это более честный сигнал, чем усреднённые проценты.
• Правило «в два раза». Если эффект теста меньше, чем обычные недельные колебания контрольной группы, — эффекта нет. Посмотрите, на сколько процентов контроль гуляет от недели к неделе сам по себе. Ваш эффект должен быть минимум вдвое больше этого гуляния.
• 95% — не догма, но ориентир. Если хотите цифру: p-value ниже 0,05 означает «вероятность случайного получения такого результата меньше 5%». Посчитать можно в обычном Excel функцией Т.ТЕСТ по двум массивам изменений.

И главное правило честности: решите заранее, какой результат считаете успехом. Записали до старта «успех — это +10% CTR» — и после теста не двигайте планку. «Ну, +2% тоже неплохо» — это уже не наука, а самообман.

Инструменты и источники данных

Никакого специального ПО не нужно. Хватит стандартного набора, если уметь им пользоваться.

• Яндекс.Вебмастер. Основной источник. Раздел «Поисковые запросы» → выгрузка по URL с показами, кликами, CTR и средней позицией. Выгружайте в CSV и группируйте по своим спискам A и B. Это единственные данные о показах и CTR прямо от поисковика.
• Яндекс.Метрика. Поведение и конверсии. Настройте сегменты по спискам URL — тестовый и контрольный. Отчёт «Источники → Поисковые системы» с фильтром по сегменту даст вам трафик по группам. Как выжимать из неё максимум — в гайде по Яндекс.Метрике для SEO.
• Логи сервера. Недооценённый инструмент. Только логи покажут, когда робот реально пришёл на конкретный URL и забрал новую версию. Без этого вы не знаете точку отсчёта теста. Grep по User-Agent YandexBot плюс группировка по датам и URL — 20 строк на Python.
• Сервисы съёма позиций (Topvisor, Allpositions, SEOWork). Нужны, если тестируете ранжирование. Снимайте позиции ежедневно и по обеим группам.
• Excel или Google Sheets. Вся математика делается здесь. Сводная таблица, медиана, Т.ТЕСТ. Ничего сложнее не требуется.

Отдельно про логи: если у вас их нет или доступ не настроен — начните с этого. Логи решают половину диагностических задач в SEO, а не только тестовые. Настроить сбор поможет любая адекватная техподдержка сайта.

Разбор частых ошибок

Ошибка 1. Тест на одной странице

«Поменял тайтл на главной, позиции выросли — значит, формула работает». Нет. Это выборка из одного наблюдения. Позиции одной страницы гуляют от переобхода к переобходу, от персонализации, от изменений конкурентов. Одна страница не может ничего доказать. Вообще ничего.

Ошибка 2. Слишком короткий срок

Через неделю смотреть не на что: половина группы ещё не переобойдена. Вы измеряете скорость робота, а не эффект изменения. Минимум — 4 недели после индексации.

Ошибка 3. Несколько изменений одновременно

Переписали тайтл, добавили текст, вставили микроразметку и ускорили страницу. Трафик вырос на 30%. Что сработало? Неизвестно. Более того — возможно, три фактора дали +40%, а один дал −10%, и вы только что закрепили вредное изменение. Один тест — один фактор. Всегда.

Ошибка 4. Игнорирование апдейта алгоритма

Тест шёл шесть недель, на четвёртой Яндекс раскатил апдейт. Тестовая группа просела, вы сделали вывод «изменение вредное» и откатили. А контрольная просела точно так же — но вы на неё не посмотрели. Всегда сверяйтесь с контролем, а не с абсолютными цифрами. И держите в поле зрения общий фон: почему сайты вообще проседают, разобрано в материале почему SEO не работает.

Ошибка 5. Подгонка выводов

Самая опасная и самая человеческая. Вы поверили в гипотезу, вложили в неё месяц — и подсознательно ищете подтверждение. Тест не показал эффекта? «Ну, если убрать вот эти 30 аномальных страниц и посмотреть только по мобильным в Москве за вторую половину периода — вот же он, рост!» Это называется p-hacking: если резать данные достаточным количеством способов, найдётся срез, где эффект «есть». Защита одна — фиксировать метрику, срез и порог успеха до старта.

Ошибка 6. Неслучайное деление

«Взял для теста первые 200 карточек из выгрузки» — а выгрузка отсортирована по дате добавления, и в тесте оказались только новые товары. Делите случайно: функция СЛЧИС в Excel, сортировка по ней, разрез пополам.

Ошибка 7. Тест без предтестового периода

Вы сравниваете группы «сейчас», но не знаете, какими они были до. Может, тестовая группа уже росла на 10% в месяц сама по себе. Всегда снимайте базовую линию минимум за 8 недель до старта и считайте изменение относительно неё, а не абсолютные значения.

Тесты сниппетов и CTR — точка входа

Если вы никогда не тестировали и не знаете, с чего начать, — начинайте с тайтлов. Причины прагматичные:

• Быстро. Тайтл переиндексируется первым, эффект виден за 2–3 недели вместо 8.
• Дёшево. Меняется формула генерации в шаблоне — работа на пару часов.
• Обратимо. Не сработало — вернули за пять минут, риска для сайта ноль.
• Чистая метрика. CTR при неизменной позиции — почти лабораторный показатель. Вебмастер даёт и показы, и клики, и позицию, так что вы можете нормализовать CTR по позиции и убрать влияние ранжирования.
• Двойной эффект. Рост CTR — это не только больше трафика напрямую. Кликабельность входит в поведенческие факторы, и подтверждённый рост CTR обычно подтягивает за собой позиции.

Конкретные формулы, которые стоит прогнать через тест на коммерческих страницах: цена в тайтле против без цены; «купить в [город]» против «купить»; наличие цифры («12 моделей») против без неё; вопросительная формулировка для информационных страниц; бренд в начале против бренда в конце. Каждая — отдельный тест, каждая даёт свой ответ именно для вашей ниши.

Важный нюанс: Яндекс может переписать ваш тайтл в сниппете. Проверяйте по колонке фактического отображения или выборочно вручную — если поисковик игнорирует ваш вариант на 40% страниц, тест измеряет не то, что вы думаете.

Когда тестировать не нужно

Тестирование — дорогой инструмент. Два месяца, ресурс аналитика, замороженные изменения. Тратить его надо расчётливо. Не тестируйте, когда:

• Речь об очевидной ошибке. Не надо тестировать, нужен ли robots.txt без «Disallow: /», работают ли 301 вместо 302 и стоит ли убрать дубли. Это не гипотезы, это технические ошибки, которые просто чинят.
• Сайт маленький. До 200–300 однотипных страниц статистики не наберётся. Работайте по проверенным практикам.
• Эффект и так виден невооружённым глазом. Если страница грузится 12 секунд, не надо тестировать ускорение — надо ускорять.
• Изменение технически неделимо. Переезд на HTTPS, смена CMS, редизайн — их нельзя раскатить на половину сайта. Здесь работает другой метод: сравнение до/после с поправкой на фон по конкурентам.
• Стоимость теста выше стоимости ошибки. Если изменение можно откатить за час, а тест стоит двух месяцев работы, — иногда дешевле внедрить и посмотреть.
• Идёт сезонный пик. В ноябре у интернет-магазина всё летит вверх само, а в январе валится вниз. Тестировать в такие периоды можно, но контрольная группа обязана быть идеально однородной, иначе сезонность вас переиграет.

Как встроить тесты в рабочий процесс

Один тест — это разовая акция. Ценность появляется, когда тесты становятся конвейером. Практическая схема, которая работает на проектах от 5000 страниц:

1. Бэклог гипотез. Таблица: гипотеза, ожидаемый эффект, стоимость внедрения, приоритет. Не «что бы попробовать», а очередь с обоснованием.
2. Параллельные тесты на непересекающихся сегментах. Тест тайтлов — на категории «Насосы», тест перелинковки — на категории «Фильтры». Группы не пересекаются, тесты идут одновременно. Так вы получаете не 5 тестов в год, а 15.
3. Реестр результатов. Каждый завершённый тест — запись: гипотеза, выборки, срок, результат, вывод, раскатили или нет. Через год это ваша база знаний о том, как ведёт себя именно ваш сайт. Она дороже любой статьи в интернете, включая эту.
4. Раскатка победителей. Тест дал +14% CTR на 400 карточках? Раскатывайте на все 20 000 — и обязательно мониторьте, повторяется ли эффект в масштабе. Иногда не повторяется: то, что работает на одной категории, не работает на другой.
5. Отрицательные результаты — тоже результаты. «Текст на категориях не даёт эффекта» экономит вам 300 000 рублей на копирайтинге. Это ценнейший вывод, а не провал.

Такой подход особенно окупается в электронной коммерции, где однотипных страниц тысячи. Если вы занимаетесь продвижением интернет-магазина, у вас идеальный полигон: сотни категорий и десятки тысяч карточек на одном шаблоне. Один удачный тест шаблона умножается на весь каталог.

Пример разбора реального теста

Чтобы всё встало на места, пройдём по цифрам. Интернет-магазин оборудования, 6400 карточек.

Гипотеза: добавление цены в Title повысит CTR карточек минимум на 10% за счёт снятия неопределённости у пользователя с коммерческим намерением.

Выборка: отобрали 1200 карточек с трафиком выше 5 визитов в месяц и возрастом больше 6 месяцев. Отсортировали по среднемесячным показам, раскидали через одну — 600 в тест, 600 в контроль. Средние показы групп: 41,3 и 40,8 — расхождение 1,2%, приемлемо.

Базовая линия: 8 недель до старта. CTR теста 3,41%, CTR контроля 3,38%. Группы двигались синхронно.

Внедрение: изменили шаблон генерации Title для тестовой группы. Через логи отследили переобход: 94% тестовых URL получены роботом за 11 дней.

Результат через 6 недель: CTR теста 4,12% (+20,8% к базовой линии), CTR контроля 3,31% (−2,1%). Чистый эффект: +22,9 процентных пункта относительной разницы. Медиана по страницам подтвердила: улучшение показали 68% тестовых страниц против 47% контрольных. Средняя позиция при этом почти не изменилась в обеих группах — значит, рост именно от кликабельности, а не от ранжирования.

Вывод: гипотеза подтверждена, раскатили на весь каталог. Через два месяца после раскатки эффект в масштабе составил +17% — чуть меньше тестового, что нормально: в тесте были более «жирные» страницы.

Обратите внимание, что даёт этот разбор. Не «мы думаем, цена в тайтле полезна», а «на нашем сайте цена в тайтле даёт +17% CTR, проверено на 1200 страницах за 6 недель с контролем». С такой цифрой можно идти к руководству и обосновывать бюджет. Именно так строится честный расчёт ROI от SEO: не через веру, а через измеренный вклад каждого изменения.

Культура проверки вместо культуры мнений

Главная ценность тестирования — не конкретные проценты. Она в смене мышления. В команде, где принято тестировать, перестают спорить о вкусах. Вопрос «а давайте уберём этот блок» превращается из повода для получасовой перепалки в задачу: «окей, какая гипотеза, какая метрика, на какой выборке проверяем».

Это же защищает от карго-культа. SEO-индустрия переполнена мифами, которые кочуют из статьи в статью годами: «текст должен быть 2500 знаков», «плотность ключа 3%», «h2 должен содержать вхождение». Ни одно из этих утверждений не проверено на вашем сайте. Тест — это способ перестать быть потребителем чужих мифов и начать производить собственное знание. Кстати, приличная часть таких мифов разобрана в подборке ошибок SEO, которые убивают бизнес.

И ещё одно. Тестирование — это прививка от «специалистов», которые продают уверенность вместо результата. Когда в компании есть реестр тестов, любое предложение подрядчика можно проверить за два месяца вместо того, чтобы верить на слово год. Это меняет весь баланс отношений: проверить SEO-специалиста становится не искусством, а процедурой.

Чек-лист перед запуском теста

1. Гипотеза сформулирована с «потому что» и ожидаемым размером эффекта?
2. Метрика и порог успеха зафиксированы письменно до старта?
3. В каждой группе минимум 200–300 страниц с реальным трафиком?
4. Деление случайное, частотность распределена равномерно?
5. A/A-проверка пройдена (группы синхронны до вмешательства)?
6. Базовая линия снята за 8 недель?
7. Изменение ровно одно?
8. Другие работы на этих страницах заморожены на весь период?
9. Настроен мониторинг переобхода по логам?
10. Заведён журнал теста с фиксацией внешних событий?
11. Срок теста — минимум 4 недели после индексации?
12. Заранее решено, что делать при каждом из трёх исходов: победа, поражение, «нет разницы»?

Если хотя бы на один пункт ответ «нет» — вы не тестируете, вы наблюдаете. Наблюдение тоже полезно, но выводы из него делать нельзя.

Вывод

SEO A/B-тестирование — это не про то, чтобы показать роботу две версии страницы. Это про дисциплину: разделить однородные страницы на две группы, изменить один фактор, дождаться индексации, подождать шесть недель и честно сравнить динамику с контролем. Скучно, долго, зато результат — знание, а не мнение. Начните с тайтлов: дёшево, быстро, обратимо, и первый же тест обычно окупает вложенное время.

Оговорюсь честно: полноценный тестовый конвейер требует ресурса — аналитика, доступа к логам, дисциплины на два месяца вперёд и опыта, чтобы не наступить на все семь ошибок из этой статьи сразу. У большинства компаний этого ресурса внутри просто нет, и это нормально: системное SEO — отдельная профессия, а не побочная задача маркетолога. Мы в SEO ПРОГРЕСС ведём такие тесты на клиентских проектах годами и накопили реестр проверенных гипотез по десяткам ниш — как это выглядит на цифрах, видно в наших кейсах. Если у вас есть сайт с достаточным объёмом однотипных страниц и желание перестать спорить о вкусах — напишите нам, обсудим, какие гипотезы стоит проверить именно в вашей нише, а какие можно внедрять сразу.