SEMrush vs SimilarWeb — кто точнее?

Когда анализируешь эффективность маркетинга и сайта в целом, важно не просто собирать собственную статистику, но и сравнивать ее с трендами рынка. К примеру, команда маркетинга не дотянула до плана 5%. Если при этом рынок просел на 15%, то результат хороший, а если наоборот вырос — то есть, над чем задуматься.

Есть множество инструментов для исследования сайтов конкурентов. Все они собирают информацию о трафике разными способами и обрабатывают ее по собственному алгоритму. Понятно, что такие сервисы предоставляют данные с определенной погрешностью. Вопрос в том, какова эта погрешность и насколько можно доверять полученным результатам.

Мы решили провести небольшое исследование и узнать, насколько точны в своих показателях два популярных сервиса для анализа веб-трафика сайтов конкурентов — SEMrush Traffic Analytics и SimilarWeb. Для сравнения мы использовали данные Google Analytics по 787 сайтам, доступные нам в OWOX BI.

Прежде, чем переходить к самому исследованию, давайте разберемся, откуда берет данные каждый из сервисов.

Откуда берутся данные

Код отслеживания Google Analytics собирает данные о поведении пользователей непосредственно с сайта. Эта информация недоступна для третьих лиц.

SimilarWeb использует такие источники:

  • Данные, полученные напрямую от некоторых владельцев сайтов.
  • Данные от партнеров, интернет-провайдеров с миллионами подписчиков.
  • Публичные источники данных: запатентованные технологии и механизмы индексирования, которые постоянно сканируют общедоступные данные.
  • Панельные данные из расширений для браузеров. Это анонимная информация, которая не позволяет идентифицировать пользователя, но дает понять, какие сайты он посещал.

Отчеты SEMrush Traffic Analytics основаны на тех же данных кликстрима, что и SimilarWeb, они поступают из собственных и сторонних источников, и обрабатываются с помощью AI алгоритмов SEMrush. Данные накапливаются и аппроксимируются на основе анонимного поведения миллионов реальных пользователей Интернета.

Кроме того, за более чем 10 лет работы SEMrush выпустил множество инструментов, которые позволяют узнавать не только данные по поисковым позициям конкурентов, но и что они делают в контекстной рекламе, PR, контент-маркетинге, соцсетях, а также и детальные данные по трафику их вебсайтов. Для каждого направления (SEO, контент, PPC, SMM) сервис использует специальные максимально релевантные источники данных.

Как мы сравнивали сервисы и считали погрешность

И SEMrush, и SimilarWeb можно использовать для оценки конкурентов, лидов или партнеров по входящему трафику. Так как у OWOX BI есть доступ к анонимным обезличенным данным в Google Analytics наших пользователей, мы предполагаем, что знаем близкую к истине посещаемость ряда проектов. Отталкиваясь от данных GA как от истины, мы решили сравнить, насколько точны в своих данных SEMrush и SimilarWeb. Наша задача — показать, в каких сегментах и насколько отклоняется каждый из этих сервисов.

Что сравнивали?

Общее количество сессий за январь 2020 года по версиям Google Analytics, SEMrush и SimilarWeb. В выборке участвовало 787 сайтов из Австралии, Канады, США, Великобритании и Германии.

Сайты были сгруппированы по нишам:

  1. Computers Electronics and Technology
  2. Entertainment
  3. Finance
  4. Health & Beauty
  5. Jobs and Education
  6. News and Media
  7. Professional services
  8. Retail
  9. Telecom
  10. Travel

Как сравнивали?

Чтобы вычислить погрешность, с которой сервисы считают посещаемость конкурентов, мы свели в одну таблицу:

  • Обезличенные данные 787 сайтов с посещаемостью более 100 тыс. сессий в месяц, к которым есть доступ у OWOX BI.
  • Данные о количестве сессий для этих же сайтов из SEMrush и SimilarWeb.

При этом мы исключили сайты, для которых в GA были аномально низкие значения. Если по данным Google Analytics количество сессий на порядок меньше, вероятно, в систему попали неполные данные из-за фильтров в представлении.

Затем мы рассчитали отклонение по модулю в процентах для данных SEMrush и SimilarWeb. Почему мы работали именно с этой величиной?

Отклонение может быть как в плюс, так и в минус, то есть сервис может показывать больше сессий, чем есть на самом деле, или меньше. При подсчете среднего отклонения плюс на минус может дать значение близкое к нулю. Чтобы этого не произошло, мы использовали отклонение по модулю. Другими словами, здесь нам важно было знать, насколько в общем отклоняется сервис, а не в какую сторону.

Затем мы выделили 10 основных ниш бизнеса и сгруппировали все сайты по средней посещаемости в три основных группы:

  • От 100 тыс. до 500 тыс. сессий в месяц.
  • От 500 тыс. до 1 млн сессий в месяц.
  • От 1 млн и больше сессий в месяц.

Результаты

Чем выше стандартное отклонение, тем больше показатель отличается от данных GA, и наоборот. Стандартное отклонение у SimilarWeb колеблется от 57% до 61% и не сильно зависит от посещаемости сайта. У SEMrush наоборот — чем крупнее сайты (1 млн сессий и выше), тем точнее данные и тем ниже стандартное отклонение (45%) от данных GA.

SEMrush vs SimilarWeb — кто точнее? — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Для сайтов с трафиком от 500 тыс. и выше более точные результаты (на 9-12%) показывает SEMrush. Для проектов с небольшим трафиком чуть лучше сработал SimilarWeb, хотя оба сервиса показали в этой группе высокую погрешность.

Почему так происходит? Из-за особенностей алгоритмов сбора и анализа событий у обоих сервисов, а также из-за особенностей самих данных кликстрима, на которых работают оба сервиса. Кликстрим предполагает использование данных по выборке посетителей сайта. Далее компании с помощью своих AI/ME алгоритмов делают аппроксимацию этих данных на всю совокупность аудитории сайта. Соответственно, чем меньше сайт, тем меньше точность выводов из кликстрима.

Что делать, если ваш сайт и сайты ваших прямых конкурентов небольшие, и точность данных по ним маленькая? В таком случае вам стоит проводить бенчмаркинг с более крупными конкурентами на вашем рынке. Если вы сравните несколько крупных игроков на рынке, то не только увидите их перформанс, но и сможете отследить тренды развития рынка в целом. Таким образом, сравнив перформанс и тренды развития со своими достижениями, вы сможете определить эффективность собственного маркетинга.

Второй график показывает, для какой доли сайтов был более точным каждый из сервисов. Например, в сегменте от 1 млн сессий для 57% рассматриваемых сайтов SEMrush показал данные более приближенные к значениям Google Analytics:

SEMrush vs SimilarWeb — кто точнее? — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

А для 52% сайтов с посещаемость от 500 тыс. до 1 млн более точным был SimilarWeb.

Если сравнить группу от 100 тыс. до 500 тыс. сессий на этом и на первом графике, мы увидим интересную вещь — у SEMrush выше стандартное отклонение, то есть он на больший процент сессий ошибается, но при этом он все равно остается точнее в 53% случаев. Другими словами — ошибается редко, но метко.

Почему так получается? Точность данных сильно зависит от нескольких факторов:

  • Как настроена система Google Analytics, на каких страницах сайта стоит счетчик GA и что измеряет.
  • Насколько «живой» сайт в поиске Google. Если это редиректный сайт (домен рекламной сетки) или промо-сайт, на который льется в основном рекламный трафик, то в SEMrush числа для него будут заниженные.
  • Для сайтов с большой долей органического трафика алгоритм SEMrush срабатывает лучше и точнее, чем для сайтов с небольшим количеством органики.
  • От региона и ниши бизнеса. Допустим, у SEMrush много проектов в США или в какой-нибудь нише. И для этих проектов сервис все определяет точно. А для тех проектов, по которым у него меньше данных, он определяет посещаемость хуже, чем SimilarWeb.

Следующие два графика показывают стандартное отклонение и долю более точных ответов для обоих сервисов в разрезе различных бизнес-ниш.

Как видите, что у SEMrush, что у SimilarWeb отклонение очень сильно зависит от ниши:

SEMrush vs SimilarWeb — кто точнее? — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

И доля сайтов, для которых сервисы дали более верные показатели, также зависит от специализации бизнеса:

SEMrush vs SimilarWeb — кто точнее? — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Этот график показывает, для какой доли сайтов каждый из сервисов выдал значения, приближенные к GA. Например, в нише Computers SimilarWeb был точнее для 58% сайтов, а SemRush — для 42% (первые столбцы на графике).

На точечной диаграмме ниже мы показали отклонения минусом и плюсом по SEMrush и SimilarWeb:

SEMrush vs SimilarWeb — кто точнее? — IT-МИР. ПОМОЩЬ В IT-МИРЕ 2020

Визуально можно определить, что в нижней части графика скопилось больше красных точек, это значит, что SimilarWeb чаще, чем SEMrush занижает данные по сравнению с Google Analytics.

Краткие выводы

Резюме проведенного исследования:

  • Уровень точности у обоих сервисов примерно одинаковый.
  • SEMrush показывает лучшие результаты по небольшим сайтам — ошибается редко, а там где не ошибается, показывает точнее конкурента.
  • В сегменте от 1 млн сессий SEMrush чаще чем SimilarWeb показывает данные, приближенные к значениям Google Analytics.
  • SimilarWeb чаще, чем SEMrush, занижает данные по сравнению с Google Analytics.

Ни SimilarWeb, ни SEMrush не дают 100% точные данные, но они и не должны — для анализа собственного сайта и трафика у вас есть Google Analytics.

Эти сервисы хорошо подходят для независимого сравнения сайтов между собой и отслеживания трендов. Но использовать их надо, как и любой аналитический инструмент, с пониманием природы собранных данных и погрешности измерения.

Специально для сайта ITWORLD.UZ. Новость взята с сайта Хабр