Краулинговый бюджет (crawl budget) – это ограничение на число страниц сайта, которые поисковый робот может просканировать за определённый промежуток времени. Иными словами, это квота запросов, которую поисковая система выделяет сайту при каждом визите своего краулера. В Google понятие краулингового бюджета формируется из двух компонентов: crawl rate limit (технический лимит одновременных соединений и запросов, зависящий от «здоровья» сайта) и crawl demand (спрос на сканирование со стороны индекса, зависящий от популярности и обновляемости страниц). Совместно эти факторы определяют количество URL, которые Googlebot может и хочет сканировать за единицу времени. Например, если сайт быстро отвечает и на нём часто появляются новые популярные материалы, Google увеличивает частоту его обхода.
У Яндекса также есть аналогичный механизм лимитирования сканирования, хотя официально термин «краулинговый бюджет» используется реже. Каждый сайт получает свой динамический лимит на сканирование в зависимости от размеров и качества ресурса. Например, небольшому сайту на ~1000 страниц поисковик выделяет меньший бюджет, чем крупному порталу. По мере роста доверия к сайту (возраста домена, качества контента, ссылочного профиля и т.п.) этот лимит может пересматриваться. SEO-специалисты отмечают, что на величину бюджета у поисковых систем влияют такие факторы, как авторитетность сайта (PageRank или аналогичная метрика), поведенческие факторы пользователей и «возраст» ресурса. Сайты со временем могут увеличивать свой краулинговый бюджет, если поисковик считает их важными и востребованными.
Отличия Google и Яндекс. В основе оба поисковика стараются эффективно обходить сайты, не перегружая сервер и оперативно индексируя новые страницы. Однако есть нюансы: Google обычно быстрее находит и индексирует новые страницы (иногда в течение суток), тогда как Yandex исторически мог индексировать медленнее. В последние годы разрыв сократился – при открытой для индексации структуре Яндекс назначает сайту определённый «уровень краулинга» и сканирует его почти столь же оперативно. Тем не менее, Yandex более требователен к техническим аспектам: например, у него возникают сложности с обходом JavaScript-сайтов. Если сайт – одностраничное приложение, полностью завязанное на JavaScript без серверного рендеринга, Яндекс может его не проиндексировать (Google же способен рендерить JS-контент). Также Яндекс учитывает пользовательские факторы (поведение посетителей) при принятии решения, как часто сканировать сайт: полезные для пользователей сайты он может обходить чаще. В технических настройках тоже есть отличия: Google не поддерживает директиву Host и игнорирует Crawl-delay в robots.txt, тогда как Яндекс понимает Host (выбор основного зеркала) и ранее поддерживал Crawl-delay (с 2018 года Яндекс перестал учитывать Crawl-delay, предложив задавать скорость обхода через настройки Вебмастера). В целом, принцип распределения бюджета схож: чем важнее и «здоровее» сайт, тем больше внимания ему уделяет робот поисковой системы.
На величину и эффективное использование краулингового бюджета влияют множество факторов. Ключевые из них:
Скорость загрузки страниц. Быстродействие сайта напрямую определяет интенсивность сканирования. Если сервер отвечает мгновенно и выдерживает нагрузку, поисковый бот увеличивает параллельность и частоту запросов. Но стоит сайту начать тормозить или возвращать ошибки, как Googlebot снизит темп обхода, чтобы не ухудшить опыт пользователей. Поэтому оптимизация скорости (HTTP/2, CDN, сжатие, облегчение кода) позволяет ботам за то же время просмотреть больше страниц. Яндекс аналогично старается не перегружать медленные сайты. Чем быстрее грузится страница, тем больше URL успеет пройти робот за единицу времени.
Внутренняя структура ссылок (глубина сайта). Поисковые краулеры сканируют сайт, переходя по ссылкам. Структура сайта влияет на то, какие страницы будут обнаружены и с каким приоритетом. Обычно бот начинает с главной и верхних разделов, затем идёт глубже. Чем ближе страница к главной (меньше кликов от неё), тем выше шанс, что робот посетит её раньше и чаще. Если же важные страницы «спрятаны» на глубине в 5–6 переходов (как нередко бывает в интернет-магазинах с вложенными категориями), существует риск, что при ограниченном бюджете бот до них просто не доберётся. Правильно спроектированная иерархия (плоская, с минимальной вложенностью) и продуманная внутренняя перелинковка помогают поисковику эффективнее обходить сайт. Например, навигационные цепочки, хлебные крошки, ссылки из популярных материалов на новые страницы – всё это ускоряет обнаружение контента.
Google Search Console (GSC). Google предоставляет данные по активности сканирования в отчёте «Статистика сканирования». В новом интерфейсе GSC этот отчёт находится в разделе «Настройки» сайта. Он показывает общую статистику за последние 90 дней: сколько запросов делал Googlebot в день, сколько страниц сканировал, объем загруженных данных и среднее время ответа. Там же можно увидеть распределение запросов по типам файлов (HTML страницы, CSS, скрипты, изображения), по статусам ответа (код 200, 301, 404 и т.д.) и по целям (обновление или обнаружение новых страниц). Этот отчет позволяет оценить, хвататет ли бюджета: например, если график «просканированных страниц в день» далёк от общего числа страниц сайта, значит не все URL регулярно обходятся. GSC также позволяет в настройках слегка ограничить скорость Googlebot (если сервер не справляется), но увеличить её выше автоматически выбранного значения нельзя – Google регулирует её сам.
Яндекс.Вебмастер. В сервисе Яндекса аналогично есть раздел «Индексация» – «Статистика обхода», где отражается активность робота Яндекса. Преимущество Яндекс.Вебмастера – можно просмотреть данные за произвольный период (не только 90 дней). В отчётах показывается, сколько страниц сканируется в сутки, когда последний раз робот заходил на конкретные разделы, доля успевших проиндексироваться страниц и т.д. Кроме того, Я.Вебмастер выдаёт подсказки, если сайт недоступен или возвращает ошибки, влияющие на обход. С помощью инструментов Вебмастера можно влиять на индексацию: например, задать предпочтительный домен (Host), использовать инструмент «Исключение параметров» (Clean-param) для объединения дублирующихся URL с параметрами, а также установить желаемую скорость обхода (если нужен более щадящий режим). Все эти настройки помогают Яндексу правильнее распределить свой краулинговый ресурс по сайту.
Анализ лог-файлов. Ни один интерфейс вебмастеров не даст столь детальной картины, как прямой анализ логов вашего сервера. Логи содержат каждый визит поискового бота, с точным временем, IP и запрошенным URL, а также кодом ответа. Проанализировав их, можно вычислить фактический краулинговый бюджет (сколько страниц в день реально запрашивает бот) и увидеть, куда этот бюджет расходуется. Логи позволяют выяснить, какие пути обхода выбирает робот, насколько глубоко заходит, сколько раз обращается к одним и тем же URL, игнорирует ли какие-то разделы. Существуют специальные инструменты для лог-анализа SEO: например, Screaming Frog Log Analyzer, Loggly, Kibana, OnCrawl, Splunk и др. – они агрегируют и визуализируют данные о ботах. Можно увидеть топ самых сканируемых URL, долю запросов Googlebot vs YandexBot, частоту обхода разделов до и после оптимизаций. Такой анализ незаменим для крупных проектов: он помогает обнаружить, тратится ли бюджет на бесполезные страницы (например, бот 1000 раз в день запрашивает бесконечные вариации фильтров) и своевременно скорректировать настройками индексации.
Большие интернет-магазины часто сталкиваются с проблемой, когда общее число страниц (товары, категории, фильтры, сортировки) исчисляется десятками тысяч, и краулинговый бюджет рассеивается. Вот ключевые приёмы, позволяющие оптимизировать сканирование для крупных каталогов:
Закрытие бесполезных страниц (фильтры, сортировки и др.). Страницы фильтрации и сортировки зачастую не несут уникального контента – они дублируют товары категории просто в другом порядке или по условию. Обычно такие страницы не нужны в индексе и только отвлекают робота от основного контента. Рекомендуется закрыть их от сканирования: например, запретить в robots.txt URL с параметрами фильтрации и внутреннего поиска. Так, внутренние страницы результатов поиска, бесконечные вариации фильтров по цене или цвету можно исключить правилом вида Disallow: */catalog/*?filter=* и т.п. Тогда бот не будет тратить лимит на их обход. Google подтверждает, что блокировка незначимых параметрических URL через robots.txt – один из первых и самых эффективных шагов для экономии бюджета. Важно убедиться, что при этом основные посадочные страницы (категории без параметров, ключевые фильтры, которые вы хотите индексировать) остаются открыты. В некоторых случаях вместо полного запрета можно использовать компромисс: например, мета-тег robots: noindex, follow на страницах-фильтрах. Google все равно будет их сканировать, но не станет индексировать; при этом ссылки с этих страниц (например, на товары) учитываются. Однако такой подход не экономит бюджет – бот тратит время, чтобы увидеть noindex. Поэтому для массовых неважных страниц лучше именно Disallow, тогда они даже не загружаются ботом. Яндекс-вебмастер дополнительно позволяет настроить правила Clean-param – указать параметры URL, которые не влияют на содержимое. Например, filter=color или sort=price можно пометить как незначимые, и тогда Яндекс будет игнорировать различия между URL с этими параметрами, сканируя только один вариант страницы. В результате сокращается количество дублированных страниц, пожирающих бюджет.
Правильное использование canonical, robots.txt и sitemap.xml. Для страниц, которые имеют несколько вариантов URL, важно указать канонический URL – с помощью ссылки <link rel="canonical" ...> в <head> страницы. Например, если товар доступен по разным путям (через разные категории) или есть пагинация, тег canonical должен указывать на основную версию (главную страницу товара или первую страницу раздела). Это подскажет и Google, и Яндексу, какую страницу индексировать в приоритетном порядке, и со временем поисковики реже будут обходить альтернативные дубли. Однако помнить: для учёта canonical боту всё равно нужно загрузить страницу, поэтому полностью от краулинга дублей это не спасает, но предотвращает их индексирование. Robots.txt же, как сказано, используйте чтобы полностью исключить явно ненужные к обходу разделы: типичные кандидаты – страницы корзины (/cart), личного кабинета, отзывы, страницы пагинации (если решено не индексировать глубину типа page2, page3 и т.п.), а также вариации фильтров, тегов, сортировок как обсуждалось выше. В файле robots можно отдельно прописать директивы для разных ботов (Googlebot, Yandex) при необходимости. Sitemap.xml в контексте большого магазина должен содержать только ключевые страницы: разделы, основные фильтры (если они индексируются), карточки товаров. Все технические URL и дубли (пагинация, параметры) из карты сайта лучше убрать. Разбейте карту на несколько, если страниц очень много (Google ограничивает один sitemap 50k URL). Также поддерживайте в карте актуальные даты изменения <lastmod> – это поможет поисковику понимать, какие товары/страницы недавно обновились и заслуживают скорейшего пересканирования. Например, если периодически обновляются цены или наличие товара, отметка <lastmod> подскажет роботу зайти ещё раз.
Распределение внутренних ссылок для оптимального сканирования. Внутренняя перелинковка в большом каталоге должна быть устроена так, чтобы бот беспрепятственно достигал всех товаров, но при этом не тонул в бесполезных ссылках. Практики рекомендуют минимизировать «ссылочный шум» – например, не размещать на каждой странице ссылки на десятки вариаций фильтров. Вместо этого сосредоточить ссылки на ключевые разделы. Сделайте так, чтобы каждый товар был доступен хотя бы по одной статической цепочке ссылок от главной (через категории или подборки). Полезно реализовать блоки «похожие товары», «новинки» или «популярные товары» на страницах – это дополнительно связывает страницы между собой и способствует их обходу. Если какие-то менее важные страницы мешают (например, бесконечная пагинация), можно на них убрать внутренние ссылки или делать их через скрипты (чтобы бот не видел миллионы страниц пагинации). Важный приём – расстановка приоритетов: ссылки с главной и из меню должны вести на главные разделы, а уже из них – на подкатегории и товары. Чем выше страница в структуре, тем больше внутренних ссылок она должна получать. Тогда робот быстрее «находит» глубоко лежащие товары. Также следите за тем, чтобы не было «осиротевших» страниц (orphan pages) – товаров, на которые вообще нет ссылок внутри сайта (кроме sitemap). Такие страницы бот может игнорировать или посещать крайне редко. Решается это либо добавлением их в соответствующие категории, либо хотя бы в sitemap.xml. Грамотная структура внутреннего ссылочного веса не только улучшает индексацию, но и помогает пользователям, что косвенно повышает поведенческие факторы и, в итоге, авторитет сайта в глазах поисковиков.
Оптимизация краулингового бюджета – это процесс, эффективность которого желательно подтверждать измерениями. Несколько подходов, как проверить влияние внесённых изменений:
Мониторинг показателей сканирования до и после изменений. Перед внесением правок зафиксируйте базовые метрики: в GSC – среднее число просканированных страниц в день, в Яндекс.Вебмастере – аналогичные данные по обходу. После реализации изменений (например, закрытия части страниц в robots.txt или добавления canonical на дубли) следует подождать некоторое время (несколько недель) и сравнить показатели. В идеале, вы увидите, что общее количество ежедневных запросов ботом не уменьшилось (а может и выросло), при этом распределение изменилось – доля запросов к «мусорным» URL упала, а к важным страницам выросла. Например, если вы запретили боту сканировать 100 тысяч страниц фильтров, то в логах через некоторое время должно быть заметно снижение обращений к URL с параметрами и относительный рост обращений к страницам товаров. Косвенно эффект можно отследить через число проиндексированных страниц: важные страницы, раньше не попадавшие в индекс, начнут появляться, а ненужные (фильтры, дубли) – исчезать из него. Конечно, надо учитывать внешний фактор – общий краулинг может меняться из-за сезонности или обновлений алгоритмов, поэтому старайтесь изолировать влияние именно ваших правок.
Анализ лог-файлов и поведението ботов. Логи – главный инструмент проверки гипотез. Вы можете провести эксперимент поэтапно: скажем, сначала закрыть в robots.txt половину параметров фильтров, а вторую половину оставить открытой, и посмотреть в логах, продолжает ли бот тратить на открытые фильтры значительную часть бюджета. Если да – это подтверждает необходимость их закрыть. После полного закрытия через пару недель сравните: общее число обращений ботом к сайту, возможно, останется на том же уровне, но теперь эти обращения перераспределятся на остальные разделы. Лог-файл покажет, как изменились «пути» обхода: например, раньше Googlebot регулярно обходил тысячи URL вида site.com/catalog?color=red&page=…, а после запрета эти записи пропали из лога – значит, бюджет реально освободился для других страниц. Также можно заметить ускорение повторного сканирования важных страниц: например, страница товара обновлялась и раньше индексировалась с задержкой в месяц, а после оптимизации робот стал приходить на неё раз в несколько дней. Ещё один эксперимент – частичная разблокировка: если подозреваете, что закрыли что-то важное, можно временно открыть этот раздел и посмотреть, повысится ли частота обхода и индексация. Все такие тесты требуют внимательного анализа и времени, поскольку краулеры реагируют не мгновенно. Для упрощения можно использовать инструменты: многие SEO-аналитики настраивают дашборды, отслеживающие число разных HTTP-статусов, визитов ботов по разделам, появление новых URL в логах. Это помогает оперативно видеть эффект (например, «после открытия раздела X визиты Googlebot туда выросли с 0 до 500 в день» или «после закрытия параметра Y запросы с ним упали до нуля»).
Контроль индексации через поисковые операторы. Помимо технических метрик, не забывайте проверять реальный индекс. Используйте поисковые операторы site: в Google и Яндексе, чтобы отследить, какие страницы присутствуют в индексе. Изменения в краулинговом бюджете обычно ведут к изменениям в объёме проиндексированных страниц. Например, было 30 тыс. страниц в индексе, из них половина – нежелательные (фильтры). После оптимизации их доля должна сократиться. Если вы видите, что через несколько недель после правок число «мусорных» страниц по запросу site:example.com inurl:filter уменьшилось, а важных site:example.com inurl:product увеличилось, эксперимент можно считать успешным. Для Яндекса также полезно смотреть отчёты «Страницы в поиске» и «Исключённые страницы» в Вебмастере, чтобы понять, какие страницы он перестал индексировать по каким причинам (например, «страница исключена по правилу Host/robots» или «дубль без индексации»). Это прямая обратная связь на ваши действия.
Практика показывает, что грамотное управление краулинговым бюджетом особенно важно для крупных сайтов. Вот несколько примеров и результатов:
При оптимизации краулингового бюджета важно избежать распространённых ошибок, которые приводят к его неэффективному расходованию. Рассмотрим основные промахи вебмастеров и как их исправить:
Оставление дублей и «мусорных» страниц открытыми. Частая ошибка – сайт содержит множество дублирующих страниц (варианты URL, параметры, HTTP/HTTPS, www/non-www, сортировки, бесконечные фильтры) и не сигнализирует поисковику, какие из них главные. В результате бот может бесцельно обходить сотни копий одного и того же контента. Что делать: провести аудит на дубли. Выявить страницы с одинаковым содержимым (SEO-инструменты или поисковые операторы помогут). Затем применить меры: лишние страницы закрыть от индексации (robots.txt или meta noindex), настроить 301-редиректы с дублей на основную версию или проставить rel="canonical" на дублированных страницах, указывающий на канонический URL. Исправив эту ошибку, вы уберёте лишние нагрузки – робот не будет тратить время на просмотр копий, сосредоточившись на уникальных страницах. Пример: сайт имел и http:// и https:// версии без редиректа – поисковик считал их разными сайтами, деля бюджет между ними. Решение – сделать редирект всего трафика на один вариант (https), тем самым объединить краулинг в один поток.
Неправильная конфигурация robots.txt. Robots.txt – мощный файл, но неверные правила могут либо отрезать поисковика от важного контента, либо наоборот, пропустить лишнее. Распространённые ошибки: файл отсутствует вовсе; или, скажем, закрыт весь сайт (Disallow: /) по забывчивости; либо не указаны директивы для важных разделов (например, сайт многоязычный, а раздел для основного языка случайно закрыт). Также ошибкой будет не учитывать различия поисковиков: например, писать в robots.txt директиву Noindex (её понимает только Яндекс, Google игнорирует) или не указывать Host для зеркала (что критично для Яндекса). Как исправить: регулярно проверять файл robots.txt через инструменты вебмастеров. Убедиться, что закрыты только те разделы, которые точно не нужны ботам (параметры, админ-панели, принтинверсии страниц и т.д.), и открыты все страницы, которые должны индексироваться. У Яндекса в Вебмастере есть раздел «Анализ robots.txt», который покажет, как робот видит правила. Исправьте или удалите неподдерживаемые директивы (Google не читает Host и Clean-param в robots – эти команды для Яндекса). Если не уверены, лучше прописать минимальный набор: User-agent: * + нужные Allow/Disallow. Помните, что meta-robots noindex на странице не экономит бюджет (страницу всё равно надо загрузить), тогда как Disallow в robots полностью исключает её из обхода.
Пренебрежение картой сайта (sitemap.xml). Некоторые считают, что sitemap не играет роли, и не обновляют его. В итоге карта может содержать несуществующие URL (404), редиректы или тысячи страниц фильтров – поисковик пытается их обходить, тратя время зря. Исправление: поддерживать актуальность sitemap.xml. Удалите из карты все страницы с кодами ответа не 200, все неканоничные и закрытые URL. Автоматизируйте генерацию sitemap, чтобы она отражала текущее состояние сайта (многие CMS/фреймворки имеют плагины для этого). Обязательно указывайте корректный <lastmod> для страниц – так вы избежите лишних обходов неизменённых страниц. Если страница давно не менялась, а <lastmod> свежий, бот будет ходить впустую. Правильные метки изменений и разумные <changefreq> помогут боту не проверять лишний раз статичный контент. Эта мелочь может сэкономить десятки процентов бюджета на больших сайтах. Например, непроставленный Last-Modified заголовок на сервере тоже приводит к тому, что бот каждый раз загружает полную страницу, даже если она не изменилась. Решение – настроить выдачу заголовка Last-Modified или использовать ETag, чтобы при повторном обращении к неизменённой странице поисковик получал код 304 (Not Modified) и не тратил лишний трафик.
Замедленный сайт и ошибки сервера. Если сайт плохо оптимизирован – долгие ответы, частые ошибки 5xx – то даже высокий потенциальный спрос не поможет, бот уменьшит свою активность. Нередко владельцы не следят за техническим состоянием: переполненная база, медленные скрипты, ограничение по CPU – и в пиковые часы робот получает ошибки или таймауты. Это съедает бюджет: поисковик может попытаться несколько раз обратиться к странице, получая ошибку, и в итоге снизит общий лимит. Исправление: мониторить скорость и ошибки. Настроить алерты (например, через Яндекс.Метрику или Google Analytics, или сторонние сервисы) на рост времени ответа и появление 5xx. Устранять причины: апгрейдить хостинг, включить кеширование, починить битые скрипты. Googlebot особенно чувствителен к ошибкам – серия кодов 5xx может привести к временной приостановке сканирования. Если это произошло – исправьте проблему и через инструменты (GSC, запрос на индексацию) покажите, что сайт снова доступен. Регулярное здравое состояние сайта позволит использовать весь выделенный бюджет, а не тратить его на повторные попытки загрузки сбоящих страниц.
Игнорирование поведенческих факторов и ссылочного профиля. Как ни странно, косвенной ошибкой можно назвать фокус только на «технике» и игнорирование пользовательских сигналов. Яндекс открыто заявляет, что учитывает качество сайта по поведению пользователей: если сайт ценен (люди долго читают, возвращаются), то и робот Яндекса будет посещать его чаще. Google менее явно, но тоже уделяет больше внимания сайтам с высоким авторитетом (а он во многом строится на основе входящих ссылок). Ошибка – не работать над ссылочной массой и качеством контента. В результате сайту может выделяться минимум бюджета, так как поисковики не считают его важным. Исправление: параллельно с технической оптимизацией увеличивать авторитет сайта. Развивайте внешний ссылочный профиль естественным путём – публикации, партнерства, регистрации в каталогах. Наличие качественных бэклинков сигнализирует поиску, что сайт заслуживает внимания. Например, наличие у страницы внешних ссылок приводит к тому, что бот будет чаще её сканировать и бюджет на неё увеличится. Также улучшайте контент и удобство сайта – рост поведенческих метрик (глубины просмотра, времени на сайте) косвенно скажется на том, что поисковые системы могут повысить частоту обхода, считая сайт ценным для пользователей.
Управление краулинговым бюджетом – необходимая часть технического SEO для крупных сайтов, особенно интернет-магазинов с тысячами страниц. Правильные действия позволяют поисковым роботам сканировать ваш сайт глубже и эффективнее, что напрямую влияет на полноту и скорость индексации. Подытожим ключевые рекомендации:
Следуя этим рекомендациям, крупный интернет-магазин с обширным каталогом сможет обеспечить эффективное сканирование своего сайта. Поисковые боты будут тратить отведённый бюджет именно на приоритетные разделы – новые товары, основные категории – а не на второстепенные страницы. В итоге вы получите более свежую и полную индексацию, что является фундаментом для успешного SEO-продвижения: ведь поисковая выдача показывает только то, что удалось проиндексировать. Управляйте краулинговым бюджетом осмотрительно, и поисковые системы будут работать с вашим сайтом максимально продуктивно.
Статья подготовлена с использованием технологии глубокого исследования ChatGPT.
Оставьте свои контактные данные, и наша команда свяжется с вами, чтобы обсудить ваш проект. Мы предлагаем профессиональный подход, детальный анализ и индивидуальные решения для вашего бизнеса. Ответим на все вопросы в течение 30 минут!
Ваша заявка принята! Наш менеджер свяжется с вами в ближайшее время.