Как закрыть от индексации страницы поиска в WordPress

Страницы внутреннего поиска в WordPress часто создают мусорный индекс: у них нет стабильного контента, запросы бывают пустыми или слишком короткими, а URL легко плодятся из-за параметров поиска. В результате поисковик тратит краулинговый бюджет на страницы, которые не должны ранжироваться, а в отчётах появляются дубли и низкокачественные URL.

Типичный пример — адреса вида / ?s=запрос или их вариации с дополнительными параметрами. Если сайт активно индексируется, такие страницы лучше закрыть от индексации и, при необходимости, от обхода.

Когда проблема действительно есть

Не каждая страница поиска вредна одинаково. Сначала стоит понять, что именно происходит на сайте. Если в индексе уже есть URL с ?s=, а в Search Console или Яндекс.Вебмастере видны страницы поиска с низким качеством, это не косметика, а техническая проблема. Особенно часто она всплывает на сайтах с большим количеством контента, где поиск генерирует десятки тысяч комбинаций запросов.

Что проверить в первую очередь

• Откройте в браузере несколько URL поиска с разными запросами и посмотрите, меняется ли <title> и мета-описание.
• Проверьте исходный код страницы: есть ли noindex или канонический URL на основную страницу поиска.
• Посмотрите, не индексируются ли пустые запросы вроде ?s= или мусорные параметры.
• Проверьте логи или отчёты краулера: не тратится ли обход на страницы поиска вместо важных разделов.

Если поиск нужен только пользователю на сайте, а не в выдаче, закрывать его от индексации обычно разумно. Если же у вас отдельная полезная поисковая выдача с уникальными посадочными страницами, подход может быть другим. Но для стандартного WordPress-поиска чаще всего нужен именно запрет индексации.

Как закрыть страницу поиска от индексации

Есть три практических варианта: через SEO-плагин, через код темы или плагина, и через серверные правила. Для WordPress безопаснее начинать с noindex, а не с жёсткого блокирования в robots.txt. Если закрыть URL только в robots.txt, поисковик может оставить их в индексе без контента, если уже знает эти адреса.

Вариант через код: добавить noindex для страниц поиска

Если вы не хотите полагаться на сторонний плагин, можно добавить мета-тег noindex, follow для страниц поиска. Это рабочий и понятный способ, который не требует менять шаблоны поиска.

add_action( 'wp_head', function () {
    if ( is_search() ) {
        echo '<meta name="robots" content="noindex, follow" />' . "\n";
    }
}, 1 );

Такой код лучше размещать в дочерней теме или в небольшом mu-plugin, а не в основной теме, если она регулярно обновляется. Тогда настройка не потеряется после апдейта.

Если нужно ещё и убрать обход

Иногда одной метки noindex мало: сайт генерирует слишком много поисковых URL, и краулер всё равно тратит ресурсы на их обход. Тогда можно дополнительно закрыть шаблон поиска в robots.txt. Но делайте это как дополнение, а не как единственный метод.

User-agent: *
Disallow: /?s=
Disallow: /search/

Этот пример нужно адаптировать под реальные URL на вашем сайте. Если поиск доступен по красивому адресу, например /search/, закрывайте именно его. Если поиск работает только через параметр ?s=, ориентируйтесь на него.

Диагностика: почему noindex может не сработать

Самая частая ошибка — поставить запрет в одном месте и ожидать, что поисковик сразу всё уберёт. На практике мешают кеш, SEO-плагин, тема и каноникал. Если на странице поиска уже есть noindex, но в индексе она остаётся, проверьте, не блокируется ли обход раньше времени и не отдаёт ли сервер старую версию HTML из кеша.

Ещё один частый сценарий — на странице поиска выводится канонический URL на главную или на категорию. Это не всегда ошибка, но иногда ломает логику индексации. Для страниц поиска каноникал обычно должен быть либо на саму страницу поиска, либо отсутствовать, если вы закрываете её от индексации и не хотите смешивать сигналы.

Что смотреть в исходном коде

• <meta name="robots" content="noindex, follow" /> есть на странице поиска.
• Нет конфликтующего index, follow из другого плагина.
• Канонический URL не указывает на нерелевантную страницу.
• Страница отдаёт не 200 с пустым контентом, а нормальную поисковую выдачу для пользователя.

Пошаговое решение без лишнего риска

Если нужен практический порядок действий, идите так: сначала проверьте, как поиск устроен на сайте, затем добавьте noindex, после этого при необходимости ограничьте обход в robots.txt и только потом чистите уже проиндексированные URL через инструменты поисковиков.

1. Соберите список реальных URL поиска на сайте.
2. Проверьте, какие из них уже в индексе.
3. Добавьте noindex, follow для страниц поиска.
4. Очистите кеш сайта и CDN, если он есть.
5. Проверьте HTML страницы поиска через просмотр исходника.
6. При необходимости добавьте ограничение в robots.txt.
7. Отправьте URL на переобход в Search Console или Яндекс.Вебмастер.

Как проверить результат после внедрения

Проверка нужна не только для галочки. Если вы не убедитесь, что поисковик видит именно новую версию страницы, можно месяцами думать, что всё настроено, хотя в индексе остаются старые сигналы.

Проверка вручную

• Откройте страницу поиска в браузере и посмотрите исходный код.
• Убедитесь, что мета-тег robots присутствует именно в HTML, а не только в визуальном интерфейсе плагина.
• Проверьте ответ сервера через curl или DevTools.

curl -I "https://example.com/?s=test"

Команда выше покажет заголовки ответа. Но для проверки noindex важнее не -I, а полный HTML-ответ. Поэтому полезнее смотреть содержимое страницы:

curl -s "https://example.com/?s=test" | grep -i robots

Если на сервере включён кеш, очистите его и повторите проверку. Иногда старый HTML остаётся в CDN или плагине кеширования, и поисковик продолжает видеть прежнюю версию.

Проверка в инструментах поисковиков

В Google Search Console и Яндекс.Вебмастере можно отправить страницу на проверку индексации или посмотреть, как робот видит её сейчас. Если всё настроено правильно, страница поиска должна получить сигнал на исключение из индекса, а не продолжать накапливать показы.

Частые ошибки и как их исправить

На практике проблемы повторяются почти всегда одни и те же. Ниже — не теория, а причины, из-за которых настройка не даёт эффекта.

• Закрыли только в robots.txt. Поисковик может не сканировать страницу, но уже известный URL останется в индексе. Решение: добавьте noindex.
• Не очистили кеш. Пользователь и робот видят старую версию страницы. Решение: сбросьте кеш плагина, сервера и CDN.
• Конфликтуют SEO-плагины. Один плагин ставит noindex, другой переписывает мета-теги. Решение: оставьте один источник управления мета-данными.
• Неправильный URL в robots.txt. Закрыт не тот путь, который реально использует поиск. Решение: проверьте фактический адрес в браузере.
• Каноникал указывает не туда. Поисковик получает смешанные сигналы. Решение: проверьте rel="canonical" на странице поиска.

Безопасность и производительность

Если внутренний поиск активно используется, его стоит рассматривать и как источник нагрузки. Поисковые запросы с пустыми или очень короткими значениями могут создавать лишние обращения к базе данных. Это не повод отключать поиск, но повод ограничить мусорные запросы и не давать им индексироваться.

Для сайтов с большим количеством технических дублей полезно смотреть не только на поиск, но и на общую чистоту индекса. В таких задачах иногда помогает комплексная настройка SEO- и технических параметров, например через Clearfy Pro: убрать лишние архивы, настроить мета-теги, сократить количество бесполезных страниц. Но даже с плагином важно понимать, какие именно URL вы закрываете и почему.

Что стоит сделать дополнительно

• Ограничить индексацию пустых и бессмысленных поисковых запросов.
• Проверить, не создаёт ли поиск лишнюю нагрузку на базу.
• Следить, чтобы страницы поиска не попадали в sitemap.
• Не использовать жёсткий запрет в robots.txt как единственный метод.

Если после настройки страницы поиска всё ещё появляются в индексе, не спешите менять стратегию. Сначала проверьте, видит ли робот обновлённый HTML, нет ли старого кеша и не переопределяет ли настройки другой плагин или тема.