Каталог без индексации: сайт только по прямой ссылке для своих в 2026

Обновлено: сентябрь 2026

Каталог без индексации — это раздел сайта, доступный по прямой ссылке, но не отображающийся в результатах поиска Яндекса и Google. Используют его для закрытых прайсов, спецусловий для дилеров, временных предложений или оптовых каталогов. Основные способы реализации: meta-тег noindex, HTTP-заголовок X-Robots-Tag: noindex или авторизация. robots.txt ограничивает сканирование, но не гарантирует исключение из индекса.

Зачем делать каталог доступным только по прямой ссылке?

Бизнес-задачи, которые решает закрытый каталог:

Контроль доступа к ценам. Оптовые прайсы, дилерские условия или спецпредложения не должны быть доступны всем. Клиент получает ссылку на каталог после звонка или регистрации, но страницы не индексируются поисковиками.

Защита от сравнения с конкурентами. Если ассортимент или цены специфичны, их показ в поиске может привести к утечке информации или неправильному позиционированию. Закрытый каталог остаётся доступным для целевой аудитории, но не попадает в выдачу.

Временные или тестовые предложения. Акции для узкого круга клиентов, предзаказы, закрытые распродажи — всё это не должно индексироваться, чтобы не создавать путаницу в публичной части сайта.

Разделение публичного и закрытого контента. Основной сайт работает на SEO-трафик, а закрытый каталог — на прямые ссылки из email-рассылок, мессенджеров или личных кабинетов. Это позволяет не смешивать логику продвижения и не терять контроль над индексацией.

По опыту Григория Блаера, основателя Zveno: «Закрытый каталог — это не про „спрятать от всех", а про контроль доступа. Если бизнес работает с дилерами или оптовиками, публичная индексация прайсов может убить всю систему ценообразования. Правильная архитектура сайта учитывает это ещё на этапе проектирования».

Чем отличаются доступность, сканирование и индексация

Три разных уровня, которые часто путают:

• Доступность — страница открывается по прямой ссылке в браузере. Пользователь видит контент, может взаимодействовать с ним.
• Сканирование — поисковый робот заходит на страницу и читает её содержимое. Это не значит, что страница попадёт в индекс.
• Индексация — поисковик добавляет страницу в свою базу и показывает её в результатах поиска.

Закрытый каталог может быть доступен по ссылке, но не должен сканироваться или индексироваться. Или может сканироваться (чтобы робот увидел noindex), но не индексироваться. Выбор зависит от задачи.

Получить бесплатный аудит сайта

Какие способы закрытия каталога существуют и когда их использовать?

Есть четыре основных подхода к закрытию каталога от индексации. Каждый решает свою задачу.

1. robots.txt — ограничение сканирования

robots.txt запрещает поисковым роботам заходить на указанные страницы. Пример для закрытия каталога:

User-agent: *
Disallow: /catalog/

Когда подходит:

• Нужно снизить нагрузку на сервер от сканирования.
• Каталог ещё не попал в индекс.
• Нет внешних ссылок на закрытые страницы.

Когда не подходит:

• Страницы уже проиндексированы — robots.txt их не удалит.
• Есть внешние ссылки на каталог — поисковик может показать URL в результатах без описания.
• Нужна надёжная защита от индексации — robots.txt не гарантирует исключение из поиска.

Google официально указывает: «robots.txt не предназначен для того, чтобы запрещать показ материалов в результатах поиска». Яндекс даёт аналогичную рекомендацию.

2. Meta-тег noindex — запрет индексации

Мета-тег noindex добавляется в <head> каждой страницы каталога:

<meta name="robots" content="noindex, follow">

Когда подходит:

• Страницы должны быть доступны по прямой ссылке.
• Нужно убрать каталог из поиска, но оставить возможность сканирования.
• Есть внутренние ссылки на каталог, которые нельзя убрать.

Важно: Если каталог закрыт в robots.txt, робот не увидит мета-тег noindex. Сначала откройте доступ для сканирования, дождитесь обхода, а потом закрывайте в robots.txt (если это необходимо).

3. X-Robots-Tag: noindex — HTTP-заголовок

X-Robots-Tag передаётся на уровне HTTP-ответа сервера. Настраивается в конфигурации веб-сервера (nginx, Apache) или на уровне CMS.

Пример для nginx:

location /catalog/ {
 add_header X-Robots-Tag "noindex, follow";
}

Когда подходит:

• Нет доступа к редактированию HTML-кода страниц.
• Нужно закрыть большой каталог одной настройкой.
• Требуется запретить индексацию файлов (PDF, изображений).

4. Авторизация или пароль — полное ограничение доступа

Страницы каталога доступны только после ввода логина и пароля или через личный кабинет.

Когда подходит:

• Контент действительно должен быть только для своих.
• Нужна защита от случайной утечки ссылок.
• Каталог содержит конфиденциальную информацию (прайсы, персональные данные).

Минусы:

• Требует разработки системы авторизации.
• Усложняет доступ для клиентов.
• Не подходит, если нужна простая рассылка ссылок без регистрации.

Рассчитать стоимость решения

Почему страницы из закрытого каталога всё равно попадают в поиск?

Даже при правильной настройке robots.txt или noindex страницы могут оставаться в выдаче. Разбираем, почему это происходит.

Страницы были проиндексированы до закрытия

Если каталог работал без ограничений, поисковики уже добавили страницы в индекс. robots.txt не удаляет их оттуда — он только запрещает новое сканирование.

Решение: Временно открыть доступ для роботов, добавить noindex на все страницы, дождаться обхода (обычно 1–4 недели), затем закрыть в robots.txt.

Есть внешние ссылки на каталог

Если на страницы ведут ссылки с других сайтов, поисковик может показать URL в выдаче даже без описания. Google и Яндекс индексируют страницы по внешним ссылкам, не заходя на сам сайт.

Решение: Использовать noindex вместо robots.txt или добавить авторизацию. Отслеживайте внешние ссылки и удаляйте их по возможности.

Робот не увидел noindex из-за Disallow

Если каталог закрыт в robots.txt, робот не зайдёт на страницу и не прочитает мета-тег noindex. Страницы останутся в индексе.

Решение: Сначала убрать Disallow из robots.txt, дать роботу прочитать noindex, дождаться удаления из индекса, затем вернуть Disallow.

Страницы попали в sitemap.xml

Если закрытые страницы остались в карте сайта, поисковик продолжит их обрабатывать.

Решение: Убрать URL каталога из sitemap.xml. Проверьте, что CMS не генерирует их автоматически.

Внутренние ссылки ведут на закрытый каталог

Если из публичных разделов есть ссылки на каталог, робот будет пытаться его сканировать.

Решение: Убрать публичные ссылки на закрытый каталог. Если ссылки нужны для авторизованных пользователей, добавьте rel="nofollow" или показывайте их только после входа.

Кэш поисковика

Даже после удаления из индекса страницы могут оставаться в кэше несколько недель.

Решение: Используйте инструменты вебмастера. В Яндекс.Вебмастере — «Индексирование → Удаление URL». В Google Search Console — «Удаление URL».

Из 47 аудитов сайтов, проведённых Zveno, в 12 случаях закрытые разделы оставались в индексе. Причина — комбинация Disallow и отсутствия noindex. Поисковик не мог прочитать мета-тег, но продолжал показывать URL в выдаче по внешним ссылкам.

Как правильно настроить закрытый каталог: пошаговая инструкция

Пошаговый алгоритм для закрытия каталога от индексации с сохранением доступа по прямой ссылке.

Шаг 1. Определить цель закрытия

• Убрать из поиска, но оставить доступ по ссылке → noindex или X-Robots-Tag.
• Ограничить сканирование и снизить нагрузку → robots.txt (только если каталог не в индексе).
• Полностью скрыть контент → авторизация или пароль.

Шаг 2. Проверить текущее состояние индексации

Используйте поисковые операторы:

• Яндекс: site:example.com/catalog/
• Google: site:example.com/catalog/

Если страницы уже в индексе, robots.txt не поможет. Нужен noindex.

Шаг 3. Добавить noindex на все страницы каталога

Варианты реализации:

• Через CMS: Настроить правило для раздела /catalog/ (если CMS поддерживает).
• Через шаблон: Добавить условие в код шаблона каталога:

<?php if (strpos($_SERVER['REQUEST_URI'], '/catalog/') !== false): ?>
<meta name="robots" content="noindex, follow">
<?php endif; ?>

• Через X-Robots-Tag: Настроить на уровне сервера (nginx, Apache).

Шаг 4. Убрать каталог из sitemap.xml

Проверить файл sitemap.xml и удалить URL каталога. Если карта генерируется автоматически, настроить исключение в CMS или плагине.

Шаг 5. Убрать публичные ссылки на каталог

Проверь:

• Меню сайта.
• Футер.
• Внутренние перелинковки из статей и карточек товаров.

Если ссылки нужны только для авторизованных пользователей, показывай их после входа или добавь rel="nofollow".

Шаг 6. Дождаться обхода поисковиками

На деле требуется 1–4 недели. Ускорить можно через:

• Яндекс.Вебмастер: «Индексирование → Переобход страниц».
• Google Search Console: «Проверка URL → Запросить индексирование».

Шаг 7. Добавить Disallow в robots.txt (опционально)

Если нужно ограничить сканирование после удаления из индекса:

User-agent: *
Disallow: /catalog/

Это снизит нагрузку на сервер, но не обязательно, если noindex уже работает.

Шаг 8. Проверить результат

• Доступность по ссылке: Открой любую страницу каталога в браузере — она должна загружаться.
• Исходный код: Проверь наличие <meta name="robots" content="noindex">.
• HTTP-заголовки: Используй инструмент проверки заголовков (например, curl -I https://example.com/catalog/page/) — должен быть X-Robots-Tag: noindex.
• Индексация: Через 2–4 недели повтори проверку через site:example.com/catalog/ — страниц не должно быть.

Частые ошибки при настройке

• Закрыли в robots.txt, но не добавили noindex → страницы остались в индексе.
• Добавили noindex, но не убрали Disallow → робот не увидел мета-тег.
• Оставили ссылки в меню или футере → робот продолжает находить каталог.
• Забыли про sitemap.xml → поисковик получает URL из карты сайта.
• Не проверили внешние ссылки → страницы индексируются по ссылкам с других сайтов.

Если у вас несколько каталогов или сложная структура сайта, стоит проработать архитектуру до запуска. Из 53 реализованных сайтов Zveno в 8 случаях требовалось разделение публичного и закрытого каталога на этапе проектирования — это проще, чем переделывать после запуска. Подробнее о структуре каталога: Много услуг на сайте: как структурировать каталог и не терять заявки в 2026.

Записаться на разбор ситуации

Часто задаваемые вопросы

Как сделать каталог доступным только по прямой ссылке?

Добавь мета-тег <meta name="robots" content="noindex, follow"> на все страницы каталога или настрой HTTP-заголовок X-Robots-Tag: noindex на уровне сервера. Это запретит индексацию, но оставит страницы доступными по прямой ссылке. Убедись, что каталог не закрыт в robots.txt — иначе робот не увидит noindex.

Можно ли закрыть каталог от индексации, но оставить его для клиентов?

Да. Используй noindex (мета-тег или HTTP-заголовок) — страницы останутся доступны по прямой ссылке, но не будут показываться в поиске. Если нужна дополнительная защита, добавь авторизацию или пароль.

Что лучше для скрытого каталога: robots.txt или noindex?

noindex надёжнее. robots.txt ограничивает сканирование, но не гарантирует исключение из индекса — страницы могут остаться в выдаче по внешним ссылкам. noindex явно запрещает индексацию. Если каталог уже в индексе, используй noindex и дождись удаления страниц из поиска.

Почему страница из закрытого каталога всё равно попадает в поиск?

Причины: страницы были проиндексированы до закрытия, есть внешние ссылки, робот не увидел noindex из-за Disallow в robots.txt, каталог остался в sitemap.xml, есть публичные внутренние ссылки. Проверь каждый пункт и исправь.

Как удалить уже проиндексированные страницы каталога из Яндекса и Google?

Добавь noindex на все страницы каталога, убери их из sitemap.xml, удали публичные ссылки. Дождись обхода поисковиками (1–4 недели). Ускорить процесс можно через Яндекс.Вебмастер («Удаление URL») или Google Search Console («Удаление URL»).

Можно ли оставить каталог открытым по ссылке и не показывать его в выдаче?

Да. Это основной сценарий использования noindex. Страницы остаются доступны по прямой ссылке, но не индексируются поисковиками. Убедись, что нет публичных ссылок на каталог из основного сайта и что он не попал в sitemap.xml.

Нужно ли закрывать от индексации страницы прайса, спецпредложений или оптового каталога?

Зависит от того, что вам нужно. Если цены или условия видят только дилеры, оптовики, партнёры — используйте noindex или авторизацию. Если прайс публичный и может привлекать людей из поиска, оставьте его открытым. Подробнее о закрытых предложениях: Как продавать дороже, если клиент выбирает только по цене в 2026.

Закрытый каталог — это инструмент контроля доступа и индексации. Правильная настройка разделит публичную и закрытую части сайта без потерь для SEO. Если структура сложная или каталогов несколько, проработайте архитектуру до запуска. Переделывать после индексации намного сложнее.