Запрещено элементом noindex как исправить

О том, как заработать и потратить Таймкарму, читайте в этой статье

Чтобы потратить Таймкарму, зарегистрируйтесь на нашем сайте

Войти в Комьюнити

Регистрация в Комьюнити

Восстановление пароля

Url запрещен тегом noindex -такое сообщение появляется в Яндекс вебмастер. Например, у меня роботы Яндекса сразу запретили  пакет статей. В индексе их стало меньше на 14%. Запрещала многие файлы движка Word Press целый год, чтобы не было дублей. Но вдруг, неожиданно для меня, из индекса стали исчезать канонические статьи целыми категориями или выборочно. Вероятно, какие-то из моих многочисленных запретов сработали.

Например, были запрещены в файле robots.txt разные технические параметры, страницы из wp-admin. Но, кроме того, раньше я запрещала страницы архивов, категорий, постраничную  пагинацию главной страницы и рубрик. Все категории сайта тоже запрещала.

Еще у меня появился платный плагин Clearfy Pro, в котором есть тоже функция для запрета дублей страниц, например, архивов. На вкладке SEO  тоже есть функция запрета. Авторы плагина объясняют нам, что в результаты поиска включаются страницы пагинации /page/2/,
/page/3/ и т.д.

Clearfy Pro: Закрывает от индексации страницы пагинации с помощью тега noindex. Эту кнопку  включала, в плагине.  Возможно потому Яндекс закрыл сразу много страниц.

Однако для поисковой системы Яндекс все эти запреты носят лишь рекомендательный характер. Если пожелают, то все равно будут индексировать наши посты. Однако могут и отреагировать на ряд запретов. Долго все мои статьи и их дубли находилось в индексе ПС Яндекса, несмотря на запреты.

Посмотрела код страницы, но в коде тег noindex повторялся только 4 раза. Запрет индексации был для социальных сетей и в коде Яндекс метрики. То есть только по делу.

Как исправляла

Еще раньше, года 2 назад сообщал Гугл, что статьи блокируются файлом robots.txt. С этого времени в части файла robots.txt для поискового робота Гугла запреты не пишу. Они остались только для роботов Яндекса. Например. Как на картинке.

Чтобы снять блоки удаляю из файла robots.txt некоторые строки Disallow. Например, удалила строчки категорий, page, все архивы по годам. Так много всего удалила, потому что не знаю точно, что удалять. Действую методом «проб и ошибок»

В плагине Clearfy Pro, во вкладке дубли, отключила запрет архивов, но не все, а только по датам. Отправила на переобход статьи из освобожденных категорий, от блока noindex. Однако, все это не значит, что все запреты из индекса сразу исчезли. Они остаются в индексе Яндекса, но все же количество канонических статей в индексе опять возрастает, хотя к численному результату, всех написанных, еще не пришло.

Посмотрела в вебмастере Гугл — search console. Нет ли там тоже запретов noindex. Да, они там тоже оказались, в количестве 107 файлов. Но это только те файлы, которые я сама запретила, чтобы не было дублей постов. Канонические статьи здесь не затронуты.

 Вновь возвращаю запреты индексации

Очень быстро индекс индексации стал увеличиваться. Однако не только за счет разблокированных статей. Например появились архивы. Но что такое архивы, и сколько в них дублей?

Например, огромное количество дублей в архивах дат. Если наша статья выводится на главной и в категории, то мы еще получаем 3 дубля. В архивах по году, месяцу и дате, Плагин Clearfy Pro удаляет полностью архивы дат и ставит редирект. Так что опять активирую кнопку для отключения архивов.

Вновь восстановила первоначальный  мета тег robots, который у меня находится в плагине Functions.php

Здравствуйте! Сегодня я расскажу как возникли у меня проблемы индексации сайта и как я их решал. А возникли эти проблемы после того, как я запретил в файле robots.txt индексировать главную страницу — Disallow: /moyprimer.h1n.ru . Я это сделал потому, что она была еще в разработке и я не хотел, чтобы она попала в поиск. Потом я это убрал из robots.txt, но видимо плагин yoast seo и google работают в паре и одного исправления в файле robots.txt было недостаточно. И так все подробно и по порядку.

Сначала я привел в порядок файл robots.txt, хотя Яндекс Вебмастер не нашел ошибок в этом файле, но вот сервисе гугл почему-то ругался:

он мне выдавал ошибки:

Здесь проблема скорее всего в неправильной кодировке файла robots.txt. Проверить можно в этом сервисе:

У меня был файл в кодировке UTF8+BOM (посмотреть кодировку можно в программе блокнот notepad++) :

И user-agent выглядел у меня вот так:

User-agent: *

После смены кодировки в notepad++ на ANSI или просто на UTF8 крогозяблы ушли перед user-agent.  Запустив снова проверку через гугл я получил файл без ошибок:

Одну ошибку исправил. Но все равно почему-то в яндексе все нормально работало и главная страница проиндексировалась, а вот гугл постоянно ругался, что индексирование страницы запрещено тегом noindex:

Эту проблему я решил, исправив настройки с Нет на Да в плагине yoast seo:

После этого отправил запрос на индексацию сайта. Запрос отправился уже без ошибок:

Но после проверки индексации гул выдал следующее:

Решил я проверить свою страницу в старой версии гугла:

Здесь он точно указал на какие ресурсы у него нет доступа. Заходим по порядку в каждую строчку, на рисунке помечено стрелкой, и откроется следующее:

Внизу теперь можно скопировать wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js и вставить его в robots.txt с разрешающей директивой. Таким образом проделаем со всеми проблемными местами.

Такой robots был вначале:

User-agent: *                                 # общие правила для роботов, кроме Яндекса и Google,
                                                       # т.к. для них правила ниже

Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*

Disallow: /cgi-bin                                                # папка на хостинге
Disallow: /?                                                          # все параметры запроса на главной
Disallow: /wp-             # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/              # если есть подкаталог /wp/, где установлена CMS (если нет,
                                     # правило можно удалить)
Disallow: *?s=                # поиск
Disallow: *&s=               # поиск
Disallow: /search/         # поиск
Disallow: /author/         # архив автора
Disallow: /users/           # архив авторов
Disallow: */trackback   # трекбеки, уведомления в комментариях о появлении открытой
                                      # ссылки на статью
Disallow: */feed            # все фиды
Disallow: */rss              # rss фид
Disallow: */embed       # все встраивания
Disallow: */wlwmanifest.xml          # xml-файл манифеста Windows Live Writer (если не                                                         # используете, правило можно удалить) 
Disallow: /xmlrpc.php          # файл WordPress API
Disallow: *utm*=                 # ссылки с utm-метками
Disallow: *openstat=           # ссылки с метками openstat
Allow: */uploads                  # открываем папку с файлами uploads
Allow: /feed/turbo/              #турбо-страницы

# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Host: https://moyprimer.h1n.ru/

Такой теперь, красным шрифтом я добавил исправления:

User-agent: *                   # общие правила для роботов, кроме Яндекса и Google,
                                         # т.к. для них правила ниже

Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*

Disallow: /cgi-bin                                           # папка на хостинге
Disallow: /?                                                     # все параметры запроса на главной
Disallow: /wp-             # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/             # если есть подкаталог /wp/, где установлена CMS (если нет,
                                     # правило можно удалить)
Disallow: *?s=             # поиск
Disallow: *&s=            # поиск
Disallow: /search/      # поиск
Disallow: /author/      # архив автора
Disallow: /users/        # архив авторов
Disallow: */trackback               # трекбеки, уведомления в комментариях о появлении                                                            # открытой ссылки на статью

Disallow: */feed                  # все фиды
Disallow: */rss                    # rss фид
Disallow: */embed             # все встраивания
Disallow: */wlwmanifest.xml           # xml-файл манифеста Windows Live Writer (если не                                                                   # используете, правило можно удалить) 
Disallow: /xmlrpc.php                      # файл WordPress API
Disallow: *utm*=                             # ссылки с utm-метками
Disallow: *openstat=                      # ссылки с метками openstat
Allow: */uploads                             # открываем папку с файлами uploads
Allow: /feed/turbo/                         #турбо-страницы
Allow: /wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js
Allow: /wp-content/cache/wpfc-minified/8jq52lsh/64pgw.css
Allow: /wp-content/plugins/clearfy/components/ga-cache/cache/local-ga.js
Allow: /wp-content/plugins/a3-lazy-load/assets/images/lazy_placeholder.gif
Allow: /wp-content/plugins/a3-lazy-load/assets/css/loading.gif

# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Host: https://moyprimer.h1n.ru/

Отправил страницу на индексацию. Посмотрим что будет.

Опять проблемы индексации. Но на этот раз были уже другие ошибки. Вновь исправил файл robots.txt и отправил страницу на индексацию. И АЛЛИЛУЙЯ, ошибок нет, страница прошла индексацию:

Вот в такой теперь форме мой robots.txt:

User-agent: *                 # общие правила для роботов, кроме Яндекса и Google,
                                       # т.к. для них правила ниже

Disallow: /category/*
Disallow: /rukovodstvo/
Disallow: */comments*
Disallow: /?s=*
Disallow: /tag/*
Disallow: /20*/*
Disallow: /comment-page*
Disallow: /*?replytocom*

Disallow: /cgi-bin                      # папка на хостинге
Allow: /?                                     # все параметры запроса на главной
Disallow: /wp-                           # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow: /wp/                 # если есть подкаталог /wp/, где установлена CMS (если нет,
                                        # правило можно удалить)
Disallow: *?s=                # поиск
Disallow: *&s=               # поиск
Disallow: /search/         # поиск
Disallow: /author/         # архив автора
Disallow: /users/          # архив авторов
Disallow: */trackback        # трекбеки, уведомления в комментариях о появлении открытой
                                           # ссылки на статью
Disallow: */feed               # все фиды
Disallow: */rss                 # rss фид
Disallow: */embed          # все встраивания
Disallow: */wlwmanifest.xml                  # xml-файл манифеста Windows Live Writer (если не                                                                    # используете, правило можно удалить)
Disallow: /xmlrpc.php                          # файл WordPress API
Disallow: *utm*=                # ссылки с utm-метками
Disallow: *openstat=         # ссылки с метками openstat
Allow: */uploads                # открываем папку с файлами uploads
Allow: /feed/turbo/            #турбо-страницы
Allow: /wp-content/cache/wpfc-minified/fcwg2ryd/64pgw.js
Allow: /wp-content/cache/wpfc-minified/8jq52lsh/64pgw.css
Allow: /wp-content/plugins/clearfy/components/ga-cache/cache/local-ga.js
Allow: /wp-content/plugins/a3-lazy-load/assets/images/lazy_placeholder.gif
Allow: /wp-content/plugins/a3-lazy-load/assets/css/loading.gif
Allow: /https://mc.webvisor.org/*
Allow: /https://mc.yandex.ru/watch/*

# Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
# не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
Sitemap: https://moyprimer.h1n.ru/post-sitemap.xml
Sitemap: https://moyprimer.h1n.ru/page-sitemap.xml

# Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
# то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
# Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Host: https://moyprimer.h1n.ru/

Главная страница сайта имеет большое значение для его продвижения в поисковой выдаче. Поэтому для меня решение этой задачи было первоочередной. Надеюсь моя статья подскажет Вам, как решаются проблемы индексации сайта, в особенности если индексирование страницы запрещено тегом noindex.

На этом у меня все. До встречи.

noindex – это правило, которое задается с помощью тега <meta> или заголовка HTTP-ответа и запрещает индексирование контента поисковыми системами, поддерживающими noindex, например Google. Обнаружив такой тег или заголовок во время сканирования страницы, робот Googlebot проигнорирует ее, даже если на нее ссылаются другие сайты.

Директива noindex позволяет управлять доступом к отдельным страницам сайта. Это может быть полезно, если у вас нет доступа к корневому каталогу на сервере.

Как внедрять правило noindex

Внедрить правило noindex можно двумя способами: как тег <meta> или как заголовок HTTP-ответа. Они работают одинаково, поэтому выбор подходящего способа будет зависеть от вашего сайта и типа контента, расположенного на нем. Google не поддерживает указание правила noindex в файле robots.txt.

noindex можно объединять с другими правилами, которые управляют индексированием. Например, можно объединить атрибут nofollow и правило noindex: <meta name="robots" content="noindex, nofollow" />.

Тег <meta>

Чтобы ни одна поисковая система, поддерживающая правило noindex, не могла проиндексировать страницу вашего сайта, поместите следующий тег <meta> в раздел <head>:

<meta name="robots" content="noindex">

Если вы хотите закрыть доступ к странице только роботам Google, используйте следующий код:

<meta name="googlebot" content="noindex">

Учитывайте, что некоторые поисковые системы могут по-другому интерпретировать правило noindex и показывать в результатах поиска страницу, на которой оно используется.

Подробнее о теге <meta> с атрибутом noindex…

Вместо тега <meta> можно возвращать HTTP-заголовок X-Robots-Tag со значением noindex или none в ответе.
Вы можете использовать этот способ для файлов, формат которых отличается от HTML, например PDF, видео и изображений. Ниже приведен пример HTTP-ответа с заголовком X-Robots-Tag, запрещающим поисковым системам индексировать страницу:

HTTP/1.1 200 OK
(...)
X-Robots-Tag: noindex
(...)

Подробнее о заголовках ответов с директивой noindex…

Устранение проблем с правилом noindex

Чтобы обнаружить теги <meta> и HTTP-заголовки, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не обработали ее после добавления правила noindex. Робот Googlebot может повторно посетить страницу только спустя несколько месяцев. Воспользуйтесь инструментом проверки URL, чтобы запросить повторное сканирование страницы роботом Google.

Если вам нужно быстро убрать страницу сайта из результатов поиска Google, ознакомьтесь с документацией по удалению.

Другая возможная причина: файл robots.txt запрещает роботу Googlebot доступ к URL и не дает ему обнаружить метатег. Чтобы предоставить роботам Google доступ к вашей странице, вам необходимо изменить файл robots.txt.
Это можно сделать с помощью специального инструмента.

Наконец, убедитесь, что правило noindex доступно роботу Googlebot. Проверьте, корректно ли внедрено правило noindex: воспользуйтесь инструментом проверки URL, чтобы увидеть HTML, который робот Googlebot получил при сканировании страницы.
Вы можете также использовать отчет об индексировании страниц в Search Console, чтобы отслеживать страницы сайта, из которых робот Googlebot извлек правило noindex.

Подробный SEO-гайд по Отчёту об индексировании Google Search Console. Разберёмся, как проверить индексацию сайта с его помощью, как «читать» статусы URL, какие ошибки можно обнаружить и как их исправить.

Перевод с сайта onely.com.

В Отчёте вы можете получить данные о сканировании и индексации всех URL-адресов, которые Google смог обнаружить на вашем сайте. Он поможет отследить, добавлен ли сайт в индекс, и проинформирует о технических проблемах со сканированием и индексацией.

Но перед тем, как говорить об Отчёте, вспомним все этапы индексации страницы в Google.

Как проходит индексация в Google

Чтобы страница ранжировалась в поиске и показывалась пользователям, она должна быть обнаружена, просканирована и проиндексирована.

Обнаружение

Перед тем, как просканировать страницу, Google должен её обнаружить. Он может сделать это несколькими способами. 

Наиболее распространённые — с помощью внутренних или внешних ссылок или через карту сайта (файл Sitemap.xml).

Сканирование

Суть сканирования состоит и том, что поисковые системы изучают страницу и анализируют её содержимое. 

Главный аспект в этом вопросе — краулинговый бюджет, который представляет собой лимит времени и ресурсов, который поисковая система готова «потратить» на сканирование вашего сайта. 

Что такое «краулинговый бюджет, как его проверить и оптимизировать

Индексация

В процессе индексации Google оценивает качество страницы и добавляет её в индекс — базу данных, где собраны все страницы, о которых «знает» Google.

В этот этап включается и рендеринг, который помогает Google видеть макет и содержимое страницы. Собранная информация даёт поисковой системе понимание, как показывать страницу в результатах поиска.

Некоторые страницы могут содержать контент низкого качества или быть дублями. Если поисковые системы их увидят, это может негативно отразится на всём сайте. 

Поэтому важно в процессе создания стратегии индексации решить, какие страницы должны и не должны быть проиндексированы. 

Ранжирование

Только проиндексированные страницы могут появиться в результатах поиска и ранжироваться.

Google определяет, как ранжировать страницу, основываясь на множестве факторов, таких как количество и качество ссылок, скорость страницы, удобство мобильной версии, релевантность контента и др.

Теперь перейдём к Отчёту.

Как пользоваться Отчётом об индексировании в Google Search Console

Чтобы просмотреть Отчёт, авторизуйтесь в своём аккаунте Google Search Console. Затем в меню слева выберите «Покрытие» в секции «Индекс»:

Вы увидите четыре статуса URL-адресов:

• Ошибка — критическая проблема сканирования или индексации.
• Без ошибок, есть предупреждения — URL-адреса проиндексированы, но содержат некоторые некритичные ошибки. 
• Страница без ошибок — страницы проиндексированы корректно.
• Исключено — страницы, которые не были проиндексированы из-за проблем (это самый важный раздел, на котором нужно сфокусироваться).

Фильтры «Все обработанные страницы» vs «Все отправленные страницы»

В верхнем углу вы можете отфильтровать, какие страницы хотите видеть:

«Все обработанные страницы» показываются по умолчанию. В этот фильтр включены все URL-адреса, которые Google смог обнаружить любым способом.

Фильтр «Все отправленные страницы» включает только URL-адреса, добавленные с помощью файла Sitemap.

Так что когда открываете Отчёт, убедитесь, что смотрите нужные данные.

Проверка статусов URL

Чтобы увидеть подробную информацию о проблемах, обнаруженных для каждого статуса, посмотрите «Сведения» под графиком:

Тут показан статус, тип проблемы и количество затронутых страниц. Обратите внимание на столбец «Проверка» — после исправления ошибки, вы можете попросить Google проверить URL повторно.

Например, если кликнуть на первую строку со статусом «Предупреждение», то вверху появится кнопка «Проверить исправление»:

Вы также можете увидеть динамику каждого статуса: увеличилось, уменьшилось или осталось на том же уровне количество URL-адресов в этом статусе.

Если в «Сведениях» кликнуть на любой статус, вы увидите количество адресов, связанных с ним. Кроме того, вы сможете посмотреть, когда каждая страница была просканирована (но помните, что эта информация может быть неактуальна из-за задержек в обновлении отчётов). 

Что учесть при использовании отчёта

• Всегда проверяйте, смотрите ли вы отчёт по всем обработанным или по всем отправленным страницам. Разница может быть очень существенной.
• Отчёт может показывать изменения с задержкой. После публикации контента подождите несколько дней, пока страницы просканируются и проиндексируются.
• Google пришлёт уведомления на электронную почту, если увидит какие-то критичные проблемы с сайтом. 
• Стремитесь к индексации канонической версии страницы, которую вы хотите показывать пользователям и поисковым ботам. 
• В процессе развития сайта, на нём будет появляться больше контента, так что ожидайте увеличения количества проиндексированных страниц в Отчёте.

Как часто смотреть Отчёт

Обычно достаточно делать это раз в месяц.

Но если вы внесли значимые изменения на сайте, например, изменили макет страницы, структуру URL или сделали перенос сайта, мониторьте Отчёт чаще, чтобы вовремя поймать негативное влияние изменений.

Рекомендую делать это хотя бы раз в неделю и обращать особое внимание на статус «Исключено». 

Дополнительно: инструмент проверки URL

В Search Console есть ещё один инструмент, который даст ценную информацию о сканировании и индексации страниц вашего сайта — Инструмент проверки URL.

Он находится в самом верху страницы в GSC:

Просто вставьте URL, который вы хотите проверить, в эту строку и увидите данные по нему. Например:

Инструментом можно пользоваться для того, чтобы:

• проверить статус индексирования URL, и обнаружить возможные проблемы;
• узнать, индексируется ли URL;
• просмотреть проиндексированную версию URL;
• запросить индексацию, например, если страница изменилась;
• посмотреть загруженные ресурсы, например, такие как JavaScript;
• посмотреть, какие улучшения доступны для URL, например, реализация структурированных данных или удобство для мобильных. 

Если в Отчёте об индексировании обнаружены какие-то проблемы со страницами, используйте Инструмент, чтобы тщательнее проверить их и понять, что именно нужно исправить. 

Статус «Ошибка»

Под этим статусом собраны URL, которые не были проиндексированы из-за ошибок.

Если вы видите проблему с пометкой «Отправлено», то это может касаться только URL, которые были отправлены через карту сайту. Убедитесь, что в карте сайте содержатся только те страницы, которые вы действительно хотите проиндексировать.

Ошибка сервера (5xx)

Эта проблема говорит об ошибке сервера со статусом 5xx, например, 502 Bad Gateway или 503 Service Unavailable.

Советую регулярно проверять этот раздел и следить, нет ли у Googlebot проблем с индексацией страниц из-за ошибки сервера. 

Что делать. Нужно связаться с вашим хостинг-провайдером, чтобы исправить эту проблему или проверить, не вызваны ли эти ошибки недавними обновлениями и изменениями на сайте.

Как исправить ошибки сервера — рекомендации Google

Ошибка переадресации

Редиректы перенаправляют поисковых ботов и пользователей со старого URL на новый. Обычно они применяются, если старый адрес изменился или страницы больше не существует. 

Ошибки переадресации могут указывать на такие проблемы:

• цепочка редиректов слишком длинная;
• обнаружен циклический редирект — страницы переадресуют друг на друга;
• редирект настроен на страницу, URL которой превышает максимальную длину;
• в цепочке редиректов найден пустой или ошибочный URL.

Что делать. Проверьте и исправьте редиректы каждой затронутой страницы. 

Доступ к отправленному URL заблокирован в файле robots.txt

Эти страницы есть в файле Sitemap, но заблокированы в файле robots.txt. 

Robots.txt — это файл, который содержит инструкции для поисковых роботов о том, как сканировать ваш сайт. Чтобы URL был проиндексирован, Google нужно для начала его просканировать. 

Что делать. Если вы видите такую ошибку, перейдите в файл robots.txt и проверьте настройку директив. Убедитесь, что страницы не закрыты через noindex.

Страница, связанная с отправленным URL, содержит тег noindex

По аналогии с предыдущей ошибкой, эта страница была отправлена на индексацию, но она содержит директиву noindex в метатеге или в заголовке ответа HTTP.

Что делать. Если страница должна быть проиндексирована, уберите noindex.

Отправленный URL возвращает ложную ошибку 404

Ложная ошибка 404 означает, что страница возвращает статус 200 OK, но её содержимое может указывать на ошибку. Например, страница пустая или содержит слишком мало контента.

Что делать. Проверьте страницы с ошибками и посмотрите, есть ли возможность изменить контент или настроить редирект.  

Отправленный URL возвращает ошибку 401 (неавторизованный запрос)

Ошибка 401 Unauthorized означает, что запрос не может быть обработан, потому что необходимо залогиниться под правильными user ID и паролем.

Что делать. Googlebot не может индексировать страницы, скрытые за логинами. Или уберите необходимость авторизации или подтвердите авторизацию Googlebot, чтобы он мог получить доступ к странице.

Отправленный URL не найден (ошибка 404)

Ошибка 404 говорит о том, что запрашиваемая страница не найдена, потому что была изменена или удалена. Такие страницы есть на каждом сайте и наличие их в малом количестве обычно ни на что не влияет. Но если пользователи будут находить такие страницы, это может отразиться негативно. 

Что делать. Если вы увидели эту проблему в отчёте, перейдите на затронутые страницы и проверьте, можете ли вы исправить ошибку. Например, настроить 301-й редирект на рабочую страницу. 

Дополнительно убедитесь, что файл Sitemap не содержит URL, которые возвращают какой-либо другой код состояния HTTP кроме 200 OK. 

При отправке URL произошла ошибка 403

Код состояния 403 Forbidden означает, что сервер понимает запрос, но отказывается авторизовывать его. 

Что делать. Можно либо предоставить доступ анонимным пользователям, чтобы робот Googlebot мог получить доступ к URL, либо, если это невозможно, удалить URL из карты сайта. 

URL заблокирован из-за ошибки 4xx (ошибка клиента)

Страница может быть непроиндексирована из-за других ошибок 4xx, которые не описаны выше. 

Что делать. Чтобы понять, о какой именно ошибке речь, используйте Инструмент проверки URL. Если устранить ошибку невозможно, уберите URL из карты сайта. 

Статус «Без ошибок, есть предупреждения»

URL без ошибок, но с предупреждениями, были проиндексированы, но могут требовать вашего внимания. Тут обычно случается две проблемы.

Проиндексировано, несмотря на блокировку в файле robots.txt

Обычно эти страницы не должны быть проиндексированы, но скорее всего Google нашёл ссылки, указывающие на них, и посчитал их важными.

Что делать. Проверьте эти страницы. Если они всё же должны быть проиндексированы, то обновите файл robots.txt, чтобы Google получил к ним доступ. Если не должны — поищите ссылки, которые на них указывают. Если вы хотите, чтобы URL были просканированы, но не проиндексированы, добавьте директиву noindex.

Страница проиндексирована без контента

URL проиндексированы, но Google не смог прочитать их контент. Это может быть из-за таких проблем:

• Клоакинг — маскировка контента, когда Googlebot и пользователи видят разный контент.
• Страница пустая.
• Google не может отобразить страницу.
• Страница в формате, который Google не может проиндексировать.

Зайдите на эти страницы сами и проверьте, виден ли на них контент. Также проверьте их через Инструмент проверки URL и посмотрите, как их видит Googlebot. После того, как устраните ошибки, или если не обнаружите каких-либо проблем, вы можете запросить у Google повторное индексирование. 

Статус «Страница без ошибок»

Здесь показываются страницы, которые корректно проиндексированы. Но на эту часть Отчёта всё равно нужно обращать внимание, чтобы сюда не попали страницы, которые не должны были оказаться в индексе. Тут тоже есть два статуса.

Страница была отправлена в Google и проиндексирована

Это значит, что страницы отправлена через Sitemap и Google её проиндексировал.

Страница проиндексирована, но её нет в файле Sitemap 

Это значит, что страница проиндексирована даже несмотря на то, что её нет в Sitemap. Посмотрите, как Google нашёл эту страницу, через Инструмент проверки URL. 

Чаще всего страницы в этом статусе — это страницы пагинации, что нормально, учитывая, что их и не должно быть в Sitemap. Посмотрите список этих URL, вдруг какие-то из них стоит добавить в карту сайта.

Статус «Исключено»

В этом статусе находятся страницы, которые не были проиндексированы. В большинстве случаев это вызвано теми же проблемами, которые мы обсуждали выше. Единственное различие в том, что Google не считает, что исключение этих страниц вызвано какой-либо ошибкой. 

Вы можете обнаружить, что многие URL здесь исключены по разумным причинам. Но регулярный просмотр Отчёта поможет убедиться, что не исключены важные страницы.

Индексирование страницы запрещено тегом noindex

Что делать. Тут то же самое — если страница и не должна быть проиндексирована, то всё в порядке. Если должна — удалите noindex. 

Индексирование страницы запрещено с помощью инструмента удаления страниц

У Google есть Инструмент удаления страниц. Как правило с его помощью Google удаляет страницы из индекса не навсегда. Через 90 дней они снова могут быть проиндексированы. 

Что делать. Если вы хотите заблокировать страницу насовсем, вы можете удалить её, настроит редирект, внедрить авторизацию или закрыть от индексации с помощью тега noindex.

Заблокировано в файле robots.txt 

У Google есть Инструмент проверки файла robots.txt, где вы можете в этом убедиться. 

Что делать. Если эти страницы и не должны быть в индексе, то всё в порядке. Если должны — обновите файл robots.txt.

Помните, что блокировка в robots.txt — не стопроцентный вариант закрыть страницу от индексации. Google может проиндексировать её, например, если найдёт ссылку на другой странице. Чтобы страница точно не была проиндексирована, используйте директиву noindex. 

Подробнее о блокировке индексирования при помощи директивы noindex

Страница не проиндексирована вследствие ошибки 401 (неавторизованный запрос)

Обычно это происходит на страницах, защищённых паролем. 

Что делать. Если они и не должны быть проиндексированы, то ничего делать не нужно. Если вы не хотите, чтобы Google обнаруживал эти страницы, уберите существующие внутренние и внешние ссылки на них.

Страница просканирована, но пока не проиндексирована

Это значит, что страница «ждёт» решения. Для этого может быть несколько причин. Например, с URL нет проблем и вскоре он будет проиндексирован. 

Но чаще всего Google не будет торопиться с индексацией, если контент недостаточно качественный или выглядит похожим на остальные страницы сайта. 

В этом случае он поставит её в очередь с низким приоритетом и сфокусируется на индексации более важных страниц. Google говорит, что отправлять такие страницы на переиндексацию не нужно. 

Что делать. Для начала убедитесь, что это не ошибка. Проверьте, действительно ли URL не проиндексирован, в Инструменте проверки URL или через инструмент «Индексация» в Анализе сайта в Топвизоре. Они показывают более свежие данные, чем Отчёт. 

Как исправить ошибку, когда страница просканирована, но не проиндексирована (на английском)

Обнаружена, не проиндексирована

Это значит, что Google увидел страницу, например, в карте сайта, но ещё не просканировал её. В скором времени страница может быть просканирована.

Иногда эта проблема возникает из-за проблем с краулинговым бюджетом. Google может посчитать сайт некачественным, потому что ему не хватает производительности или на нём слишком мало контента.

Что такое краулинговый бюджет и как его оптимизировать

Возможно, Google не нашёл каких-либо ссылок на эту страницу или нашёл страницы с большим ссылочным весом и посчитал их более приоритетными для сканирования. 

Если на сайте есть более качественные и важные страницы, Google может игнорировать менее важные страницы месяцами или даже никогда их не просканировать. 

Вариант страницы с тегом canonical

Эти URL — дубли канонической страницы, отмеченные правильным тегом, который указывает на основную страницу.

Что делать. Ничего, вы всё сделали правильно.

Страница является копией, канонический вариант не выбран пользователем

Это значит, что Google не считает эти страницы каноническими. Посмотрите через Инструмент проверки URL какую страницу он считает канонической. 

Что делать. Выберите страницу, которая по вашему мнению является канонической, и разметьте дубли с помощью rel=”canonical”.

Страница является копией, канонические версии страницы, выбранные Google и пользователем, не совпадают

Вы выбрали каноническую страницу, но Google решил по-другому. Возможно, страница, которую вы выбрали, не имеет столько внутреннего ссылочного веса, как неканоническая.

Что делать. В этом случае может помочь объединение URL повторяющихся страниц.

Как правильно настроить внутренние ссылки на сайте

Не найдено (404)

URL нет в Sitemap, но Google всё равно его обнаружил. Возможно, это произошло с помощью ссылки на другом сайте или ранее страница существовала и была удалена.

Что делать. Если вы и не хотели, чтобы Google индексировал страницу, то ничего делать не нужно. Другой вариант — поставить 301-й редирект на работающую страницу. 

Страница с переадресацией

Эта страница редиректит на другую страницу, поэтому не была проиндексирована. Обычно, такие страницы не требуют внимания.

Что делать. Эти страницы и не должны быть проиндексированы, так что делать ничего не нужно.

Ложная ошибка 404

Обычно это страницы, на которых пользователь видит сообщение «не найдено», но которые не сопровождаются кодом ошибки 404. 

Что делать. Для исправления проблемы вы можете:

• Добавить или улучшить контент таких страниц.
• Настроить 301-й редирект на ближайшую альтернативную страницу.
• Настроить сервер, чтобы он возвращал правильный код ошибки 404 или 410.

Страница является копией, отправленный URL не выбран в качестве канонического

Эти страницы есть в Sitemap, но для них не выбрана каноническая страница. Google считает их дублями и канонизировал их другими страницами, которые определил самостоятельно. 

Что делать. Выберите и добавьте канонические страницы для этих URL.

Страница заблокирована из-за ошибки 403 (доступ запрещён)

Что делать. Если Google не может получить доступ к URL, лучше закрыть их от индексации с помощью метатега noindex или файла robots.txt. 

URL заблокирован из-за ошибки 4xx (ошибка клиента)

Сервер столкнулся с ошибкой 4xx, которая не описана выше. 

Гайд по ошибкам 4xx и способы их устранения (на английском)

Попробуйте исправить ошибки или оставьте страницы как есть. 

Ключевые выводы

1. Проверяя данные в Отчёте помните, что не все страницы сайта должны быть просканированы и проиндексированы. 
2. Закрыть от индексации некоторые страницы может быть так же важно, как и следить за тем, чтобы нужные страницы сайта индексировались корректно. 
3. Отчёт об индексировании показывает как критичные ошибки, так и неважные, которые не обязательно требуют действий с вашей стороны.
4. Регулярно проверяйте Отчёт, но только для того, чтобы убедиться, что всё идёт по плану. Исправляйте только те ошибки, которые не соответствуют вашей стратегии индексации.