Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt.
Какие меры принимать при возникновении ошибок 404:
- Решите, нужно ли устранять выявленную проблему. Большинство таких случаев можно проигнорировать: они не влияют на индексирование и рейтинг сайта.
- Если вы сами отправили URL на проверку, то возникающую ошибку лучше исправить.
- Если страница была удалена и вы не создали вместо нее никакой другой, возврат кода 404 ожидаем. Ошибка перестанет показываться в отчете примерно через месяц.
- Если проблема в самом URL, которого никогда не было на вашем сайте, вы можете не обращать на нее внимания. Исправлять ничего не требуется, если причина не в том, что URL был введен с опечатками. Ошибки 404 перестанут появляться в отчете примерно через месяц.
- Если в URL содержится слово, которое часто пишется с опечатками или имеет несколько вариантов написания (например, example.com/gid/tallin вместо example.com/gid/tallinn, где во втором случае добавлена ещё одна буква n, или example.com/f00 вместо example.com/foo, где вместо двух букв o указаны нули), настройте для всех расхожих вариантов переадресацию на нужную страницу.
- Если вы отправили URL на индексирование, а в отчете по нему указан статус Ошибка, выполните следующие действия:
- Выясните, откуда был отправлен URL, нажав на значок лупы
рядом с ним и изучив информацию в разделе Как обнаружено. Внесите в файл Sitemap необходимые изменения. - Если контент перемещен, добавьте переадресацию.
- Если контент страницы полностью удален и на вашем сайте нет похожей информации, старый URL должен возвращать сообщение об ошибке 404 или 410. В настоящее время Google обрабатывает ошибки 410 («Удалено») и 404 («Не найдено») одинаково. Если для несуществующей страницы возвращается код, отличный от 404 и 410, или если вместо возвращения кода 404 выполняется переадресация на другую страницу, это может привести к ошибкам. В таких случаях говорят о ложных ошибках 404, которые вводят в заблуждение не только пользователей, но и поисковые системы.
- Если URL вам неизвестен. Иногда в отчетах могут фигурировать ошибки 404 для URL, которых никогда не было на сайте. Подобная ситуация возможна, если пользователь пытается перейти по несуществующему URL, например некорректно указывает его в адресной строке браузера или нажимает на неправильную ссылку на ваш ресурс. Если с каким-либо URL это происходит часто, создайте для него переадресацию.
Ещё одна причина такой ошибки может заключаться в том, что робот Googlebot пытается перейти по ссылкам, обнаруженным в коде JavaScript, файлах Flash, в другом встроенном контенте или только в отдельном файле Sitemap. Представим, что на вашем сайте используется следующий код для отслеживания скачиваний файлов в Google Аналитике:<a href="helloworld.pdf" onClick="_gaq.push(['_trackPageview','/download-helloworld']);"> Hello World PDF</a>Обнаружив этот код, робот Googlebot может попытаться просканировать URL
http://www.example.com/download-helloworld, хотя такой страницы не существует. Не исключено, что в результате на странице ошибок сканирования в Search Console для упомянутой ссылки появится сообщение об ошибке 404 («Не найдено»). Мы работаем над тем, чтобы такие сообщения не появлялись. Они не влияют на сканирование и рейтинг сайта.
- Выясните, откуда был отправлен URL, нажав на значок лупы
- Не создавайте ненужный контент, не настраивайте переадресацию на главную страницу и не блокируйте доступ к вызывающим проблему URL с помощью файла robots.txt. В противном случае нам будет сложнее определять структуру сайта и правильно его обрабатывать. Такие ошибки 404 мы называем ложными. (После одного удачного сканирования определенного URL робот Google может постоянно пытаться повторить эту процедуру. Добавьте переадресацию 300, чтобы отложить сканирование на продолжительное время.) Если отправить запрос на удаление URL при помощи специального инструмента, ошибка из отчета не исчезнет.
Эта информация оказалась полезной?
Как можно улучшить эту статью?
Если вы являетесь пользователем Google Chrome, вы, должно быть, часто сталкивались с ошибкой «404» при работе в Интернете. Хотя может быть несколько возможных причин возникновения этой ошибки, мы перечислили лучшие способы легко исправить эту ошибку в браузере Google Chrome. Вы также можете ознакомиться с нашим руководством о том, как исправить необычную ошибку трафика в Chrome.
Наиболее распространенные причины возникновения ошибки 404 следующие:
- Неверный ввод URL.
- Веб-страница, которую вы ищете, переехала на новый адрес.
- Страница, которую вы ищете, не имеет URL-адреса перенаправления.
- Ваша целевая веб-страница была удалена или больше не существует.
Способы исправить ошибку 404 в Google Chrome
Проверьте правильность введенного URL
Первым и главным шагом для быстрого устранения этой ошибки является поиск правильности введенного URL-адреса.
- Нажмите на строку URL в браузере Chrome и проверьте, правильно ли вы ввели адрес.
Обновить веб-страницу
Чтобы быстро решить и исправить ошибку 404 в браузере Chrome, вам необходимо обновить веб-страницу вручную. Следуйте этим простым шагам, чтобы сделать то же самое.
- Нажмите кнопку «Обновить» на панели инструментов, расположенную слева от URL-адреса поиска.
- Вы также можете нажать кнопку F5 на клавиатуре, чтобы мгновенно обновить веб-страницу.
- Чтобы получить живую версию веб-страницы вместо кешированной, вам нужно нажать Ctrl+F5/Shift+F5/Ctrl+Shift+R. Эта комбинация клавиш выполнит полную перезагрузку веб-страницы, чтобы решить эту проблему.
Проверьте, активен ли целевой веб-сайт
Если вы неоднократно сталкиваетесь с ошибкой 404 при доступе к определенному веб-сайту, вам необходимо проверить статус веб-сайта, который вы пытаетесь посетить. Следуйте этим простым шагам, чтобы определить, работает ли веб-сайт в Интернете.
- Откройте новую вкладку и получите доступ к ЭтоВнизПрямоСейчас Веб-сайт.
- Введите доменное имя в строку поиска и нажмите кнопку «Проверить».
- Подождите несколько секунд, чтобы проверить статус введенного веб-сайта.
- Если веб-сайт активен и работает, вы увидите зеленый значок ВВЕРХ в описании, в противном случае вы увидите красный значок ВНИЗ, обозначающий, что веб-сайт находится в автономном режиме.
Убедитесь в существовании искомой веб-страницы
Если вы считаете, что столкнулись с этой ошибкой по ошибке, вам необходимо проверить, существует ли ваш целевой веб-сайт в Интернете или нет. Вы можете легко проверить это, воспользовавшись сервисом Whois Lookup на сайте name.com. Следуйте этим простым шагам, чтобы сделать то же самое.
- Откройте новую вкладку в браузере Chrome и получите доступ к Сервис поиска Whois с сайта Name.com
- Введите в строку поиска доменное имя или IP-адрес веб-сайта, который необходимо проверить онлайн, и нажмите на зеленую иконку поиска.
- Вы мгновенно получите подробную информацию об искомом домене вместе с важной связанной информацией, такой как дата создания, реестр и даже дата истечения срока действия домена. Если вашего веб-сайта нет в Интернете, он не даст никаких результатов.
Очистить файлы кеша Google Chrome
Иногда чрезмерное накопление файлов временного кэша может вызвать проблемы при просмотре или открытии определенного веб-сайта. В такой ситуации пользователь, скорее всего, столкнется с ошибкой 404 при загрузке веб-страницы. Чтобы решить эту проблему, вам необходимо вручную очистить файлы кеша, связанные с браузером Google Chrome.
- Нажмите на значок с тремя точками в правом верхнем углу экрана и откройте «Настройки».
- На левой боковой панели нажмите на опцию «Безопасность и конфиденциальность». Далее нажмите на кнопку «Очистить данные просмотра».
- Установите флажок «Кэшированные изображения и файлы» и нажмите кнопку «Очистить данные», чтобы очистить файлы кеша.
Дополнительный совет: измените DNS-серверы вашей системы
Если вы заметили, что ошибка 404 отображается на всем веб-сайте, а не только на одной веб-странице, вам необходимо проверить, доступен ли вам тот же веб-сайт при подключении к другой сети. Если вы видите веб-сайт, когда вы подключены к другой сети, вам необходимо переключить настройки DNS-сервера в предыдущей сети, чтобы избежать ошибки 404. Следуйте этим простым шагам, чтобы легко изменить настройки DNS вашей системы на другие конфигурации, такие как Google DNS.
Подведение итогов: работа в Интернете без ошибок
Мы надеемся, что теперь вы научились исправлять ошибку 404 в браузере Google Chrome. Если эта статья помогла вам исправить существующие ошибки и предоставить вам лучший опыт, нажмите кнопку «Мне нравится» и поделитесь ею со своими друзьями, чтобы помочь им исправить ошибки Chrome. Оставайтесь с нами для более полезных руководств по устранению неполадок.
На этой странице описывается, как коды статуса HTTP, а также ошибки сети и DNS отражаются на позиции вашего контента в Google Поиске. Мы поговорим о 20 наиболее распространенных кодах статуса, которые обнаруживает на веб-страницах робот Googlebot, а также о самых частых ошибках сети и DNS. Такие редко встречающиеся коды, как 418 (I'm a teapot), в этой статье не рассматриваются. Все перечисленные на этой странице проблемы приводят к появлению ошибки или предупреждения в отчете об индексировании страниц, доступном в Search Console.
Коды статуса HTTP
Когда сервер, на котором размещен сайт, получает запрос клиента (например, браузера или поискового робота), в ответ он отправляет код статуса HTTP. Каждый такой код имеет свое значение, но многие из них предполагают, что запрос будет обрабатываться одинаково. Например, о переадресации могут сигнализировать несколько разных кодов.
Сообщения об ошибке, генерируемые в Search Console, относятся к кодам статуса в диапазоне 4xx–5xx, а также к неудачной переадресации (3xx). Если в ответе сервера указан код статуса 2xx, полученный контент может быть проиндексирован.
| Коды статуса HTTP | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Роботы Google проверяют, можно ли проиндексировать контент. Если контент не загружается, например появляется пустая страница или сообщение об ошибке, в Search Console будет зарегистрирована ошибка
|
|||||||||||
|
Робот Googlebot выполняет до 10 переходов в цепочке переадресаций. Если за это время поисковый робот не получает контент, в отчете об индексировании страниц этого сайта в Search Console будет указана ошибка переадресации. Количество переходов робота Googlebot зависит от агента пользователя, например у роботов Googlebot Smartphone и Googlebot Image оно будет отличаться.
Googlebot выполняет пять переходов в цепочке переадресаций согласно спецификации RFC 1945. Затем он прерывает операцию и интерпретирует ситуацию как ошибку Наши роботы игнорируют любой контент, получаемый с URL переадресации. При индексировании используется контент, размещенный по конечному целевому URL.
|
|||||||||||
|
Роботы Google не индексируют URL с кодом статуса
Роботы Googlebot игнорируют любой контент, получаемый с URL, которые возвращают код статуса
|
|||||||||||
|
В случае ошибок сервера Если файл robots.txt выдает ошибку сервера более 30 дней, будут выполняться правила, указанные в последней кешированной копии этого файла. Если такой копии нет, роботы Google будут действовать без ограничений.
Роботы Googlebot игнорируют любой контент, получаемый с URL, которые возвращают код статуса
|
Ошибки soft 404
Ошибкой soft 404 называется ситуация, когда посетитель веб-страницы видит сообщение о том, что ее не существует, при этом браузер получает ответ с кодом статуса 200 (success). Этот код означает «Успешно». В некоторых случаях открывается страница, на которой нет основного или вообще никакого контента.
Такие страницы создаются веб-сервером, где размещен сайт, системой управления контентом или браузером пользователя. Причины могут быть разными. Пример:
- Отсутствие файла SSI
- Ошибка при обращении к базе данных
- Пустая внутренняя страница результатов поиска
- Незагруженный или отсутствующий по другой причине файл JavaScript
Мы не рекомендуем возвращать код статуса 200 (success), а затем выводить сообщение об ошибке или указывать на наличие ошибки на странице. Пользователи могут подумать, что попали на действующую страницу, но после этого увидят сообщение об ошибке. Подобные страницы исключаются из Google Поиска.
Если алгоритмы Google по контенту страницы определяют, что она содержит сообщение об ошибке, то в отчете об индексировании страниц этого сайта в Search Console будет указана ложная ошибка soft 404.
Порядок исправления ошибок soft 404
Есть разные способы устранения ошибок soft 404 в зависимости от состояния сайта
и от желаемого результата:
- Страница и ее контент больше не доступны
- Страница или ее контент были перенесены
- Страница и ее контент по-прежнему существуют
Подумайте, какое решение будет оптимальным для ваших пользователей.
Страница и ее контент больше не доступны
Если страница удалена и для нее нет замены на вашем сайте с аналогичным контентом, нужно отправлять ответ с кодом статуса 404 (not found) или 410 (gone). Эти коды статуса сообщают поисковым системам, что страницы не существует, а контент не нужно индексировать.
Если у вас есть доступ к файлам конфигурации вашего сервера, страницы с сообщениями об ошибках можно сделать полезными для пользователей. Например, на такой странице 404 вы можете разместить функции, призванные помогать посетителям в поиске нужной информации, или полезный контент, который удержит их на вашем ресурсе. Вот несколько советов по созданию полезной страницы 404:
- Пользователям должно быть понятно, что запрашиваемая страница недоступна. Подготовьте сообщение, которое не вызовет отторжения.
-
Страница
404должна быть выполнена в том же стиле (включая элементы навигации), что и основной сайт. - Разместите на странице ссылки на самые популярные статьи или записи блога, а также на главную страницу.
- Дайте пользователям возможность сообщать о неработающих ссылках.
Полезные страницы 404 создаются исключительно для удобства пользователей. Поисковые системы игнорируют такие страницы, поэтому рекомендуем возвращать для этих страниц код статуса HTTP 404, чтобы они не индексировались.
Страница или ее контент перемещены
Если страница перенесена или у нее есть замена, отправляйте ответ с кодом 301 (permanent redirect), чтобы перенаправлять пользователей. Посетителям сайта это не помешает, а поисковые системы узнают новое расположение страницы. Чтобы узнать, правильный ли код ответа отправляется при открытии страницы, используйте инструмент проверки URL.
Страница и ее контент по-прежнему существуют
Если нормально работающая страница вызвала ошибку soft 404, вероятно, она не была корректно загружена роботом Googlebot, во время отрисовки не были доступны важные ресурсы или показывалось заметное сообщение об ошибке. Проанализируйте отрисованный контент и код ответа HTTP с помощью инструмента проверки URL. Если на обработанной странице нет или очень мало контента или он вызывает ошибку, ошибка soft 404 может быть обусловлена тем, что страница содержит ресурсы (например, изображения, скрипты и прочие нетекстовые элементы), которые не удается загрузить.
Возможные причины проблем с загрузкой – блокировка доступа в файле robots.txt, слишком большое количество ресурсов или слишком большой их размер, а также любые ошибки сервера.
Ошибки сети и DNS
Ошибки сети и DNS отрицательно влияют на показ URL в результатах поиска Google.
Робот Googlebot интерпретирует тайм-ауты сети, факты сброса подключения и ошибки DNS так же, как и ошибки серверов 5xx. В случае сетевых ошибок сканирование начинает постепенно замедляться, поскольку сетевая ошибка означает, что сервер может не справиться с нагрузкой. Так как роботы Googlebot не смогли получить доступ к серверу, на котором размещен сайт, значит, им не удалось извлечь контент. В результате Google не может проиндексировать ранее просканированные URL, а недоступные нашим роботам URL, которые уже были проиндексированы, будут удалены из индекса Google в течение нескольких дней. Search Console может создавать сообщения о каждой возникающей ошибке.
Ошибки отладки сети
Эти ошибки возникают до того, как Google начинает сканирование URL, или во время этого процесса.
Поскольку они зачастую уже присутствуют до того, как сервер возвращает ответ, то из-за отсутствия кода статуса диагностика этих ошибок может вызывать трудности. Чтобы отладить ошибки тайм-аута и сброса подключения, выполните следующие действия:
- Проверьте настройки брандмауэра и записи в журнале. У вас может быть задано слишком общее правило блокировки. Нужно, чтобы ни одно правило брандмауэра не блокировало IP-адреса робота Googlebot.
- Проанализируйте сетевой трафик с помощью таких инструментов как tcpdump и Wireshark. Они помогут вам найти в пакетах TCP аномалии, относящиеся к определенному сетевому компоненту или модулю сервера.
- Если вы не можете найти ничего подозрительного, обратитесь к своему хостинг-провайдеру.
Ошибка может относиться к любому серверному компоненту, который обрабатывает сетевой трафик. Возможно, что перегруженные интерфейсы сети не могут передавать пакеты, что приводит к тайм-аутам (невозможности установить подключение) и сбросу подключений (отправляется пакет RST, поскольку порт был закрыт по ошибке).
Устранение ошибок DNS
Ошибки DNS чаще всего вызваны неправильной конфигурацией, но могут также возникать из-за правил брандмауэра, которые блокируют DNS-запросы робота Googlebot. Чтобы устранить ошибки DNS, выполните следующие действия:
-
Проверьте правила брандмауэра. Нужно, чтобы ни одно правило не блокировало IP-адреса Google и чтобы были разрешены запросы как по протоколу
UDP, так и по протоколуTCP. -
Проверьте записи DNS. Убедитесь, что записи
AиCNAMEведут на правильные IP-адреса и имена хостов. Пример:dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer
-
Убедитесь, что все ваши DNS-серверы указывают на правильные IP-адреса вашего сайта. Пример:
dig +nocmd example.com ns +noall +answerexample.com. 86400 IN NS a.iana-servers.net. example.com. 86400 IN NS b.iana-servers.net.dig +nocmd @a.iana-servers.net example.com +noall +answerexample.com. 86400 IN A 93.184.216.34dig +nocmd @b.iana-servers.net example.com +noall +answer... - Если вы внесли изменения в конфигурацию DNS в течение последних 72 часов, на их применение во всей сети DNS может потребоваться некоторое время. Чтобы ускорить внедрение новых настроек, вы можете очистить общедоступный кеш DNS.
- Если вы используете собственный DNS-сервер, убедитесь, что он исправен и не перегружен.
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Last updated 2023-02-02 UTC.
Страница с ошибкой 404 является одной из самых распространенных проблем, с которой сталкиваются посетители различных сайтов. Их наличие негативно влияет не только на поведенческие характеристики сайта, но и может отрицательно влиять на рейтинг всего сайта.
Почему возникает 404 ошибка, как вовремя ее найти, какую роль она играет в SEO, какие инструменты помогут ее устранить — рассказывает блогу Serpstat ведущий SEO-специалист в компании ADINDEX, Екатерина Киясова.
Автор статьи: Екатерина Киясова, SEO-cпециалист в агентстве
Что такое 404 ошибка
Простыми словами ошибка 404 — это HTTP-код сервера, который сообщает, что нужная страница не найдена.
Механизм передачи информации между браузером (клиентом) и сервером таков:
- Пользователь вручную вбивает URL-адрес страницы в строку браузера или переходит по внешней ссылке.
- На сервер отправляется сетевой запрос, где открывается новая сессия.
- В качестве ответа сервер отправляет HTML-страницу с HTTP-кодом. Если страница с данным адресом существует, сервер возвращает код 200 — ОК. К примеру, если сейчас вы читаете эту статью, значит сервер нашел запрашиваемую страницу.
- Если браузер установил соединение с сервером, но нужной страницы на нем нет, на экране появится HTML-страница с кодом 404.
В случае, когда сайт не загружается вовсе, т.е. возникает ошибка сервера, показывается ошибка 5**. Однако обычный пользователь не знает, в чем разница ошибок 4** и 5**. Он уходит с сайта и может никогда не вернуться, думая, что сайт не работает.
Ссылки на страницу с ошибкой 404 часто называют «битыми», «сломанными», «мертвыми». А HTTP-ответ сервера 404 — «код 404», «ответ 404», «HTTP 404».
Подключить услугу «SEO | Продвижение сайтов» от ADINDEX →
Почему ошибка 404 Not found может возникнуть:
- страницу удалили;
- страницу перенесли на другой адрес, но адрес не обновили;
- при вводе URL-адреса пользователем допущена синтаксическая ошибка.
В проектах наших клиентов наиболее часто встречающаяся ошибка 404 связана с удалением или изменением URL-адреса страниц. Так, при аудите сайта одного клиента для запрашиваемых страниц обнаружили большое количество страниц с ответом «Not Found».
Причина была в том, что контент-менеджер удалил страницы с товарами, которых нет в наличии. В результате сайт частично потерял обратную ссылочную массу, так как на удаленные страницы вели внешние ссылки.
Какую роль в SEO играют 404 ошибки
Как Google относится к 404?
Поисковая система не считает такие ошибки существенными. Из Cправки Google:
Обычно ошибки 404 не влияют на эффективность сайта в Google Поиске. Вы можете смело игнорировать их, если они точно относятся к URL, которых не должно быть на вашем сайте. Важно, чтобы при переходе по всем недействительным URL возвращался верный код ответа HTTP (404) и чтобы доступ к ним не был заблокирован в файле robots.txt.
Но на практике оказывается, что в некоторых случаях такие ошибки негативно влияют на ранжирование сайта. Суть в том, что не столько страницы с 404 ошибкой влияют на SEO, сколько «битые» ссылки, ведущие на эти страницы.
Проблемой являются именно неработающие ссылки. Для поисковой системы большое количество битых ссылок говорит о проблемах с качеством сайта. Это приводит к ухудшению индексации и потере позиций в выдаче.
Кроме того, создается искаженная картина поведения пользователя на сайте: уменьшается время взаимодействия с сайтом, растет показатель отказов, может произойти отток посетителей.
Большое количество неработающих ссылок будет «съедать» краулинговый бюджет. Вместо того чтобы сканировать только нужные страницы, поисковый робот будет выполнять бессмысленную работу и краулить страницы, которые отдают код 404.
Что такое Soft 404 ошибки
Soft 404 ошибка, или ложная ошибка бывает только в поисковых системах Google. Она не является официальным кодом сервера, она — лишь пометка, так сказать, «для себя». Ошибка возникает, когда страница не существует, но сервер возвращает код ответа 200 ОК.
У этого явления может быть несколько причин:
- На странице нет или очень мало контента. Также причиной может быть наличие ресурсов (изображения, скрипты), которые не удается обработать поисковому роботу. Например, из-за того, что в Robots.txt к ним закрыт доступ, или сканирование ресурсов займет больше времени, чем нужно.
- С удаленной страницы установлена переадресация на страницу, которая не релевантна по содержанию.
- Сервер работает неправильно: для несуществующих страниц возвращается другой код.
Если с сервера возвращается ответ 200 ОК, страница будет сканироваться и может попасть в список результатов поиска. Следовательно, ошибка вводит в заблуждение пользователей и поисковые системы. Soft error 404 негативно влияет на рейтинг сайта в выдаче и напрасно использует ресурс краулера.
3 варианта проверки HTTP-кода сервера
С помощью браузера.
В Google Chrome без сторонних инструментов можно проверить код ответа страницы. Для этого нужно:
- перейти на страницу сайта;
- нажать F12 на клавиатуре либо кликнуть правой кнопкой мыши в любой точке экрана;
- выбрать «проверить код» либо «inspect»;
- перейти во вкладку «Network» и обновить страницу (F5);
- в столбце «Status» появится список кодов состояния для всех ресурсов, которые загружаются по этому адресу (документы, изображения и т.д.). Самый первый код в этом списке — это код запрашиваемого вами URL’а.
С помощью сайта https://httpstatus.io/.
Здесь можно проверить статус-код запрашиваемого URL’а. Можно просканировать до 100 URL’ов.
С помощью расширения Redirect Path для Chrome.
Google Chrome предлагает установить бесплатный плагин, который показывает HTTP-коды 301, 302, 404 и 500 и JavaScript редирект.
3 инструмента проверки ошибки 404 Not Found
Для работы с кодом 404 существует множество инструментов. Приведем несколько самых популярных, которыми мы пользуемся каждый день.
Serpstat.com
С помощью сервиса можно быстро выполнить аудит любого проекта. Программа парсит сайт, выдает список ошибок, устанавливает приоритет (высокий, средний, низкий) и предлагает способы устранения.
Чтобы найти все ошибки, достаточно просто создать проект:
Произвести простые настройки и немного подождать, пока сервис проверит ресурс:
На этой вкладке есть возможность изменить адрес домена и название проекта, а также установить расписание аудита и тип сканирования.
Далее, устанавливаем лимит сканируемых страниц, скорость и продолжительность сканирования.
На этой вкладке выбираем глубину сканирования и плюс-/минус-слова.
Вводим логин и пароль для сайтов с ограниченным доступом и выбираем User Agent для аудита.
Настраиваем рассылку отчета по проведенному аудиту. Для того, чтобы начать проверку, нажимаем «Начать аудит»
Ждем, пока сервис просканирует сайт.
Видим все 404 ошибки:
К примеру, при парсинге иностранного проекта программа выдала большое количество ошибок 404:
Причиной стало изменение принципа формирования ссылок на ресурсы, однако на поддоменах url-адреса остались старыми.
Google Search Console
Инструмент для веб-мастеров позволяет проверить, есть ли на сайте ошибки 404. Для этого нужно зайти в отчет «индекс», в подраздел «покрытие» и затем «ошибка».
Напротив каждой ошибки указывается дата сканирования в последний раз. Для более детального изучения причин появления ошибки, необходимо напротив URL кликнуть «Проверить URL».
Из справки Search Console понятно, что ошибки 404 Not found могут относиться к двум разным группам, исходя из того, как их нашел поисковый робот:
- Отправленный URL не найден (ошибка 404). Отображается, когда файл Sitemap.xml содержит запрашиваемый URL, и его индексация разрешена в Robots.txt. Другими словами, клиент с разрешения индексации послал запрос на обработку страницы, но сервер не нашел ее. Тогда в отчете мы сможем увидеть, где была обнаружена ошибка.
Пример:
- Не найдено (404).
Встречается, когда робот самостоятельно нашел битую ссылку, независимо от информации в Sitemap. Чаще всего это случается при переходе поисковым роботом по ссылке с другого сайта. В таком случае источник обнаружения ошибки в отчете не указан.
Пример:
Screaming Frog и Netpeak Spider
Данные сканеры удобны, когда проводится технический экспресс-аудит сайта. Программа ищет все ссылки с кодом ответа 404, указывает их источники и анкоры. Все данные можно выгрузить в таблицу.
Общие рекомендации, как устранить 404 ошибку
Для этого рекомендуем:
- Определить источник Error 404, где размещены мертвые ссылки. Для этого можно воспользоваться любой программой для сканирования сайтов на ошибки.
- Отфильтровать все url-адреса по коду 404. Получаем список всех ошибок с внутренними ссылками на такие страницы. Желательно сравнить результат сканирования с результатами в Google Search Console.
- Битые ссылки, ведущие на страницы с кодом 404, удалить либо заменить на правильные. Также ненужные страницы с ошибкой нужно удалить из файла Sitemap.xml. В противном случае они продолжат сканироваться поисковым роботом.
- Если вы нашли Soft 404 ошибки, настройте для таких страниц код ответа 404. Также обновите ссылки в файле Sitemap.xml.
Пример отображения данных в Google Search Console после устранения 404 ошибок:
Как сократить количество 404 ошибок
Пример отображения данных в Google Search Console после устранения 404 ошибок:
1 вариант: когда изменился принцип формирования ссылочной массы.
- Настроить 301 редирект с неактуальных страниц на нужные.
- Обновить список адресов в файле Sitemap.xml.
- Обновить необходимые внутренние ссылки на сайте.
2 вариант: когда товары на странице долго отсутствуют либо никогда больше не появятся.
В данном случае нет единого правильного решения. Чаще всего используются три подхода:
- Настройка http-кода 404
Установка кода 404 или 410 для страниц с товарами, которых уже нет в наличии, может привести к потере позиций по данным запросам, что ведет к уменьшению продаж. К тому же, внешняя обратная ссылочная масса, ведущая на эти страницы, будет потеряна.
Решение: как можно дольше не настраивать код 404. Даже если товара нет в наличии, страница будет ранжироваться и приводить трафик на сайт. Вместо закончившегося товара можно предложить пользователям другие похожие товары.
Последовательность настройки может быть такой:
- В первый год страница индексируется, страница отдает код 200 ОК.
- На второй год URL удаляется из файла Sitemap, из списка товаров, панели фильтров. Однако страница доступна по прямому адресу, и сервер возвращает ответ 200.
- На третий год по данному адресу устанавливается код 404 или 410, удаляются ссылки, ведущие на эту страницу.
Периодичность приведена условная. Главное — получить как можно больше трафика на сайт и сохранить ранжирование популярной страницы.
- Настройка http-кода 301 на главную страницу
Нужно понимать, что редирект на нерелевантную страницу может привести к появлению ложных ошибок (Soft 404), которые вводят в заблуждение и поискового робота, и пользователей. Потому как, согласно требованиям поисковой системы, 301 редирект должен перенаправлять на страницу с аналогичным контентом. В дальнейшем это может плохо повлиять на ранжирование сайта.
- Настройка http-кода 301 на страницу с похожим контентом
Это самый безопасный способ сохранить позиции сайта в выдаче, не потерять обратные внешние ссылки. К тому же, перенаправление пользователей на страницу с похожими товарами не вызовет раздражения у пользователей и более вероятно приведет к покупке. Настроив редирект, важно обновить адреса в файле Sitemap и перенаправить внутренние ссылки.
3 вариант: когда товары на сайте отсутствуют временно.
Если товар часто исчезает и появляется на сайте, крайне не рекомендуется устанавливать код ошибки 404 или редирект 301, 302. Возобновление позиций в рейтинге поисковых систем происходит долго, при этом компания будет терять деньги за счет маленького количества переходов по этому запросу.
В этом случае лучше оптимизировать эту страницу, например:
- возле каждого товара установить пометку «в наличии» (In Stock);
- показывать отсутствующие товары в конце списка в листинге;
- предлагать похожие товары.
4 вариант. Когда страницы нужно удалить.
Кроме страниц с устаревшим контентом, есть множество других, которые периодически нужно удалять из индекса. Это могут быть страницы, не приносящие посещений на сайт, сервисные, генерируемые CMS.
Последовательность настройки удаленных страниц такова:
- Для всех URL’ов настроить код 404 Not found.
- Удалить старые адреса из списка файлов Sitemap.xml.
- Почистить внутренние ссылки, которые вели на удаленную страницу.
Как представить страницу 404 (Not found) для посетителей
Увидев страницу с ошибкой, пользователь может немедленно покинуть сайт либо остаться и продолжить изучение контента. Все зависит от правильной оптимизации страницы, главная цель которой — удержать посетителя на сайте.
Что включает в себя правильная оптимизация страницы 404:
- После запроса клиента, сервер возвращает ошибку 404.
- На странице языком, понятным для пользователя, описывается, что произошла ошибка. По сути, пользователь вообще не должен видеть код 404. Просто этот ответ так часто попадается, что его запомнили даже те, кто далек от программирования.
- Дизайн страницы должен быть похож на дизайн всего сайта.
- Страница 404 обязательно содержит навигацию: переход на главную страницу, другие разделы сайта.
- На странице имеется окно поиска по сайту.
- Указаны контакты: телефон, электронный адрес или окно для обращения, если это необходимо.
Но также важно не перегрузить страницу информацией, чтобы человек сразу понял, что попал на несуществующую страницу и не терял времени.
Варианты оригинального оформления страниц 404
Яркая страница у Sportmaster:
404 страница Intertop.ua выдержана в тематике интернет-магазина:
Tripadvisor объясняет не найденную страницу как «кажется, у этой страницы отпуск…» и предлагает посетителю тоже отдохнуть:
У Pokupon.ua солнечное сообщение о 404 ошибке на фоне плывущих облаков:
На 404 странице ТМ Ласунка супер герой — шарик мороженого — предлагает провести заблудившегося пользователя:
Выводы
Вопреки распространенному мнению, страницы с кодом 404 не влияют на ранжирование сайта. Однако внешние и внутренние ссылки, ведущие на эти страницы в большом количестве, могут способствовать потере позиций в выдаче. К тому же, неправильно оформленная страница 404 создает негативный опыт пользователя, что приводит к потере трафика.
Постройте правильный алгоритм оптимизации страницы, сделайте ее привлекательной для пользователя. Это поможет удержать позиции сайта в выдаче и сохранить прибыль компании.