На сайте обнаружен спам

Вы получили от провайдера запрос о том, что со страниц сайта, которым вы управляете распространяется спам.

Известно, что веб-мастера используют файл «robots.txt» на веб-сервере для управления бюджетом seo, для предотвращения сканирования таких страниц, как страницы  результатов поиска.

Поисковые роботы тратят время на индексацию страницы  результатов поиска и не будут обрабатывать необходимые страницы, это повлечет за собой увеличение времени индексации, а некоторые хорошие страницы будут игнорироваться.

Существуют спам-боты, которые использует спам-фразы со спам-ссылкой на страницах результатов поиска. Страница результатов поиска может содержать фразу со ссылкой, даже если ее нет на сайте. При этом ссылка может быть активной.

Добавление директивы «Disallow: / search» в файл «robots.txt»:

User-agent: *
Disallow: /search

запретит индексацию и посещение страниц с результатами поиска поисковыми роботами, но не решит проблему спам-запросов полностью.

Google говорит, что страница может быть проиндексирована, если на нее ссылаются другие сайты.

Хотя Google не будет сканировать или индексировать контент, заблокированный файлом «robots.txt», мы все равно можем найти и проиндексировать запрещенный URL, если он связан с другими местами в Интернете. В результате URL-адрес и, возможно, другая общедоступная информация,  все еще могут появляться в результатах поиска Google.

Чтобы должным образом предотвратить появление URL-адреса в результатах поиска Google, необходимо защитить файлы на сервере паролем или использовать метатег noindex, или полностью удалить страницу.

Например, вы должны добавить метатег NoIndex в шаблон страницы результатов поиска.

<meta name = “robots” content = “noindex”>

Чтобы запретить индексирование страницы только веб-сканерам Google добавьте метатег NoIndex следующим образом:

 <meta name = “googlebot” content = “noindex”>

Однако, некоторые роботы поисковых систем могут по-разному интерпретировать директиву NoIndex, в результате чего все еще возможно отображение страницы в поисковых результатах других поисковых систем.

Что спамеры ищут на сайте? Почему они получают ссылку на результаты поиска по ключевым словами и копируют ее на другие веб-ресурсы?

Дело в том, что когда боты Google посещают страницы с такой ссылкой, они переходят по ней, попадают на запрещенную страницу и индексируют ее со спамом.

В результате пользователи, которые будут искать те же фразы в Google, могут получить такие страницы со спамом. Это опасно, потому что некоторые важные данные могут быть скомпрометированы: номера телефонов, контактные электронные письма и так далее.

Выход есть. Воспользоваться формой поиска, которая защищена плагином CleanTalk Anti-Spam.

Плагин CleanTalk Anti-Spam дает возможность защитить форму поиска сайта от спам-ботов для WordPress, Joomla 2.5, Drupal 8.

Если форма поиска получает данные слишком часто, то плагин CleanTalk добавит паузу и будет увеличивать ее с каждой новой попыткой отправки данных. Это позволит съэкономить время процессора веб-сервера.

Таким образом, индексация для поисковых  роботов не будет запрещена, но одновременно будет установлена защита от спам-ботов.

CleanTalk также позволяет увидеть запросы, которые пользователи искали через форму поиска, оптимизировать сайт и сделать информацию на нем более доступной.