[@malor]

Нет сайта в выдаче вида site:mysite.ru.

До 13 февраля у меня стоял следующий robots:

Code
1 2 3 4 5 6 7 8 9 10 User-agent: Yandex Disallow: / Allow: /yandex_* Host: mysite.ru   User-agent: * Disallow: / Allow: /google_*   Sitemap: http://mysite.ru/sitemap.xml

13 числа я его сделал таким:

Новый файл robots.txt

Code

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /? Disallow: *?s= Disallow: *&s= Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: */uploads Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php Host: mysite.ru   User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /? Disallow: *?s= Disallow: *&s= Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: */uploads Disallow: */rss Disallow: */embed Disallow: */wlwmanifest.xml Disallow: /xmlrpc.php   Sitemap: http://mysite.ru/sitemap.xml

Сразу после этого я отправился в Google Search Console и Yandex Webmaster.

Приведу вам скрины из Search Console.

Что сделал не так?

[@Jasta]

Ну раньше у Вас была ошибка в robots в директиве Disalow:

Disallow: /

Она закрыла все от индекса все страницы, кроме главной
Сейчас всё вроде верно. Ждите переобхода, отслеживайте его через RDS bar

[@malor]

Когда в Google Search Console добавляешь страницу, чтобы Google просканировал, то довольно
быстро в считанные минуты можно проверить, что страница в поиске.

Я так неоднократно делал, только с другим сайтом. Добавлю статью на сайт, в GSC иду в раздел посмотреть
как GoogleBot и даю указание просканировать. Всё было быстро.

Почему же тут так долго? Он что, спустя много дней только замечает изменения в robots.txt?

[@Jasta]

Почему же тут так долго? Он что, спустя много дней только замечает изменения в robots.txt?

ХЗ. На самом деле добавляя страницу через Google Search Console Вы вовсе не даёте команду боту на обход, а лишь расставляете приоритеты для ближайшего обхода. Если бы каждый мог вызвать к себе бота в любой момент, то у поисковиков бы не каких ресурсов не хватило

[@malor]

Решил проверить на сайте "tool.motoricerca.info" и вот что написало мне:

Хотя, например, у Киберфорума так:

[@malor]

Это произошло из-за настройки в WordPress:
Почему у меня в коде строка <meta name='robots' content='noindex,follow' /> содержит noindex?