Файл robots.txt — как правильно блокировать часть страницы?

@Булат Азат улы · Регистрация: 23.02.2017

Author24 — интернет-сервис помощи студентам

Всем здравствуйте. До этого времени держал свой сайт без файла robots.txt, но вот сегодня об этом начал задумываться.
Основная причина — в поисковиках выводит мой сайт не красиво: показывает навигацию. Вот и вопрос: как его правильно скрыть.
Мой сайт разделен на 4 блока — верхний (шапка (рисунок) и навигация), два боковых - одинаковые на свех страницах, и основной блок, который расположен по середине.
Все три блока, кроме основной, соединены к страницам с помощью

PHP

1	<?php include("../headNav.php"); ?>

.
Файл robots.txt я написал таким образом:

Код

User-agent: *
Disallow: /images/
Disallow: /headNav.php
Disallow: /footer.php
Disallow: /formdata.php
Disallow: /left.php
Disallow: /right.php

К тому же, в файлах headNav, left, right хотел содержимое включить в теги <noindex>, но тут прочитал, что если файл запрещен в robots.txt, то тег не будет прочтен роботом.
Помогите пожалуйста, у кого есть знания и опыт, как мне скрыть от индексации файлы headNav.php, left.php, right.php, которые являются частью страниц сайта?

@bestov · 18.03.2017, 12:28

Приветствую!

Нужно конкретный урл, CMS или фреймворк на котором писали сайт, а также подробнее цели, которые требуются.

@Булат Азат улы · 03.04.2017, 22:35 **[ТС]**

Vaskova, ну а что хорошего, когда в поисковике вместо полезного контента показывает навигацию?

@JackJack13 · 19.04.2017, 19:17

Для WordPress делается так:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

@bestov 2 / 2 / 0 Регистрация: 09.01.2017 Сообщений: 24
	18.03.2017, 12:28	2
	Приветствую! Нужно конкретный урл, CMS или фреймворк на котором писали сайт, а также подробнее цели, которые требуются. 0

@Булат Азат улы 0 / 0 / 0 Регистрация: 23.02.2017 Сообщений: 23
	03.04.2017, 22:35 [ТС]	3
	Vaskova, ну а что хорошего, когда в поисковике вместо полезного контента показывает навигацию? 0

@JackJack13 12 / 12 / 0 Регистрация: 25.08.2016 Сообщений: 24
	19.04.2017, 19:17	4
	Для WordPress делается так: User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /trackback Disallow: //trackback Disallow: //feed// Disallow: /feed Disallow: /?* Disallow: /tag User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /trackback Disallow: //trackback Disallow: //feed// Disallow: /feed Disallow: /?* Disallow: /tag Host: ваш_сайт.ru Sitemap: http://ваш_сайт.ru /sitemap.xml.gz Sitemap: http://ваш_сайт.ru /sitemap.xml 0