Файл robots.txt — как правильно блокировать часть страницы?

@Булат Азат улы · Регистрация: 23.02.2017

Author24 — интернет-сервис помощи студентам

Всем здравствуйте. До этого времени держал свой сайт без файла robots.txt, но вот сегодня об этом начал задумываться.
Основная причина — в поисковиках выводит мой сайт не красиво: показывает навигацию. Вот и вопрос: как его правильно скрыть.
Мой сайт разделен на 4 блока — верхний (шапка (рисунок) и навигация), два боковых - одинаковые на свех страницах, и основной блок, который расположен по середине.
Все три блока, кроме основной, соединены к страницам с помощью

PHP

1	<?php include("../headNav.php"); ?>

.
Файл robots.txt я написал таким образом:

Код

User-agent: *
Disallow: /images/
Disallow: /headNav.php
Disallow: /footer.php
Disallow: /formdata.php
Disallow: /left.php
Disallow: /right.php

К тому же, в файлах headNav, left, right хотел содержимое включить в теги <noindex>, но тут прочитал, что если файл запрещен в robots.txt, то тег не будет прочтен роботом.
Помогите пожалуйста, у кого есть знания и опыт, как мне скрыть от индексации файлы headNav.php, left.php, right.php, которые являются частью страниц сайта?

@bestov · 18.03.2017, 12:28

Приветствую!

Нужно конкретный урл, CMS или фреймворк на котором писали сайт, а также подробнее цели, которые требуются.

@Булат Азат улы · 03.04.2017, 22:35 **[ТС]**

Vaskova, ну а что хорошего, когда в поисковике вместо полезного контента показывает навигацию?

@JackJack13 · 19.04.2017, 19:17

Для WordPress делается так:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: ваш_сайт.ru

Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Новые блоги и статьи
Книги и учебные ресурсы по C# InfoMaster 08.01.2025 Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .	Что такое NullReferenceException и как исправить? InfoMaster 08.01.2025 NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .	Что такое Null Pointer Exception (NPE) и как это исправить? InfoMaster 08.01.2025 Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .	Русский язык в консоли C++ InfoMaster 08.01.2025 При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .	Telegram бот на C# InfoMaster 08.01.2025 Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .	Использование GraphQL в Go (Golang) InfoMaster 08.01.2025 Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор? Alexander-7 08.01.2025 Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .	Как работать с GraphQL на TypeScript InfoMaster 08.01.2025 Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .	Счётчик на базе сумматоров + регистров и генератора сигналов согласования. Hrethgir 07.01.2025 Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .	Как перейти с Options API на Composition API в Vue.js BasicMan 06.01.2025 Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .	Архитектура современных процессоров inter-admin 06.01.2025 Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .	История создания реляционной модели баз данных, правила Кодда Programming 06.01.2025 Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .

@bestov 2 / 2 / 0 Регистрация: 09.01.2017 Сообщений: 24
	18.03.2017, 12:28	2
	Приветствую! Нужно конкретный урл, CMS или фреймворк на котором писали сайт, а также подробнее цели, которые требуются. 0

@Булат Азат улы 0 / 0 / 0 Регистрация: 23.02.2017 Сообщений: 23
	03.04.2017, 22:35 [ТС]	3
	Vaskova, ну а что хорошего, когда в поисковике вместо полезного контента показывает навигацию? 0

@JackJack13 12 / 12 / 0 Регистрация: 25.08.2016 Сообщений: 24
	19.04.2017, 19:17	4
	Для WordPress делается так: User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /trackback Disallow: //trackback Disallow: //feed// Disallow: /feed Disallow: /?* Disallow: /tag User-agent: Yandex Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /trackback Disallow: //trackback Disallow: //feed// Disallow: /feed Disallow: /?* Disallow: /tag Host: ваш_сайт.ru Sitemap: http://ваш_сайт.ru /sitemap.xml.gz Sitemap: http://ваш_сайт.ru /sitemap.xml 0