корректный роботс для самописного сайта

@lifeact · Регистрация: 24.10.2012

Author24 — интернет-сервис помощи студентам

Всем привет! Пишу потихоньку сайт афоризмов http://aforizmus.com/

Роботс делал по статье, а также методом тыка (смотрел в гуглвебмастере ошибки сканирования и путь писал в роботс)

вот мой роботс:

HTML5

User-agent: *
Allow: /Images/Data/
Disallow: /home/Rss
Disallow: /Record/GetAvtorsSide
Disallow: /Record/AphorismByAvtor
Disallow: /Record/AphorismByCat
Disallow: /Record/RecToEml
Disallow: /Record/RecToFav
Disallow: /Record/AddComment
Disallow: /Record/AddChildToComment
Disallow: /?page
Disallow: /404.htm

/Images/Data/ это папка картинок статей, аватарок, я бы хотел чтобы они индексировались, но в корневой папке Images масса других папок и картинок.... как то можно Images закрыть, но /Images/Data/ оставить открытым?

буду благодарен за комментарии и подсказки, может я где то налажал... спасибо

Добавлено через 4 часа 47 минут
предполагаю, что с картинками так:

Disallow: /Images
Allow: /Images/Data

сначала на все запрещаем, затем разрешаем только нужную

Добавлено через 3 минуты
сморю чеклист (http://www.seochecklist.ru/), в начале похоже лучше сделать так:

User-agent:*
User-agent: Yandex
Host: aforizmus.com

	13.01.2015, 15:58