Регистрация апдейта своими силами

@ganop-divitarip · Регистрация: 15.06.2009

Author24 — интернет-сервис помощи студентам

Написал скрипт съема позиций по Яндексу.
Вопрос. Если из него я соберу такую систему, которая будет брать раз в сутки позиции, например, по 500 доменом по 100 разным запросам, затем, всё это дело сверять с предыдущим результатом,
насколько достоверной будет информация апдейта при таком анализе или всё же еще бэки надо учитывать?

@3unf · 09.09.2009, 16:22

а смысл изобретать велосипед?

@ganop-divitarip · 09.09.2009, 16:36 **[ТС]**

На своём велосипеде можно и гайки покрутить и маслица капнуть ;)
Всё же такой метод актуален?

@Golotemo · 09.09.2009, 16:50

думаю, 500 доменом по 100 запросов - это мало.. бывает, апит не по всем тематикам или некоторые запросы вообще не трогает, а по другим - сильный ап.. так что по 100 запросам реальную картину не нарисовать..

@ganop-divitarip · 09.09.2009, 17:05 **[ТС]**

Я планирую так:
Берем запрос, получаем первые эдак 20 страниц, записываем домены и позиции и так по многу запросов.
На следующий день делаем так же и сверяем.
И тут я только что сам понял, что скачки в любом случае будут, так как он выдачу иногда перемешивает.
Ёклмн. Может все же помозгуем как это можно дополнить? Всему мастертолку инвайты обещаю =)
А если сверку делать процентно? Допустим 10 смещений = 1% и ап засчитать при смещении больше 5-10%.

@Odomidit · 09.09.2009, 17:19

ну про гайки и масло это конечно верно, ну а так есть ресурсы кот это давно и довольно грамотно делают еще и прогнозируют) а вот запрограммить какую нить вещицу пополезнее было бы интересно)

@ganop-divitarip · 09.09.2009, 17:33 **[ТС]**

ну про гайки и масло это конечно верно, ну а так есть ресурсы кот это давно и довольно грамотно делают еще и прогнозируют) а вот запрограммить какую нить вещицу пополезнее было бы интересно)

Так об этом с самого начала речь и идет =)
Такая идея появилась, потому что только и вижу в подфоруме "Адейты" посты типа "Ап", "Нет не ап", "Нет ап". Чтобы уж наверняка.
Думаю, если разводить дискуссию на тему "а давайте спрограммим то-то", то на сутки в читатели уйдём, так что лучше такое в личку,
а тут давайте тогда по существу. Про личку - это удочка была, типа "пишите, напишу на шару, лишь бы общественную пользу несло" ;)
Помощь в программировании приветствуется при распределении работ.

@Golotemo · 09.09.2009, 17:47

мне кажется сама идея полезности такой программы несколько преувеличена..
я вот, к примеру, ночью спокойно сплю, утром встаю, позиции проверяю. если изменились - ап был, не изменились - не было. проще простого. а главное, сто процентно верная информация!
и вообще слабо понимаю, в чем смысл пол ночи гадать - идет ап или нет, каждые пять минут выдачу проверять.. что измениться от этого? повлиять на него все равно нельзя.. тем более, что к утру все равно откатить могут ;)

@ganop-divitarip · 09.09.2009, 18:01 **[ТС]**

А я сейчас сижу и практически о том же думаю )))
На счет полезности пока ничего и не говорю. Пока это только в виде пары сотен строк кода, большого количества идей и неопределенности.
А вот для кого-то критично знать - был ап или нет. Для меня например )) Каждый сайт бегать проверять - больно уж влом ))
А так зашел, посмотрел и тогда уже что-то предпринимать. Например стартовать топик в подфоруме "Апдейты" =)
Эх. Мне кажется, всё это возможно, но пройдет еще немало времени, пока такая система будет давать точные результаты,
так как в мозги к Яше не залезешь, а только пальцем в небо.
Наверное я складываю руки и буду использовать свой скрипт только для локального съема позиций, но никак не для анализа.

@Golotemo · 09.09.2009, 18:15

ну если нужно узнать был ап или нет - зайдите в ветку "Яндекс" и гляньте - если тема "Апдейт такоготочисла" открыта - был, закрыта - не было)) но это опять же уже утром))
а если хочется полезного чего сделать - сделайте мне голосовалку на сайт :P а то у меня с программированием не очень :\">

@ganop-divitarip · 09.09.2009, 18:30 **[ТС]**

Я бы мог конечно сказать "наглость - второе счастье", но боюсь обидеть даму =) К сожалению, такие разработки платные, если конечно программист не испытывает к Вам самых нежных чувств или у него просто очень много свободного времени и ему не нужны деньги =) А я не подхожу под эти критерии. Особенно под последний ;)

@Golotemo · 09.09.2009, 18:44

Я бы мог конечно сказать "наглость - второе счастье", но боюсь обидеть даму =) К сожалению, такие разработки платные, если конечно программист не испытывает к Вам самых нежных чувств или у него просто очень много свободного времени и ему не нужны деньги =) А я не подхожу под эти критерии. Особенно под последний ;)

прям таки приятно поражена вашей тактичности (иронии здесь нет) :)
а по сабжу, я хоть и считаю затею пустой тратой времени, но как сделаете - похвастайтесь что получится :)

@Odomidit · 09.09.2009, 18:58

1)мое мнение, если делать то много и сразу и что б все работало и под это дело отдельный сайт и раскрутить его
2)потом начать продавать рекламу убить сайт под ноль и пойти спокойно спать с чуйством выполненного долга)

з.ы. второй пункт моно и не выполнять

@ganop-divitarip · 09.09.2009, 19:12 **[ТС]**

Тогда завтра в это же время, в этом же месте ;)
Уважаемые Модераторы! Пожалуйста, не закрывайте тему, дабы я не создавал одинаковых по смыслу =)

Ко всему вышесказанному хочу добавить, что мой скрипт снимает позиции не только по Яше. Так же поддерживается Google, Rambler, Nigma и GoGo.
О том, что GoGo не интересует оптимизаторов, говорить не стоит =) Это я просто сделал, может пригодится. Bing и Yahoo не осилил, так как у них всё хитро.
Пока не брался хитрость эту раскалывать.
Пока я окончательно не взялся за писанину, сразу всех хочу спросить - делать анализ для остальных, кроме Яши или нет?

@ganop-divitarip · 09.09.2009, 19:26 **[ТС]**

1)мое мнение, если делать то много и сразу и что б все работало и под это дело отдельный сайт и раскрутить его
2)потом начать продавать рекламу убить сайт под ноль и пойти спокойно спать с чуйством выполненного долга)

з.ы. второй пункт моно и не выполнять

Сайт я делать не собираюсь. Только локальный запуск.
На крайний случай, могу купить выделенный IP и прикрутить апач, чтобы все желающие могли зайти и посмотреть что там эта штука наанализировала =)
Смысл идеи не в извлечении прибыли а в получении достоверных данных и функциональности. Я эдакий сторонник Free Software Foundation =)

@Odomidit · 09.09.2009, 19:40

Сайт я делать не собираюсь. Только локальный запуск.
На крайний случай, могу купить выделенный IP и прикрутить апач, чтобы все желающие могли зайти и посмотреть что там эта штука наанализировала =)
Смысл идеи не в извлечении прибыли а в получении достоверных данных и функциональности. Я эдакий сторонник Free Software Foundation =)

мое дело предложить ваше отказаться ;)

@ganop-divitarip · 09.09.2009, 19:55 **[ТС]**

Это было учтено с самого начала разработки. Паузы в 2 секунды ему хватает за глаза. Одной - не хватает. Быстро банит.
Этого времени как раз хватает на обработку страницы и формирование результата в нужной форме.
Еще скрипт съедает чистый HTML Яши, то есть xml.yandex тут не используется. Не волнуйтесь. Я сделал всё, чтобы он думал, что я всё это делаю руками =)

@ganop-divitarip · 09.09.2009, 20:09 **[ТС]**

Site-auditor при двух секундах задержки банится. 5 секунд помогает

А вот и хватает! Вторые сутки это проверяю =)
Представь, сколько я буду проходить 100 запросов, по 10 страниц с каждого (хотя я по 20-30 хочу), если пауза будет 5 секунд!
Это 83+ минуты! А если пускай даже я 2,5 секунды паузу сделаю а не две, это ~40 минут. Уже лучше.
Ща еще подумаю как сделать, чтобы он боту выдавал по 50 результатов.
Тогда время конечного выполнения можно делить на 5, а это большой плюс.

@ganop-divitarip · 10.09.2009, 20:23 **[ТС]**

Таксь. Продолжим.
1) Если брать 100 запросов и по каждому из них 500 доменов в том же порядке что и в серпе, то будут встречаться одинаковые домены, но разные страницы.
Вот тут и запара. Засчитывать только морду? Может это конечно не запара, а я туплю =)
2) Как сформировать базу запросов, так, чтобы и по разным тематикам и по частотности было "ни вашим ни нашим"? Стоит ли впрягать сюда wordstat.yandex?
3) Всё же каков процент смещения считать апом, если 1% = 10 смещениям по одному запросу? И какой шаг смещения засчитывать - +1 -1 или же например +5 -5 ?

@ganop-divitarip · 10.09.2009, 20:37 **[ТС]**

Ахаха ))) Вот то что ап был - это сто процентов )))
По запросу "скрипт съема позиций" эта тема в Яше на первом месте а прошло всего несколько часов )))
Простите за офтоп, но я не удержался )))

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 18:30 [ТС]	11
	Я бы мог конечно сказать "наглость - второе счастье", но боюсь обидеть даму =) К сожалению, такие разработки платные, если конечно программист не испытывает к Вам самых нежных чувств или у него просто очень много свободного времени и ему не нужны деньги =) А я не подхожу под эти критерии. Особенно под последний ;) 0

@Odomidit Регистрация: 02.09.2009 Сообщений: 239
	09.09.2009, 18:58	13
	1)мое мнение, если делать то много и сразу и что б все работало и под это дело отдельный сайт и раскрутить его 2)потом начать продавать рекламу убить сайт под ноль и пойти спокойно спать с чуйством выполненного долга) з.ы. второй пункт моно и не выполнять 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 19:12 [ТС]	14
	Тогда завтра в это же время, в этом же месте ;) Уважаемые Модераторы! Пожалуйста, не закрывайте тему, дабы я не создавал одинаковых по смыслу =) Ко всему вышесказанному хочу добавить, что мой скрипт снимает позиции не только по Яше. Так же поддерживается Google, Rambler, Nigma и GoGo. О том, что GoGo не интересует оптимизаторов, говорить не стоит =) Это я просто сделал, может пригодится. Bing и Yahoo не осилил, так как у них всё хитро. Пока не брался хитрость эту раскалывать. Пока я окончательно не взялся за писанину, сразу всех хочу спросить - делать анализ для остальных, кроме Яши или нет? 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
		1
	Регистрация апдейта своими силами 09.09.2009, 13:28. Показов 7590. Ответов 20 Метки нет (Все метки) Написал скрипт съема позиций по Яндексу. Вопрос. Если из него я соберу такую систему, которая будет брать раз в сутки позиции, например, по 500 доменом по 100 разным запросам, затем, всё это дело сверять с предыдущим результатом, насколько достоверной будет информация апдейта при таком анализе или всё же еще бэки надо учитывать? 0

@3unf Регистрация: 27.02.2007 Сообщений: 403
	09.09.2009, 16:22	2
	а смысл изобретать велосипед? 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 16:36 [ТС]	3
	На своём велосипеде можно и гайки покрутить и маслица капнуть ;) Всё же такой метод актуален? 0

@Golotemo Регистрация: 30.09.2008 Сообщений: 229
	09.09.2009, 16:50	4
	думаю, 500 доменом по 100 запросов - это мало.. бывает, апит не по всем тематикам или некоторые запросы вообще не трогает, а по другим - сильный ап.. так что по 100 запросам реальную картину не нарисовать.. 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 17:05 [ТС]	5
	Я планирую так: Берем запрос, получаем первые эдак 20 страниц, записываем домены и позиции и так по многу запросов. На следующий день делаем так же и сверяем. И тут я только что сам понял, что скачки в любом случае будут, так как он выдачу иногда перемешивает. Ёклмн. Может все же помозгуем как это можно дополнить? Всему мастертолку инвайты обещаю =) А если сверку делать процентно? Допустим 10 смещений = 1% и ап засчитать при смещении больше 5-10%. 0

@Odomidit Регистрация: 02.09.2009 Сообщений: 239
	09.09.2009, 17:19	6
	ну про гайки и масло это конечно верно, ну а так есть ресурсы кот это давно и довольно грамотно делают еще и прогнозируют) а вот запрограммить какую нить вещицу пополезнее было бы интересно) 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 17:33 [ТС]	7
	ну про гайки и масло это конечно верно, ну а так есть ресурсы кот это давно и довольно грамотно делают еще и прогнозируют) а вот запрограммить какую нить вещицу пополезнее было бы интересно) Так об этом с самого начала речь и идет =) Такая идея появилась, потому что только и вижу в подфоруме "Адейты" посты типа "Ап", "Нет не ап", "Нет ап". Чтобы уж наверняка. Думаю, если разводить дискуссию на тему "а давайте спрограммим то-то", то на сутки в читатели уйдём, так что лучше такое в личку, а тут давайте тогда по существу. Про личку - это удочка была, типа "пишите, напишу на шару, лишь бы общественную пользу несло" ;) Помощь в программировании приветствуется при распределении работ. 0

@Golotemo Регистрация: 30.09.2008 Сообщений: 229
	09.09.2009, 17:47	8
	мне кажется сама идея полезности такой программы несколько преувеличена.. я вот, к примеру, ночью спокойно сплю, утром встаю, позиции проверяю. если изменились - ап был, не изменились - не было. проще простого. а главное, сто процентно верная информация! и вообще слабо понимаю, в чем смысл пол ночи гадать - идет ап или нет, каждые пять минут выдачу проверять.. что измениться от этого? повлиять на него все равно нельзя.. тем более, что к утру все равно откатить могут ;) 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 18:01 [ТС]	9
	А я сейчас сижу и практически о том же думаю ))) На счет полезности пока ничего и не говорю. Пока это только в виде пары сотен строк кода, большого количества идей и неопределенности. А вот для кого-то критично знать - был ап или нет. Для меня например )) Каждый сайт бегать проверять - больно уж влом )) А так зашел, посмотрел и тогда уже что-то предпринимать. Например стартовать топик в подфоруме "Апдейты" =) Эх. Мне кажется, всё это возможно, но пройдет еще немало времени, пока такая система будет давать точные результаты, так как в мозги к Яше не залезешь, а только пальцем в небо. Наверное я складываю руки и буду использовать свой скрипт только для локального съема позиций, но никак не для анализа. 0

@Golotemo Регистрация: 30.09.2008 Сообщений: 229
	09.09.2009, 18:15	10
	ну если нужно узнать был ап или нет - зайдите в ветку "Яндекс" и гляньте - если тема "Апдейт такоготочисла" открыта - был, закрыта - не было)) но это опять же уже утром)) а если хочется полезного чего сделать - сделайте мне голосовалку на сайт :P а то у меня с программированием не очень :\"> 0

	10.09.2009, 20:37

@Golotemo Регистрация: 30.09.2008 Сообщений: 229
	09.09.2009, 18:44	12
	Я бы мог конечно сказать "наглость - второе счастье", но боюсь обидеть даму =) К сожалению, такие разработки платные, если конечно программист не испытывает к Вам самых нежных чувств или у него просто очень много свободного времени и ему не нужны деньги =) А я не подхожу под эти критерии. Особенно под последний ;) прям таки приятно поражена вашей тактичности (иронии здесь нет) :) а по сабжу, я хоть и считаю затею пустой тратой времени, но как сделаете - похвастайтесь что получится :) 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 19:26 [ТС]	15
	1)мое мнение, если делать то много и сразу и что б все работало и под это дело отдельный сайт и раскрутить его 2)потом начать продавать рекламу убить сайт под ноль и пойти спокойно спать с чуйством выполненного долга) з.ы. второй пункт моно и не выполнять Сайт я делать не собираюсь. Только локальный запуск. На крайний случай, могу купить выделенный IP и прикрутить апач, чтобы все желающие могли зайти и посмотреть что там эта штука наанализировала =) Смысл идеи не в извлечении прибыли а в получении достоверных данных и функциональности. Я эдакий сторонник Free Software Foundation =) 0

@Odomidit Регистрация: 02.09.2009 Сообщений: 239
	09.09.2009, 19:40	16
	Сайт я делать не собираюсь. Только локальный запуск. На крайний случай, могу купить выделенный IP и прикрутить апач, чтобы все желающие могли зайти и посмотреть что там эта штука наанализировала =) Смысл идеи не в извлечении прибыли а в получении достоверных данных и функциональности. Я эдакий сторонник Free Software Foundation =) мое дело предложить ваше отказаться ;) 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 19:55 [ТС]	17
	Это было учтено с самого начала разработки. Паузы в 2 секунды ему хватает за глаза. Одной - не хватает. Быстро банит. Этого времени как раз хватает на обработку страницы и формирование результата в нужной форме. Еще скрипт съедает чистый HTML Яши, то есть xml.yandex тут не используется. Не волнуйтесь. Я сделал всё, чтобы он думал, что я всё это делаю руками =) 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	09.09.2009, 20:09 [ТС]	18
	Site-auditor при двух секундах задержки банится. 5 секунд помогает А вот и хватает! Вторые сутки это проверяю =) Представь, сколько я буду проходить 100 запросов, по 10 страниц с каждого (хотя я по 20-30 хочу), если пауза будет 5 секунд! Это 83+ минуты! А если пускай даже я 2,5 секунды паузу сделаю а не две, это ~40 минут. Уже лучше. Ща еще подумаю как сделать, чтобы он боту выдавал по 50 результатов. Тогда время конечного выполнения можно делить на 5, а это большой плюс. 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	10.09.2009, 20:23 [ТС]	19
	Таксь. Продолжим. 1) Если брать 100 запросов и по каждому из них 500 доменов в том же порядке что и в серпе, то будут встречаться одинаковые домены, но разные страницы. Вот тут и запара. Засчитывать только морду? Может это конечно не запара, а я туплю =) 2) Как сформировать базу запросов, так, чтобы и по разным тематикам и по частотности было "ни вашим ни нашим"? Стоит ли впрягать сюда wordstat.yandex? 3) Всё же каков процент смещения считать апом, если 1% = 10 смещениям по одному запросу? И какой шаг смещения засчитывать - +1 -1 или же например +5 -5 ? 0

@ganop-divitarip Регистрация: 15.06.2009 Сообщений: 35
	10.09.2009, 20:37 [ТС]	20
	Ахаха ))) Вот то что ап был - это сто процентов ))) По запросу "скрипт съема позиций" эта тема в Яше на первом месте а прошло всего несколько часов ))) Простите за офтоп, но я не удержался ))) 0