Очень сложный парсер

@никыч · Регистрация: 28.01.2013

Author24 — интернет-сервис помощи студентам

Добрый день, уважаемое сообщество.
Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер?
Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата?
Скажите возможно ли такое сделать?
Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер?

Добавлено через 21 час 29 минут
Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети?

@LORDofLINEAGE · 06.01.2016, 13:47

Сообщение от никыч

Добрый день, уважаемое сообщество.
Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер?
Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата?
Скажите возможно ли такое сделать?
Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер?

Добавлено через 21 час 29 минут
Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети?

Возможно почти все, главное применять правильные инструменты и использовать правильный подход. Зависит от сайта: как он отправляет данные, шифрует ли, какие заголовки используются. Если хотите сами разобраться, используйте программу или расширения для браузера, чтобы следить за заголовками. Если хотите код или готовую подсказку, то предоставьте требуемые данные этого сайта: как происходит процесс передачи даты, какие ссылки у кнопок и т.п.

@никыч · 06.01.2016, 16:52 **[ТС]**

Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку.

Всех с наступающим Рождеством!!!!

@LORDofLINEAGE · 06.01.2016, 17:05

Сообщение от никыч

Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку.

Всех с наступающим Рождеством!!!!

начните с изучения php вообще. Если срочно нужен парсинг, попробуйте curl - очень удобная управляемая штука, с ней вы многое сможете. Насчет 15 минут - можно с помощью cron задать промежутки для выполнения скрипта, либо велосипед- поставить паузу в скрипте , что не советую) скиньте в лс сайт, гляну, сюда напишу ответ.

Новые блоги и статьи
Это работает. Скорость асинхронной логики велика. Вопрос видимо останется в стабильности. Плата - огонь! Hrethgir 13.01.2025 По прошлому проекту в Logisim Evolution https:/ / www. cyberforum. ru/ blogs/ 223907/ blog8781. html прилагаю файл архива проекта Gowin Eda и снимок. Восьмибитный счётчик из сумматора+ генератор сигнала. . .	UserScript для подсветки кнопок языков программирования в зависимости от текущего раздела volvo 13.01.2025 В результате работы этого скрипта подсвечиваются нужные кнопки не только в форме быстрого ответа, но и при редактировании сообщения: / / ==UserScript== / / @name CF_DefaultLangSelect / / . . .	Введение в модели и алгоритмы машинного обучения InfoMaster 12.01.2025 Машинное обучение представляет собой одну из наиболее динамично развивающихся областей искусственного интеллекта, которая фокусируется на разработке алгоритмов и методов, позволяющих компьютерам. . .	Как на Python создать нейросеть для решения задач InfoMaster 12.01.2025 В контексте стремительного развития современных технологий особое внимание уделяется таким инструментам, как нейросети. Эти структуры, вдохновленные биологическими нейронными сетями, используются для. . .	Как создать нейросеть для генерации картинок на Python InfoMaster 12.01.2025 Генерация изображений с помощью искусственных нейронных сетей стала одним из наиболее захватывающих направлений в области компьютерного зрения и машинного обучения. В этой статье мы рассмотрим. . .	Создание нейросети для генерации текста на Python InfoMaster 12.01.2025 Нейросети, или искусственные нейронные сети, представляют собой модели машинного обучения, вдохновленные работой человеческого мозга. Они состоят из множества взаимосвязанных узлов, или "нейронов",. . .
Как создать нейросеть распознавания изображений на Python InfoMaster 12.01.2025 Введение в распознавание изображений с помощью нейросетей Распознавание изображений с помощью нейронных сетей стало одним из самых впечатляющих достижений в области искусственного интеллекта. Эта. . .	Основы искуственного интеллекта InfoMaster 12.01.2025 Искусственный интеллект (ИИ) представляет собой одну из наиболее динамично развивающихся областей современной науки и технологий. В широком смысле под искусственным интеллектом понимается способность. . .	Python и нейросети InfoMaster 12.01.2025 Искусственные нейронные сети стали неотъемлемой частью современных технологий, революционизировав множество областей - от медицинской диагностики до автономных транспортных средств. Python, благодаря. . .	Python в машинном обучении InfoMaster 12.01.2025 Python стал неотъемлемой частью современного машинного обучения, завоевав позицию ведущего языка программирования в этой области. Его популярность обусловлена несколькими ключевыми факторами, которые. . .	Создание UI на Python с TKinter InfoMaster 12.01.2025 TKinter — это одна из наиболее популярных библиотек для создания графических интерфейсов пользователей (GUI) в языке программирования Python. TKinter входит в стандартную библиотеку Python, что. . .	HTML5 в разработке мобильных приложений InfoMaster 12.01.2025 Введение: Обзор роли HTML5 в мобильной разработке В современном мире мобильных технологий HTML5 стал ключевым инструментом для разработки кроссплатформенных приложений. Эта технология произвела. . .

@никыч 3 / 3 / 0 Регистрация: 28.01.2013 Сообщений: 51
		1
	Очень сложный парсер 06.01.2016, 11:46. Показов 770. Ответов 3 Метки нет (Все метки) Добрый день, уважаемое сообщество. Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер? Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата? Скажите возможно ли такое сделать? Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер? Добавлено через 21 час 29 минут Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети? 0

@LORDofLINEAGE 39 / 39 / 17 Регистрация: 19.01.2013 Сообщений: 190
	06.01.2016, 13:47	2
	Сообщение от никыч Добрый день, уважаемое сообщество. Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер? Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата? Скажите возможно ли такое сделать? Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер? Добавлено через 21 час 29 минут Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети? Возможно почти все, главное применять правильные инструменты и использовать правильный подход. Зависит от сайта: как он отправляет данные, шифрует ли, какие заголовки используются. Если хотите сами разобраться, используйте программу или расширения для браузера, чтобы следить за заголовками. Если хотите код или готовую подсказку, то предоставьте требуемые данные этого сайта: как происходит процесс передачи даты, какие ссылки у кнопок и т.п. 0

@никыч 3 / 3 / 0 Регистрация: 28.01.2013 Сообщений: 51
	06.01.2016, 16:52 [ТС]	3
	Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку. Всех с наступающим Рождеством!!!! 0

@LORDofLINEAGE 39 / 39 / 17 Регистрация: 19.01.2013 Сообщений: 190
	06.01.2016, 17:05	4
	Сообщение от никыч Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку. Всех с наступающим Рождеством!!!! начните с изучения php вообще. Если срочно нужен парсинг, попробуйте curl - очень удобная управляемая штука, с ней вы многое сможете. Насчет 15 минут - можно с помощью cron задать промежутки для выполнения скрипта, либо велосипед- поставить паузу в скрипте , что не советую) скиньте в лс сайт, гляну, сюда напишу ответ. 0