Очень сложный парсер

@никыч · Регистрация: 28.01.2013

Author24 — интернет-сервис помощи студентам

Добрый день, уважаемое сообщество.
Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер?
Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата?
Скажите возможно ли такое сделать?
Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер?

Добавлено через 21 час 29 минут
Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети?

@LORDofLINEAGE · 06.01.2016, 13:47

Сообщение от никыч

Добрый день, уважаемое сообщество.
Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер?
Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата?
Скажите возможно ли такое сделать?
Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер?

Добавлено через 21 час 29 минут
Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети?

Возможно почти все, главное применять правильные инструменты и использовать правильный подход. Зависит от сайта: как он отправляет данные, шифрует ли, какие заголовки используются. Если хотите сами разобраться, используйте программу или расширения для браузера, чтобы следить за заголовками. Если хотите код или готовую подсказку, то предоставьте требуемые данные этого сайта: как происходит процесс передачи даты, какие ссылки у кнопок и т.п.

@никыч · 06.01.2016, 16:52 **[ТС]**

Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку.

Всех с наступающим Рождеством!!!!

@LORDofLINEAGE · 06.01.2016, 17:05

Сообщение от никыч

Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку.

Всех с наступающим Рождеством!!!!

начните с изучения php вообще. Если срочно нужен парсинг, попробуйте curl - очень удобная управляемая штука, с ней вы многое сможете. Насчет 15 минут - можно с помощью cron задать промежутки для выполнения скрипта, либо велосипед- поставить паузу в скрипте , что не советую) скиньте в лс сайт, гляну, сюда напишу ответ.

Новые блоги и статьи Все статьи Все блоги /
Обмен данными в микросервисной архитектуре ArchitectMsa 06.04.2025 Когда разработчики начинают погружаться в мир микросервисов, они часто сталкиваются с парадоксальным правилом: "два сервиса не должны делить один источник данных". Эта мантра звучит повсюду в. . .	PostgreSQL в Kubernetes: Автоматизация обслуживания с CNPG Mr. Docker 06.04.2025 Администраторы баз данных сталкиваются с целым рядом проблем при обслуживании PostgreSQL в Kubernetes: как обеспечить правильную репликацию данных, как настроить автоматическое переключение при. . .	Async/await в TypeScript run.dev 06.04.2025 Асинхронное программирование — это подход к разработке программного обеспечения, при котором операции выполняются независимо друг от друга. В отличие от синхронного выполнения, где каждая последующая. . .	Многопоточность в C#: Синхронизация потоков UnmanagedCoder 06.04.2025 Многопоточное программирование стало неотъемлемой частью разработки современных приложений на C#. С появлением многоядерных процессоров возможность выполнять несколько задач параллельно значительно. . .	TypeScript: Классы и конструкторы run.dev 06.04.2025 TypeScript, как статически типизированный язык, построенный на основе JavaScript, привнес в веб-разработку новый уровень надежности и структурированности кода. Одним из важнейших элементов этой. . .
Многопоточное программирование: Rust против C++ golander 06.04.2025 C++ существует уже несколько десятилетий и его поддержка параллелизма постепенно наращивалась со временем. Начиная с C++11, язык получил стандартную библиотеку для работы с потоками, а в последующих. . .	std::vector в C++: от основ к оптимизации производительности NullReferenced 05.04.2025 Для многих программистов знакомство с std::vector происходит на ранних этапах изучения языка, но между базовым пониманием и подлинным мастерством лежит огромная дистанция. Контейнер std::vector. . .	Реляционная модель и правила Кодда: фундамент современных баз данных Codd 05.04.2025 Конец 1960-х — начало 1970-х годов был периодом глубоких трансформаций в области хранения и обработки данных. На фоне растущих потребностей бизнеса и правительственных структур существовавшие на тот. . .	Асинхронные операции в Django с Celery py-thonny 05.04.2025 Разработчики Django часто сталкиваются с проблемой, когда пользователь нажимает кнопку отправки формы и. . . ждёт. Секунды растягиваются в минуты, терпение иссякает, а интерфейс приложения замирает. . . .	Использование кэшей CPU: Максимальная производительность в Go golander 05.04.2025 Разработчикам хорошо известно, что эффективность кода зависит не только от алгоритмов и структур данных, но и от того, насколько удачно программа взаимодействует с железом. Среди множества факторов,. . .

@никыч 3 / 3 / 0 Регистрация: 28.01.2013 Сообщений: 51

	Очень сложный парсер 06.01.2016, 11:46. Показов 785. Ответов 3 Метки нет (Все метки) Добрый день, уважаемое сообщество. Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер? Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата? Скажите возможно ли такое сделать? Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер? Добавлено через 21 час 29 минут Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети? 0

@LORDofLINEAGE 39 / 39 / 17 Регистрация: 19.01.2013 Сообщений: 190
	06.01.2016, 13:47
	Сообщение от никыч Добрый день, уважаемое сообщество. Пользуясь случаем хочу всех поздравить с наступившим Новым Годом! Ну и хотелось бы понять с помощью ваших знаний и умений возможно ли сделать такой парсер? Есть сайт: mysite.ru на страничке этого сайта есть кнопка "отчет", нужно чтобы программа сама проходила по ссылке этой кнопки, далее открывается страничка на которой находится 2-ве формы ввода даты, в одной форме дата с какого числа, во второй по какое число нужно получить отчет. Далее кнопка "получить", при нажатии на эту кнопку попадаем на страничку отчета, и вот тут нужно чтобы эта страничка спарсилась в excel файл, мало того нужно чтобы эта страничка обновлялась каждые 15 минут и снова парсилась в файл. Соответственно нужно каким-то образом, чтобы каждые 15 минут вводилась новая дата? Скажите возможно ли такое сделать? Отдельные странички спарсить не сложно, но можно ли сделать такой сложный парсер? Добавлено через 21 час 29 минут Извиняюсь, видимо не туда поместил тему. Может есть смысл перенести ее в раздел PHP и сети? Возможно почти все, главное применять правильные инструменты и использовать правильный подход. Зависит от сайта: как он отправляет данные, шифрует ли, какие заголовки используются. Если хотите сами разобраться, используйте программу или расширения для браузера, чтобы следить за заголовками. Если хотите код или готовую подсказку, то предоставьте требуемые данные этого сайта: как происходит процесс передачи даты, какие ссылки у кнопок и т.п. 0

@никыч 3 / 3 / 0 Регистрация: 28.01.2013 Сообщений: 51
	06.01.2016, 16:52 [ТС]
	Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку. Всех с наступающим Рождеством!!!! 0

@LORDofLINEAGE 39 / 39 / 17 Регистрация: 19.01.2013 Сообщений: 190
	06.01.2016, 17:05
	Сообщение от никыч Да, хотелось бы самому разобраться. Потому как получить готовый код это самое простое. Я спарсил нужную страничку, страничку отчета, уже после введения даты, с помощью get_file, но вот как эту страничку парсить каждые 15 минут, а так же как с датой быть не понятно. Надо чтобы программа дату каждый раз обновляла или как-то по другому это делается? В PHP полный нуб, поэтому даже не знаю с чего начать. Буду рад любой помощи или хотя бы намеку. Всех с наступающим Рождеством!!!! начните с изучения php вообще. Если срочно нужен парсинг, попробуйте curl - очень удобная управляемая штука, с ней вы многое сможете. Насчет 15 минут - можно с помощью cron задать промежутки для выполнения скрипта, либо велосипед- поставить паузу в скрипте , что не советую) скиньте в лс сайт, гляну, сюда напишу ответ. 0