Перебор url и перезапуск скрипта

@rozalski · Регистрация: 26.08.2011

Author24 — интернет-сервис помощи студентам

Всем привет! Подскажите как реализовать следующую задумку. Необходимо перебрать некоторое количество url вида сайт.ру/index.php&page=1 меняя параметр page на соответственно 2, 3, 4 и т.д.
При этом перед/после(?) каждой смены параметра необходимо перезапускать скрипт так как его время выполнения будет очень продолжительным.

@~~miketomlin~~ · 26.01.2017, 21:38

Парсеры обычно с использованием JS пишутся. Также можете попробовать после обработки каждой страницы делать редирект на себя, возможно, с дописыванием к адресу какого-то изменяемого параметра, чтобы не хранить тек. состояние обработки где-то еще.

@rozalski · 27.01.2017, 20:46 **[ТС]**

Спасибо за ответ! Хочется как раз увидеть пример редиректа на себя с передачей текущего состояния через адрес.

@~~miketomlin~~ · 28.01.2017, 12:03

PHP

1 2	header('Location: /parse/'.$next); exit;

В $next указываете ваш сайт.ру....

@valeriy007 · 29.01.2017, 21:34

Сообщение от rozalski

Всем привет! Подскажите как реализовать следующую задумку. Необходимо перебрать некоторое количество url вида сайт.ру/index.php&page=1 меняя параметр page на соответственно 2, 3, 4 и т.д.
При этом перед/после(?) каждой смены параметра необходимо перезапускать скрипт так как его время выполнения будет очень продолжительным.

Зачем перезапускать?

С перезапуском можно bash скриптом в цикле запустить несколько php скриптов, передавать им через $argv номер страницы (если они известны заранее).

Советую посмотреть Selenium WebDriver

@rozalski 11 / 11 / 9 Регистрация: 26.08.2011 Сообщений: 177
		1
	Перебор url и перезапуск скрипта 26.01.2017, 21:15. Показов 2057. Ответов 4 Метки нет (Все метки) Всем привет! Подскажите как реализовать следующую задумку. Необходимо перебрать некоторое количество url вида сайт.ру/index.php&page=1 меняя параметр page на соответственно 2, 3, 4 и т.д. При этом перед/после(?) каждой смены параметра необходимо перезапускать скрипт так как его время выполнения будет очень продолжительным. 0

@~~miketomlin~~ Заблокирован
	26.01.2017, 21:38	2
	Парсеры обычно с использованием JS пишутся. Также можете попробовать после обработки каждой страницы делать редирект на себя, возможно, с дописыванием к адресу какого-то изменяемого параметра, чтобы не хранить тек. состояние обработки где-то еще. 0

@rozalski 11 / 11 / 9 Регистрация: 26.08.2011 Сообщений: 177
	27.01.2017, 20:46 [ТС]	3
	Спасибо за ответ! Хочется как раз увидеть пример редиректа на себя с передачей текущего состояния через адрес. 0

@valeriy007 81 / 25 / 19 Регистрация: 27.10.2014 Сообщений: 420
	29.01.2017, 21:34	5
	Сообщение от rozalski Всем привет! Подскажите как реализовать следующую задумку. Необходимо перебрать некоторое количество url вида сайт.ру/index.php&page=1 меняя параметр page на соответственно 2, 3, 4 и т.д. При этом перед/после(?) каждой смены параметра необходимо перезапускать скрипт так как его время выполнения будет очень продолжительным. Зачем перезапускать? С перезапуском можно bash скриптом в цикле запустить несколько php скриптов, передавать им через $argv номер страницы (если они известны заранее). Советую посмотреть Selenium WebDriver 0