Огромное количество записей в БД

@Egoist0 · Регистрация: 17.02.2011

Author24 — интернет-сервис помощи студентам

у меня допустим есть файл в 100 000 тыс. строк, мне надо каждую строку записать в БД, я пишу допустим в 3 таблицы, тойсть 1 строка, должна писать данные в 3 таблицы, тойсть должно будет произвести 300 000 запросов БД и записать данные, скажите, каким образом можно через php разбить процессы, так же интересно что бы был прогресс бар, какими дополнениями можно это реализовать?

Добавлено через 17 часов 44 минуты
что не кто не сталкивался с таким вопросом?

@sKotenok · 19.07.2014, 12:10

Egoist0, группируете запросы, допустим по 10к за раз и шлёте их в цикле.
Если нужен прогресс бар:
- Для пыха на веб-сервере придётся разбивать задачу по запросам, т.к. пых не вернёт ответ до конца выполнения, или выделять в отдельный поток, который будет складывать куда-то отчёт о выполении и с клиента периодически ajax-ом цеплять другой скрипт, который будет этот отчёт выводить (там достасточно числа выполненных запросов по идее). Итого - это довольно нетривиальная задачка.
Для вывода в текущую консоль (при ручном запуске в shell) - можно прям в цикле делать echo $query_count.

@Egoist0 · 21.07.2014, 11:10 **[ТС]**

знаю как делать подготовленные запросы, а как делать группирировные? Что бы по 10к за раз? Такой еще вопрос, каким образом можно сделать, может даже через ajax, если подходит таймаут к концу, то что бы скрипт перезапускал или скидывал тайм аут, и таки закончил свой процесс.

@Egoist0 21 / 21 / 2 Регистрация: 17.02.2011 Сообщений: 303 Записей в блоге: 1
		1
	Огромное количество записей в БД 17.07.2014, 11:53. Показов 769. Ответов 2 Метки нет (Все метки) у меня допустим есть файл в 100 000 тыс. строк, мне надо каждую строку записать в БД, я пишу допустим в 3 таблицы, тойсть 1 строка, должна писать данные в 3 таблицы, тойсть должно будет произвести 300 000 запросов БД и записать данные, скажите, каким образом можно через php разбить процессы, так же интересно что бы был прогресс бар, какими дополнениями можно это реализовать? Добавлено через 17 часов 44 минуты что не кто не сталкивался с таким вопросом? 0

@sKotenok 363 / 334 / 38 Регистрация: 29.03.2011 Сообщений: 838
	19.07.2014, 12:10	2
	Egoist0, группируете запросы, допустим по 10к за раз и шлёте их в цикле. Если нужен прогресс бар: - Для пыха на веб-сервере придётся разбивать задачу по запросам, т.к. пых не вернёт ответ до конца выполнения, или выделять в отдельный поток, который будет складывать куда-то отчёт о выполении и с клиента периодически ajax-ом цеплять другой скрипт, который будет этот отчёт выводить (там достасточно числа выполненных запросов по идее). Итого - это довольно нетривиальная задачка. Для вывода в текущую консоль (при ручном запуске в shell) - можно прям в цикле делать echo $query_count. 0

@Egoist0 21 / 21 / 2 Регистрация: 17.02.2011 Сообщений: 303 Записей в блоге: 1
	21.07.2014, 11:10 [ТС]	3
	знаю как делать подготовленные запросы, а как делать группирировные? Что бы по 10к за раз? Такой еще вопрос, каким образом можно сделать, может даже через ajax, если подходит таймаут к концу, то что бы скрипт перезапускал или скидывал тайм аут, и таки закончил свой процесс. 0