Как работать с большими XML

@trufanov · Регистрация: 08.07.2014

Author24 — интернет-сервис помощи студентам

На стороннем сайте лежит XML, все товары магазина с описанием. 50 Мб.
Мне нужны из этого файла только остатки товара.
Это что получается, вставляя в начало своей страницы загрузку
$xml = simplexml_load_file('https://site.ru/export.xml');
каждому придется ждать пока скачаются 50 мегов?
Как организовать работу с такими файлами? Как это обычно делается? XML будет не один.

@агерон · 21.03.2019, 16:35

раздели на 2 программных потока
1 поток только выкачивает данные и ложит их в бд
2 потоко берет документы из бд и обрабатывет их

@trufanov · 21.03.2019, 16:45 **[ТС]**

Сначала для понимания. Это нормально, что каждый раз открывая страницу на своем сайте буду обращаться к другим, скачивать по 150 мегов только для того, чтобы показать на сайте аткуальные остатки.
Как сделать 2 потока не знаю, но и как это возможно, если я не могу обрабатывать xml, пока весь не получу. Или я не прав?
Как вообще народ делает?

@Jewbacabra · 21.03.2019, 17:00

1 раз скачать xml, его распарсить, данные положить в б.д. И выполнять раз в день, час, или любой другой промежуток времени.

@trufanov · 21.03.2019, 17:15 **[ТС]**

Сообщение от Jewbacabra

1 раз скачать xml

да, точно, нашел предупреждение мелким шрифтом, что остатки не актуальные, а по состоянию на начало рабочего дня.
дальше, думаю, сам справлюсь.

Новые блоги и статьи Все статьи Все блоги /
Как использовать Behavior Graph в Unity при создании игрового AI GameUnited 14.04.2025 Искусственный интеллект в играх прошел долгий путь эволюции. От простейших алгоритмов, движущих призраками в Pac-Man, до сложных систем, управляющих поведением персонажей в современных AAA-проектах. . . .	Создание и стилизация списков в SwiftUI mobDevWorks 14.04.2025 Списки — фундаментальный элемент мобильных интерфейсов. От списка контактов до ленты новостей, от настроек до каталога товаров — трудно представить приложение, которое не использовало бы этот. . .	Паттерн SAGA и распределённые транзакции в микросервисной архитектуре stackOverflow 14.04.2025 Переход от монолитной архитектуры к микросервисам принес множество преимуществ: гибкость разработки, независимость развертывания и масштабирования отдельных компонентов. Однако этот переход создал и. . .	Кастомные аллокаторы в C++ и оптимизация управления памятью bytestream 14.04.2025 Работа с памятью в С++ всегда была и остаётся одной из самых увлекательных и сложных задач для программиста. Любой опытный C++ разработчик подтвердит: стандартные механизмы аллокации памяти – штука. . .	Организация сетей в Kubernetes и эффективное развертывание Mr. Docker 14.04.2025 Сетевая инфраструктура Kubernetes представляет собой сложную, но хорошо спроектированную систему, которая позволяет контейнерам взаимодействовать между собой и с внешним миром. За кажущейся простотой. . .
Многопоточность в Rust: Fearless concurrency и практические примеры golander 14.04.2025 Многопоточное программирование связано с рядом известных проблем. Наиболее распространенные из них — гонки данных (data races), взаимные блокировки (deadlocks) и условия гонки (race conditions). Эти. . .	Списки и кортежи в Python: различия, особенности, применение py-thonny 13.04.2025 Python славится своей гибкостью при работе с данными. В арсенале языка есть две основные последовательные структуры данных, которые программисты используют ежедневно — списки и кортежи. Эти структуры. . .	Middleware в ASP.NET Core UnmanagedCoder 13.04.2025 В ASP. NET Core термин "middleware" занимает особое место. Что же это такое? Middleware представляет собой программные компоненты, которые формируют конвейер обработки HTTP-запросов в приложении. . . .	Таблицы лута в Unity с MinMaxCurve и AnimationCurve GameUnited 12.04.2025 Создание сбалансированного лута в играх — задача не из простых. Разработчики постоянно ищут способы настройки систем выпадения предметов, которые будут одновременно справедливыми для игроков и. . .	std::expected в C++: Управление ошибками bytestream 12.04.2025 Обработка ошибок всегда была важной и одновременно сложной задачей в программировании на C++. На протяжении долгого времени разработчики использовали различные подходы: возвращаемые коды ошибок,. . .

@trufanov 5 / 5 / 2 Регистрация: 08.07.2014 Сообщений: 569

	Как работать с большими XML 21.03.2019, 16:28. Показов 836. Ответов 4 Метки нет (Все метки) На стороннем сайте лежит XML, все товары магазина с описанием. 50 Мб. Мне нужны из этого файла только остатки товара. Это что получается, вставляя в начало своей страницы загрузку $xml = simplexml_load_file('https://site.ru/export.xml'); каждому придется ждать пока скачаются 50 мегов? Как организовать работу с такими файлами? Как это обычно делается? XML будет не один. 0

@агерон 447 / 300 / 65 Регистрация: 12.10.2009 Сообщений: 1,162
	21.03.2019, 16:35
	раздели на 2 программных потока 1 поток только выкачивает данные и ложит их в бд 2 потоко берет документы из бд и обрабатывет их 0

@trufanov 5 / 5 / 2 Регистрация: 08.07.2014 Сообщений: 569
	21.03.2019, 16:45 [ТС]
	Сначала для понимания. Это нормально, что каждый раз открывая страницу на своем сайте буду обращаться к другим, скачивать по 150 мегов только для того, чтобы показать на сайте аткуальные остатки. Как сделать 2 потока не знаю, но и как это возможно, если я не могу обрабатывать xml, пока весь не получу. Или я не прав? Как вообще народ делает? 0

@Jewbacabra 4925 / 3920 / 1620 Регистрация: 24.04.2014 Сообщений: 11,441
	21.03.2019, 17:00
	1 раз скачать xml, его распарсить, данные положить в б.д. И выполнять раз в день, час, или любой другой промежуток времени. 0

@trufanov 5 / 5 / 2 Регистрация: 08.07.2014 Сообщений: 569
	21.03.2019, 17:15 [ТС]
	Сообщение от Jewbacabra 1 раз скачать xml да, точно, нашел предупреждение мелким шрифтом, что остатки не актуальные, а по состоянию на начало рабочего дня. дальше, думаю, сам справлюсь. 0