SELECT запрос файла 128 мб, PHP скрипт отжимает эти 128 мб, можно ли сэкономить?

@php_magick · Регистрация: 12.05.2016

Author24 — интернет-сервис помощи студентам

error_log(memory_get_peak_usage(true));
error_log(memory_get_usage(true));

Показывают, что скрипт отъедает 300 кб, но на практике это:
Allowed memory size of 134217728 bytes exhausted (tried to allocate 171544432 bytes) in Unknown on line 0

Процесс apache2 после этого тоже начинает кушать 175 мб, и не теряет свой вес.

Пробовал буфферизированные и не буфферизированные запросы, Ubuntu, PHP 5.5 + mysqlind 5.5

PHP

if ($result = $mysqli->query(sprintf("SELECT `data` FROM `files` WHERE `id` = '%d'", $id_file), MYSQLI_USE_RESULT)){
    $row = $result->fetch_assoc();
    $result->free(); // здесь происходит ошибка, что памяти не хватает
}

quwy · 12.05.2016, 12:53

Похоже, авторам PHP невдомек, что объем свободной оперативной памяти не всегда больше объема данных, они все всегда пытаются начитать в память (а потом еще и продублировать пару-тройку раз), чем достали уже конкретно.

Увеличивайте значение memory_limit, ибо другого способа по-видимому нет.

@php_magick · 12.05.2016, 13:40 **[ТС]**

Может поможет разбиение на строки и совместное использование небуферизированного запроса? Только сделать такой запрос который разобьет файл на много rows заданной длины мне не известно.
Но по идее, это поможет PHP извлекать данные построчно, не переполняя память.

quwy · 12.05.2016, 13:45

Я бы подумал в сторону начитки блоба по частям. Выполняем несколько раз похожие SELECT-запросы, отличия между которыми только в том, что первый возвращает первые 10 мегабайт блоба, второй -- вторые 10 мегабайт и т.д.

@php_magick · 12.05.2016, 16:55 **[ТС]**

Получилось сэкономить, запрашивая блоками по 10 мб, + ещё 10 мб уходит на вывод echo (вывод по блокам уменьшает скорость вывода)

quwy Native x86 5594 / 3338 / 951 Регистрация: 13.02.2013 Сообщений: 10,587
	12.05.2016, 12:53	2
	Похоже, авторам PHP невдомек, что объем свободной оперативной памяти не всегда больше объема данных, они все всегда пытаются начитать в память (а потом еще и продублировать пару-тройку раз), чем достали уже конкретно. Увеличивайте значение memory_limit, ибо другого способа по-видимому нет. 0

@php_magick 0 / 0 / 0 Регистрация: 12.05.2016 Сообщений: 3
	12.05.2016, 13:40 [ТС]	3
	Может поможет разбиение на строки и совместное использование небуферизированного запроса? Только сделать такой запрос который разобьет файл на много rows заданной длины мне не известно. Но по идее, это поможет PHP извлекать данные построчно, не переполняя память. 0

quwy Native x86 5594 / 3338 / 951 Регистрация: 13.02.2013 Сообщений: 10,587
	12.05.2016, 13:45	4
	Я бы подумал в сторону начитки блоба по частям. Выполняем несколько раз похожие SELECT-запросы, отличия между которыми только в том, что первый возвращает первые 10 мегабайт блоба, второй -- вторые 10 мегабайт и т.д. 0

@php_magick 0 / 0 / 0 Регистрация: 12.05.2016 Сообщений: 3
	12.05.2016, 16:55 [ТС]	5
	Получилось сэкономить, запрашивая блоками по 10 мб, + ещё 10 мб уходит на вывод echo (вывод по блокам уменьшает скорость вывода) 0