Форум программистов, компьютерный форум, киберфорум
C#: Web, ASP.NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 
Рейтинг 4.73/22: Рейтинг темы: голосов - 22, средняя оценка - 4.73
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768

Проблемы с памятью при отправке и получении файлов (stream) wasm, minimal api

10.03.2022, 11:01. Показов 4600. Ответов 31
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
net6, minimal api
Файл отправляется так и в принципе проблем не наблюдал с этим.
C#
1
2
3
4
5
app.MapGet("/api/v1/TestFile", GetTestFile);
internal async Task<IResult> GetTestFile(IReportService service)
{
      return Results.Stream(await service.GetTestFile(), "application/octet-stream", "training_8_3_20_1613.zip");
}
net6, blazor wasm
Скачивание файла.
C#
1
2
3
4
5
6
7
8
9
10
11
    private async void load()
    {
        var fileStream = await httpClient.GetStreamAsync("api/v1/TestFile");
        var fileName = "log.bin";
 
        using var streamRef = new DotNetStreamReference(stream: fileStream);
 
        await JS.InvokeVoidAsync("downloadFileFromStream", fileName, streamRef);
        await fileStream.DisposeAsync();
        streamRef.Dispose();
    }
JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
    async function downloadFileFromStream(fileName, contentStreamReference) {
    const arrayBuffer = await contentStreamReference.arrayBuffer();
    const blob = new Blob([arrayBuffer]);
    const url = URL.createObjectURL(blob);
 
    triggerFileDownload(fileName, url);
 
    URL.revokeObjectURL(url);
}
 
function triggerFileDownload(fileName, url) {
    const anchorElement = document.createElement('a');
    anchorElement.href = url;
    anchorElement.download = fileName ?? '';
    anchorElement.click();
    anchorElement.remove();
}
С файлом ~400МБ жрет и не возвращает 1.6 гиг.

Документация, по которой это было сделано
С отправкой файлов таже история.
На win form проверил - там все ок, 18 мб уходит.
Что не так с этим wasm и как с эим бороться?
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
10.03.2022, 11:01
Ответы с готовыми решениями:

(Vk API) Не могу получить нужный ответ при отправке фото/документов/файлов на сервер upload.php
Итак мучаюсь 5 дней! Delphi я недавно начал изучать поэтому пока я быдлокодер но я учусь! Все способы перепробовал которые есть в...

Кодировка при отправке и получении письма
Добрый день ! Подскажите по кодировке - при получении письма тема:&quot;Сообщение&quot; на русском, а вот текст сообщения (то что в переменной sl)...

Ошибка при получении 2ого ответа от сервера invalid stream header
Имеется клиент и сервер, клиент отправляет сообщение, сервер принимает данное сообщение, добавляет его в лист-модель и отправляет клиенту...

31
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
11.03.2022, 10:14  [ТС]
Сделал тестовый проект https://github.com/onimor/File... BlazorWasm
Поместите файл, который будет скачиваться в FileUploadDownloadBlazorWasm.MinimalApi/Resources/TestFile
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
11.03.2022, 12:54
Цитата Сообщение от onimor Посмотреть сообщение
await fileStream.DisposeAsync();
подозреваю вы стрим закрываете , js то асинхронно работать будет , в примере от ms такого нет.

Цитата Сообщение от onimor Посмотреть сообщение
DotNetStreamReference
и зачем тут это ? , у вас же есть прямая ссылка на апи , вы можете просто прописать ее в href без всех этих преобразований.

попробуйте так
C#
1
2
3
4
 private async void load()
    {
        await JS.InvokeVoidAsync("triggerFileDownload", "/api/v1/TestFile",fileName);
    }
JavaScript
1
2
3
4
5
6
7
function triggerFileDownload(url,fileName) {
    const anchorElement = document.createElement('a');
    anchorElement.href = url;
    anchorElement.download = fileName ?? '';
    anchorElement.click();
    anchorElement.remove();
}
1
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
11.03.2022, 13:21  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
подозреваю вы стрим закрываете , js то асинхронно работать будет , в примере от ms такого нет.
Что есть , что нету - эффект такой же.

Цитата Сообщение от sau Посмотреть сообщение
и зачем тут это ? , у вас же есть прямая ссылка на апи , вы можете просто прописать ее в href без всех этих преобразований.
Сделал как они предлагают. Уже не знаю какие варианты пробовать.

Цитата Сообщение от sau Посмотреть сообщение
попробуйте так
Название: sve.png
Просмотров: 91

Размер: 4.9 Кб
0
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
11.03.2022, 16:13  [ТС]
Понял в чем косяк. Так скачивает нормально, благодарю

Добавлено через 3 минуты
sau, Еще вопрос по загрузке файла обратно можно уточнить? Щас пример сделаю по быстрому

Добавлено через 44 минуты
sau, Вообщем уже не быстро получается...
От туда же пример по отправке файла, жрет оперативу и не возвращает.
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
private async Task OnInputFileChange(InputFileChangeEventArgs e)
    {  
        var upload = false;
 
        using  var content = new MultipartFormDataContent();
 
        foreach (var file in e.GetMultipleFiles(3))
        { 
                try
                {
                    var fileContent = 
                        new StreamContent(file.OpenReadStream(file.Size));
 
                    fileContent.Headers.ContentType = 
                        new MediaTypeHeaderValue(file.ContentType); 
                    content.Add(
                        content: fileContent,
                        name: "\"files\"",
                        fileName: file.Name);
 
                    upload = true;
                }
                catch (Exception ex)
                {
                    
                } 
        }
 
        if (upload)
        {
            var response = await httpClient.PostAsync("/api/TestFile", content); 
        }
Пробовал stream отправлять, но тоже съедает много
C#
1
2
3
4
5
6
7
private async void UploadFiles(InputFileChangeEventArgs e)
    { 
        foreach (var file in e.GetMultipleFiles(1))
        { 
            await httpClient.PostAsync("/api/TestFile", new StreamContent(file.OpenReadStream(file.Size)));
        } 
    }
Добавлено через 1 час 47 минут
Если будет авторизация тогда будет 401 я подозреваю при скачивании . В js функции этой можно добавить токен к запросу ?
0
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 10:25  [ТС]
Вообщем на dotnet/aspnetcore мне посоветовали использовать на прямую JS, без .NET.
Кто-то умеет посылать get запросы с авторизацией из JS?

Добавлено через 1 час 4 минуты
JavaScript
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
async function Download() {
    const token = "";
    
        const response = await fetch("/api/TestFile", {
            method: "GET",
            headers: {
                "Accept": "application/octet-stream",
                "Authorization": "Bearer " + token 
            }
        });
 
        if (response.ok === true) {
             
            downloadFileFromStream("testFile.bin", response)
        }
    
}
async function downloadFileFromStream(fileName, contentStreamReference) {
    const arrayBuffer = await contentStreamReference.arrayBuffer();
    const blob = new Blob([arrayBuffer]);
    const url = URL.createObjectURL(blob);
 
    triggerFileDownload(fileName, url);
 
    URL.revokeObjectURL(url);
    arrayBuffer.remove();
    arrayBuffer = null;
}
 
function triggerFileDownload(fileName, url) {
    const anchorElement = document.createElement('a');
    anchorElement.href = url;
    anchorElement.download = fileName ?? '';
    anchorElement.click();
    anchorElement.remove();
}
Тоже ничего не освобождается и при больших файл в браузере
"Код ошибки: Out of Memory"
Не думал что скачать и загрузить файл такой проблемой окажется.
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 11:35
Цитата Сообщение от onimor Посмотреть сообщение
await httpClient.PostAsync("/api/TestFile",
а чей-то вы постите файл на метод , который неспособен его принять , там же get замаплен.

Цитата Сообщение от onimor Посмотреть сообщение
Тоже ничего не освобождается и при больших файл в браузере
"Код ошибки: Out of Memory"
потому что файл в память грузите . а нужно сразу на диск из потока.
0
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 11:45  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
а чей-то вы постите файл на метод , который неспособен его принять , там же get замаплен.
Потому что я добавил и post

Добавлено через 40 секунд
Цитата Сообщение от sau Посмотреть сообщение
потому что файл в память грузите . а нужно сразу на диск из потока.
как это сделать ?
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 11:58
Браузеры умеют только схемы Basic Digest NTLM Negotiate , по этому вам нужно генерировать уникальную ссылку для клиента , по которой браузер закачает файл без всякой авторизации в свою специальную папочку на диске, ну или вы можете засунуть необходимую информацию о клиенте в кукисы , которые будут идти вместе с запросами.

Добавлено через 1 минуту
Цитата Сообщение от onimor Посмотреть сообщение
как это сделать ?
так я пример дал , а вы потом на js опять фигню нагородили ) , blob это в памяти все.
1
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 12:17  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
так я пример дал , а вы потом на js опять фигню нагородили )
Мне на гите посоветовали нагородить в js в ветке aspnetcore)

Цитата Сообщение от sau Посмотреть сообщение
по этому вам нужно генерировать уникальную ссылку для клиента
То есть я на сервере генерирую guid какой нибудь, возвращаю клиенту , он делает запрос с эти guid и получает файл? тогда надо как то следить за этими guid или сразу их удалять после скачивания.

Цитата Сообщение от sau Посмотреть сообщение
ну или вы можете засунуть необходимую информацию о клиенте в кукисы , которые будут идти вместе с запросами
Можно поподробнее?
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 12:23
Цитата Сообщение от onimor Посмотреть сообщение
Можно поподробнее?
ну обычная авторизация через форму , с сохранением ид.сеанса в куках , это если нужен авторизованный доступ к серверу с файлами.
потому что браузер умеет либо куки передавать , либо базовую авторизацию в заголовке authorization - тогда он системный диалог юзеру покажет.
короче , тут по разному можно , суть в том , что сервер по обычному get запросу от браузера , пользуясь переданными данными в кукисах , должен понять что за пользователь и какой файл ему нужен.
можно просто файлы с уникальным именем временно хранить и по прямой ссылке браузер будет их грузить.
1
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 12:28  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
ну обычная авторизация через форму , с сохранением ид.сеанса в куках , это если нужен авторизованный доступ к серверу с файлами.
Я про то как передать данные при скачивании, но да ладно это уже можно нагуглить.

А по поводу загрузки файлов на сервер можете что-то посоветовать?
Потому что из документации
C#
1
file.OpenReadStream(file.Size)
правда там размер ограничен 10мб , но в любом случае он съедает и не возвращает RAM, не говоря уже про остальной код.
как отправить можно без потерь?
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 12:30
Цитата Сообщение от onimor Посмотреть сообщение
правда там размер ограничен 10мб , но в любом случае он съедает и не возвращает RAM.
как отправить можно без потерь?
ну так то нужно посмотреть как Вы файл принимаете , потоком на диск , или в память опять.
и еще возможно особенности webassembly , потому что вы как бы потоком считываете сперва в webassembly - которая в памяти у браузера , а потом (или одновременно) потоком передаете на сервер , и еще на сервере потоком сохраняете на диск - т.е тоже стараетесь не держать в памяти.
0
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 12:36  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
ну так то нужно посмотреть как Вы файл принимаете
По поводу принятия вопросов нет о потреблении памяти api, только у клиента проблема при отправке.
Выше был код, который отправляет файл
Проблемы с памятью при отправке и получении файлов (stream) wasm, minimal api
Он и съедает память

Принимать по разному пробовал, проблема не в этом
C#
1
2
3
4
5
6
7
8
app.MapPost("/api/TestFile",async (IEnumerable<IFormFile> files) =>
{
    foreach (var file in files)
    {
        await using FileStream fs = new($"D:\\123\\{file.Name}", FileMode.Create);
        await file.CopyToAsync(fs);
    }
});
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 12:47
а вы там все корректно задиспозили ? , тот же fileContent имеет IDisposable
на счет blazor webassembly хз как там работа с файлами на уровне стримов, читает он сперва все в память , или порционно отправляет , по идее должен порционно , но мне влом проверять ) , я обычно blazor server юзаю , там с этим проблем нет.

Добавлено через 7 минут
на крайняк , у вас же по любому там форма для выбора файла есть ? - вот ее можно обычным сабмитом через скрипт отправить по прямому адресу на контроллер файла , минуя webassembly - хоть это и костыльно выглядит.
0
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 12:53  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
а вы там все корректно задиспозили ? , тот же fileContent имеет IDisposable
Сейчас все что можно уничтожил, все равно тоже самое. похоже что проблема в
C#
1
file.OpenReadStream()
Цитата Сообщение от sau Посмотреть сообщение
я обычно blazor server юзаю , там с этим проблем нет
Может тогда запускать сразу blazor server и wasm , при работе с файлами переключаться между ними?

Добавлено через 1 минуту
Цитата Сообщение от sau Посмотреть сообщение
на крайняк , у вас же по любому там форма для выбора файла есть ? - вот ее можно обычным сабмитом через скрипт отправить по прямому адресу на контроллер файла , минуя webassembly - хоть это и костыльно выглядит.
Есть. Можно подробнее как это сделать?
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 13:04
Цитата Сообщение от onimor Посмотреть сообщение
Есть. Можно подробнее как это сделать?
form.action = "http://myserver/api/TestFile"
form.submit();
подробнее в гугле , это стандартные вещи.

Добавлено через 5 минут
Цитата Сообщение от onimor Посмотреть сообщение
file.OpenReadStream(file.Size)
https://docs.microsoft.com/ru-... etcore-5.0
- ну да . он в память все считывает , в вашем случае.
1
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 13:13  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
ну да . он в память все считывает , в вашем случае.
не приятно (
0
 Аватар для sau
2773 / 2073 / 386
Регистрация: 22.07.2011
Сообщений: 7,820
14.03.2022, 14:08
Цитата Сообщение от onimor Посмотреть сообщение
не приятно (
ну потому что у вас размер = fileSize , в общем , как ни крути , получается form.submit самый простой вариант.

можно было бы файл частями отправлять , разбив стрим , но OpenReadStream будет исключение бросать если максимальный размер меньше размера файла указать , т.е получить кусочек данных из стрима он не даст.

Цитата Сообщение от sau Посмотреть сообщение
form.action = "http://myserver/api/TestFile"
только тут поправочка , не на апи нужно отправлять , а на контроллер http://myserver/uploadfile , потому что потом нужен редирект обратно на основной интерфейс , и это уже не задача апи с интерфейсом работать , т.к клиентом апи может быть любое приложение , консоль например.
правда в таком случае придется снова ждать загрузки на страницу webassembly со всеми сборками , короче blazor server рулит ).

Есть еще вариант , возможно более удобный в данном случае , FileAPI.upload - это уже через скрипт отправляем файл , можно и на апи.
0
96 / 76 / 25
Регистрация: 18.02.2016
Сообщений: 768
14.03.2022, 14:11  [ТС]
Цитата Сообщение от sau Посмотреть сообщение
ну потому что у вас размер = fileSize , в общем , как ни крути , получается form.submit самый простой вариант.
Смотрел в сторону Tewr.Blazor.FileReader, но чет тоже самое получается у меня с потреблением.
Хотя там как раз вроде можно разделить на части.
Щас буду гуглить по поводу submit, пока не понятно.

Добавлено через 1 минуту
Цитата Сообщение от sau Посмотреть сообщение
FileAPI.upload - это уже через скрипт отправляем файл , можно и на апи.
Щас почитаю тогда про FileAPI.upload
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
14.03.2022, 14:11
Помогаю со студенческими работами здесь

Vk api ошибка при получении последнего поста
Пробую получить коментари из групы ВК import requests import json proxies = {&quot;https&quot;: &quot;188.40.141.216:3128&quot;} token= '????' ...

Проблемы кодировки при получении письма
Всем привет )) Пытаюсь прочитать мои не прочитаные сообщения из mail.ru. Всё получается читается всё нормально. Кроме писем от яндекс...

Проблемы с кодировкой при получении данных из БД
Приветствую. Проблема в следующем: есть БД SQLite3, в ней таблица, которая заполнена значениями на кириллице. Когда я выгружаю эти данные...

Проблемы с русским текстом при получении его из полей
Добрый день. Имеется следующая проблема: Если русский текст указан напрямую в коде разметки, то с ним все отлично - в коде страницы...

VK API: можно ли при получении сообщения сразу получать об этом уведомление
Возможно ли при получении сообщения сразу получать об этом уведомление или необходимо постоянно отправлять запрос на проверку наличия новых...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru