Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.55/11: Рейтинг темы: голосов - 11, средняя оценка - 4.55
0 / 0 / 0
Регистрация: 24.10.2015
Сообщений: 16
1

Многопоточная запись byte[] в файл

27.01.2017, 23:46. Показов 2271. Ответов 4

Author24 — интернет-сервис помощи студентам
Добрый день, столкнулся с проблемой, массив байт имеет очень большой размер и пишется в файл в данном формате:
C#
1
2
3
for(int i = 0; i<t.Length; i++){
r.Write(t[i]+",");
}
В однопоточном режиме все происходит неприлично долго, возможно ли как-то допустим в 100 потоков писать массив в файл при этом сохранив последовательность элементов массива?
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
27.01.2017, 23:46
Ответы с готовыми решениями:

Многопоточная запись в файл
Вечер добрый, форумчане! Есть два потока, с разной периодичностью записывающий данные в один файл. Синхронизация осуществляется через...

Запись звука в byte[] с помощью NAudio
Вот код который пишет в файл звук, Ребят как записать звук только в переменную byte И если можно то как оптимизировать доступ к ней ...

Как поместить файл в byte[]?
Привет, как мне засунуть в byte файл быстрее всего? Я пока написал так, но это ужастно, и наверное работает очень медленно ...

4
Эксперт .NET
 Аватар для Usaga
12829 / 8854 / 1316
Регистрация: 21.01.2016
Сообщений: 33,172
28.01.2017, 07:05 2
Лучший ответ Сообщение было отмечено NaViSlon как решение

Решение

NaViSlon, простой тест показывает, что твою задачу (если я её правильно понял) можно ускорить в пять раз (на моём ноуте) просто применив немного фантазии:

Кликните здесь для просмотра всего текста

C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
using System;
using System.IO;
using System.Diagnostics;
 
namespace FileWriteExperiment
{
    class Program
    {
        private const string SOURCE_FILE = @"c:\Users\Usaga\Downloads\jre-8u112-windows-x64.exe";
        private const string DEST1_FILE = @"d:\downloads\jre-8u112-windows-x64_1.txt";
        private const string DEST2_FILE = @"d:\downloads\jre-8u112-windows-x64_2.txt";
 
        private static string[] HEX_STRING_TABLE;
 
        static byte[] GetFile()
        {
            return File.ReadAllBytes(SOURCE_FILE);
        }
 
        static void WriteFileDumb(byte[] fileData)
        {
            using (var writer = File.CreateText(DEST1_FILE)) {
                for (int i = 0; i < fileData.Length; i++) {
                    writer.Write(fileData[i] + ",");
                }
            }
        }
 
        static void WriteFileSmarter(byte[] fileData)
        {
            using (var writer = File.CreateText(DEST2_FILE)) {
                for (int i = 0; i < fileData.Length; i++) {
                    writer.Write(HEX_STRING_TABLE[fileData[i]]);
                }
            }
        }
 
        static void BuildHexTable()
        {
            HEX_STRING_TABLE = new string[byte.MaxValue + 1];
 
            for(int i = 0; i < (byte.MaxValue + 1); i++ ) {
                HEX_STRING_TABLE[i] = i + ",";
            }
        }
 
        static void Main(string[] args)
        {
            BuildHexTable();
 
            Console.WriteLine("Reading source file...");
            var data = GetFile();
            Console.WriteLine("Writing first file...");
 
            Stopwatch sw = new Stopwatch();
            sw.Start();
            WriteFileDumb(data);
            sw.Stop();
 
            Console.WriteLine($"Dump method took {sw.ElapsedMilliseconds} milliseconds");
            Console.WriteLine("Writing second file...");
 
            sw.Reset();
            sw.Start();
 
            WriteFileSmarter(data);
            sw.Stop();
 
            Console.WriteLine($"Smarter method took {sw.ElapsedMilliseconds} milliseconds");
 
            Console.WriteLine("done");
            Console.ReadKey();
        }
    }
}


А если прямо отвечать на твой вопрос, то да: хоть и можно создать файл и задать ему размер (FileStream.SetLength()), поделить массив на части (не обязательно в буквальном смысле) и писать в файл параллельно, но это будет намного медленее, так как накопитель - устройство однопоточное. Может на SSD это и даст прирост, да и то, если не жестить "сотней потоков", но я очень очень сомневаюсь в разумности такого подхода. В общем это сделать можно, но получится только хуже.
1
 Аватар для IamRain
4602 / 2624 / 721
Регистрация: 02.08.2011
Сообщений: 7,023
28.01.2017, 07:56 3
Можно решить проблему не на программном уровне, а аппаратно - объединить два диска в RAID-0 (Stripped Volume).
На работе одно время была задача - ускорить доступ к рабочим виртуальным машинам с SP не изменяя состава hardware.
При объединении двух SSD в Stripped Volume скорость чтения и скорость записи уменьшилась в 1.7 - 1.8 раза.
Причем это было заметно даже при работе.
Правда тут есть потенциальная проблема - при выходе из строя одного из дисков потеряются все данные.
0
Эксперт .NET
 Аватар для Usaga
12829 / 8854 / 1316
Регистрация: 21.01.2016
Сообщений: 33,172
28.01.2017, 07:58 4
IamRain, ну, в вашем случае вы врядли имели возможность иначе решить вопрос. Тут же явно имеет место неоптимальный код, который можно улучшать-заулучшаться.
0
0 / 0 / 0
Регистрация: 24.10.2015
Сообщений: 16
28.01.2017, 12:42  [ТС] 5
раньше файл в 2 мб писался примерно час, с вашей реализацией файл в 20мб пишется секунд 10, снимаю перед вами шляпу
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.01.2017, 12:42
Помогаю со студенческими работами здесь

преобразование ref byte в byte[] или в IntPtr без использования неуправляемого кода
есть COM интерфейс с методом: virtual /* */ HRESULT STDMETHODCALLTYPE OnReceivePacket( /* */ long dwSize, ...

Как перевести byte[] или переменную типа IntPtr к типу byte[] (ассемблерные инструкции)?
Наткнулась на проблему, нужно перевести тип IntPtr в массив ассемблерной инструкции. Вот пример кода, который нужно справить: ...

Пердача byte[] COM-функции, ожидающей ref byte
Привет, наше приложение в C# использует несколько COM-интерфейсов. В одном из них есть метод, которому передается ref byte : ...

wav byte[] в flac byte[]
Ситуация такая: С микрофона каждую 0.1 сек идет byte где то по 3к значений. Если я пишу его в файл то получается как бы wav файл....

"Вшить" в файл имя файла. Или как из string перевести в byte[]
Здравствуйте. Считываю файл, получаю массив байтов. Сохраняю его имя, расширение, хеш в переменные. Делаю различные операции с массивом...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
5
Ответ Создать тему

Редактор формул (кликните на картинку в правом углу, чтобы закрыть)
Новые блоги и статьи
Winforstrap или красявый дизайн своими руками на HTML+JS+Winform­s
anomal6 04.03.2025
Сидел тут вечером ковырял проект на MAUI, и как же глупо создаются пакеты MSIX и система обновлений пакета публикации, но не об этом. Бывает нужен современный дизайн программы а писать на MAUI,. . .
Формат данных для симуляции физики, посредством распространённы­­­­­­­х не обученных моделей.
Hrethgir 04.03.2025
Что-то как-то снова потерялось, зато катангенсы закатангесились в одном сообщении. На днях писал, что планирую для работы апгрейдить (на этот раз удачно) девайс для работы (конкретно - здоровья для,. . .
Концепция variadic
CoderHuligan 04.03.2025
Мне не очень нравится (а кому это нравится?) что у нас есть отдельно компилятор, отдельно линковщик, причем со своим собственным командным языком. При этом усложнении надо знать помимо языка. . .
Java Record или Kotlin Data Class: что лучше для неизменяемых данных
Wired 04.03.2025
Java Record и Kotlin Data Class — два мощных инструмента для обуздания неизменяемых структур данных, каждый со своим уникальным подходом к решению этой задачи. История их появления весьма. . .
Создание производительны­­­х API с Java и gRPC
Wired 04.03.2025
В мире микросервисной разработки вопрос производительности часто становится краеугольным камнем. И хотя REST API давно завоевал сердца разработчиков своей простотой и интуитивностью, при высоких. . .
Что нового в JDK 24
Wired 04.03.2025
JDK 24 — это настоящий прорыв в эволюции Java, который кардинально меняет правила игры. В этом релизе разработчики Oracle наконец-то довели до ума множество критически важных улучшений в. . .
Разработка блокчейн с использованием Java: смарт-контракты и dApp
Wired 04.03.2025
Погружаясь в мир блокчейн-разработки на Java, разработчик получает доступ к внушительному арсеналу инструментов. В отличие от Solidity, который "заперт" в экосистеме Ethereum, Java предоставляет. . .
WebAssembly в Kubernetes
stackOverflow 03.03.2025
В современной экосистеме облачных технологий WebAssembly (Wasm) становится все более значимым компонентом, предлагая уникальный подход к выполнению кода в распределенных системах. Эта технология. . .
GitHub Actions или Jenkins: Выбираем CI/CD платформу
stackOverflow 03.03.2025
Непрерывная интеграция и развертывание (CI/ CD) изменили подход к разработке программного обеспечения, превратив его в бесшовный процесс от написания кода до развертывания в продакшн. GitHub Actions и. . .
Автоматизация тестирования Pull Request в Kubernetes: Интеграция с GitHub Actions и GKE
stackOverflow 03.03.2025
Масштабные проекты с использованием Kubernetes требуют надежной системы тестирования изменений перед их внедрением в продакшн-среду. Традиционный подход с ручной проверкой Pull Request не справляется. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru