С Новым годом! Форум программистов, компьютерный форум, киберфорум
C# .NET
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.85/13: Рейтинг темы: голосов - 13, средняя оценка - 4.85
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
1

Работа с большим объемом данных

18.07.2014, 20:42. Показов 2708. Ответов 14
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Всем привет! Всегда создавал коллекцию List<List<xxx>>, заносил в нее данные из txt файла, а потом с этой коллекцией уже работаю. Так я выигрывал во времени. Но тут данных оказалось очень много и при копировании файла в коллекцию стала вылетать ошибка: "System.OutOfMemoryException" в mscorlib.dll". Дайте совет, как быть?
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
18.07.2014, 20:42
Ответы с готовыми решениями:

Работа с большим объемом данных в реальном времени
Добрый день! Недавно решил перевести один проект с Delphi на C#. Проект связан с получением и...

Подскажите кто как работает с большим объемом данных, без БД
Всем привет! Суть такова, имеется набор файлов, которые проходят парсинг. В процессе парсинга...

Медленная загрузка ListBox с большим объёмом данных
Добрый день! Возникла такая проблема. Есть программа, написанная на WPF. В ней есть ListBox со...

Работа с большим объемом текста: какой тип данных выбрать
У меня есть метод замены текста public void ReplaceAllStrings(string strToFind, string replaceStr)...

14
71 / 62 / 33
Регистрация: 03.09.2013
Сообщений: 306
18.07.2014, 22:00 2
Работайте лучше с базой данных, запросили нужные данные обработали следующая партия,
из БД легко можно грузить скажем первую тысячу строк, обработать, сохранить обратно обработанное если надо, потом следующую.
По скорости быстро, по затратам ресурсов вполне масштабируемо.
0
1245 / 1055 / 293
Регистрация: 07.03.2012
Сообщений: 3,247
18.07.2014, 22:09 3
вам единовременно могут понадобиться миллион записей?
0
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
19.07.2014, 16:06  [ТС] 4
Нет, не единовременно, у меня по этой коллекции потом цикл еще в нескольких потоках на миллион итераций крутит.

Добавлено через 15 часов 53 минуты
Скажите можно как увеличить память выделяемую приложению или потоку?

Добавлено через 33 минуты
Сегодня возникла еще одна проблема. Раньше запускал 8 приложений и у каждого можно было загрузить оперативку, а сейчас создал одно многопоточное, но возникла проблема с памятью. Тот объем данных который обрабатывался в 8 приложениях, не может обработаться в одном многопоточном, пишет нехватка памяти.
0
Заблокирован
19.07.2014, 16:10 5
xxxspeed, ты когда писал это все ты чего до этого скурил ? Я читаю твоё и не особо понимаю суть....
0
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
20.07.2014, 10:28  [ТС] 6
lodret, Почему скурил?
Проблема в нехватке памяти.
Вот я и спрашиваю как с этим бороться?
0
Кодогенератор
200 / 200 / 51
Регистрация: 15.06.2011
Сообщений: 794
21.07.2014, 07:55 7
Цитата Сообщение от xxxspeed Посмотреть сообщение
Вот я и спрашиваю как с этим бороться?
оптимизируй алгоритм программы
0
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
27.07.2014, 12:54  [ТС] 8
Как я могу его оптимизировать, если в процессе работы у меня в нем скапливается большой объем данных?
8 потоков, в каждом большая коллекция, а в каждой коллекции еще по коллекции накапливается.
Свободной в памяти в компе еще полно, а в приложении ее нет.
0
NickoTin
27.07.2014, 14:24
  #9
xxxspeed, если хотите чтобы Вам помогли за вознаграждение, то для этого есть специальный раздел https://www.cyberforum.ru/freelance/
0
6287 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
27.07.2014, 20:39 10
А что именно Вы с этими коллекциями делаете? Объекты как-то зависят друг от друга?
0
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
27.07.2014, 21:35  [ТС] 11
Между собой они не зависят.
В конечных коллекциях просто накапливаются данные, а в конце работы потока они обрабатываются и сохраняются в txt файл.
0
870 / 720 / 304
Регистрация: 15.04.2013
Сообщений: 2,047
Записей в блоге: 5
27.07.2014, 23:46 12
xxxspeed,
Запускайте обработку не параллельно, а последовательно.
0
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
27.07.2014, 23:50  [ТС] 13
Время! Мне нужно максимум из компа выжать. Иначе смысл пропадет от всего этого.
0
870 / 720 / 304
Регистрация: 15.04.2013
Сообщений: 2,047
Записей в блоге: 5
28.07.2014, 00:24 14
Лучший ответ Сообщение было отмечено xxxspeed как решение

Решение

xxxspeed,
Используйте 64 битную версию, прочитайте, это скорее всего то что вам надо
1
Памирыч
29.07.2014, 09:46     Работа с большим объемом данных
  #15
 Комментарий модератора 
Закрыто. Причина: кросспостинг
0
29.07.2014, 09:46
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
29.07.2014, 09:46
Помогаю со студенческими работами здесь

Парсинг, регулярные выражения с большим объёмом и многопоточностью
Всем привет, нужна помощь в распарсовке XML документа, документ огромных размеров, все теги и...

Работа с графиком и большим количеством данных
Добрый день. Есть приложение для обработки приходящих в COM-порт данных и вывода их на экран....

Работа с большим объемом данных
Имеется загруженное изоображение с помощью opencv. Задача: вывести цвета изображения с из...

Работа с большим объемом данных
Всем привет! Работа с большим объемом данных заставляет задуматься над всевозможными способами...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
15
Закрытая тема Создать тему
Новые блоги и статьи
Что такое HCL Notes и как с ним работать
InfoMaster 10.01.2025
HCL Notes (ранее известный как IBM Notes и Lotus Notes) представляет собой комплексную платформу для совместной работы и обмена информацией в корпоративной среде. Это многофункциональное решение,. . .
Как работать с Git из Windows и Visual Studio
InfoMaster 10.01.2025
Работа с Git в Windows Работа с Git в операционной системе Windows может быть осуществлена с помощью различных инструментов, каждый из которых обладает своими уникальными возможностями и. . .
Аналог оператора switch case в Python
InfoMaster 10.01.2025
Оператор switch case используется в программировании для выбора одного из нескольких вариантов исполнения кода. Однако в языке Python этот оператор отсутствует. Понимание аналогов switch case в. . .
Отличия абстрактного класса от интерфейса
InfoMaster 10.01.2025
В современной разработке программного обеспечения существуют два основных механизма реализации абстракции: абстрактные классы и интерфейсы. Эти инструменты, хотя и схожи в своей основной цели -. . .
Как работать в Git
InfoMaster 10.01.2025
Git — это одна из наиболее популярных систем контроля версий, которая активно используется разработчиками по всему миру. Она позволяет эффективно управлять изменениями в коде, координировать работу. . .
Реализация передвижения персонажа в Unity3d на C#
InfoMaster 10.01.2025
Реализация передвижения персонажа в Unity3D начинается с правильной настройки проекта. Этот этап критически важен для создания отзывчивого и плавного управления. Рассмотрим основные шаги для создания. . .
Docker: руководство для начинающих
InfoMaster 10.01.2025
В современном мире разработки программного обеспечения контейнеризация стала неотъемлемой частью процесса создания и развертывания приложений. Docker, как ведущая платформа контейнеризации, произвела. . .
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
Что такое NullReferenceEx­­­ception и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru