7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
|
|
1 | |
Работа с большим объемом данных18.07.2014, 20:42. Показов 2708. Ответов 14
Метки нет (Все метки)
Всем привет! Всегда создавал коллекцию List<List<xxx>>, заносил в нее данные из txt файла, а потом с этой коллекцией уже работаю. Так я выигрывал во времени. Но тут данных оказалось очень много и при копировании файла в коллекцию стала вылетать ошибка: "System.OutOfMemoryException" в mscorlib.dll". Дайте совет, как быть?
0
|
18.07.2014, 20:42 | |
Ответы с готовыми решениями:
14
Работа с большим объемом данных в реальном времени Подскажите кто как работает с большим объемом данных, без БД Медленная загрузка ListBox с большим объёмом данных Работа с большим объемом текста: какой тип данных выбрать |
71 / 62 / 33
Регистрация: 03.09.2013
Сообщений: 306
|
|
18.07.2014, 22:00 | 2 |
Работайте лучше с базой данных, запросили нужные данные обработали следующая партия,
из БД легко можно грузить скажем первую тысячу строк, обработать, сохранить обратно обработанное если надо, потом следующую. По скорости быстро, по затратам ресурсов вполне масштабируемо.
0
|
1245 / 1055 / 293
Регистрация: 07.03.2012
Сообщений: 3,247
|
|
18.07.2014, 22:09 | 3 |
вам единовременно могут понадобиться миллион записей?
0
|
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
|
|
19.07.2014, 16:06 [ТС] | 4 |
Нет, не единовременно, у меня по этой коллекции потом цикл еще в нескольких потоках на миллион итераций крутит.
Добавлено через 15 часов 53 минуты Скажите можно как увеличить память выделяемую приложению или потоку? Добавлено через 33 минуты Сегодня возникла еще одна проблема. Раньше запускал 8 приложений и у каждого можно было загрузить оперативку, а сейчас создал одно многопоточное, но возникла проблема с памятью. Тот объем данных который обрабатывался в 8 приложениях, не может обработаться в одном многопоточном, пишет нехватка памяти.
0
|
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
|
|
20.07.2014, 10:28 [ТС] | 6 |
lodret, Почему скурил?
Проблема в нехватке памяти. Вот я и спрашиваю как с этим бороться?
0
|
Кодогенератор
200 / 200 / 51
Регистрация: 15.06.2011
Сообщений: 794
|
|
21.07.2014, 07:55 | 7 |
0
|
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
|
|
27.07.2014, 12:54 [ТС] | 8 |
Как я могу его оптимизировать, если в процессе работы у меня в нем скапливается большой объем данных?
8 потоков, в каждом большая коллекция, а в каждой коллекции еще по коллекции накапливается. Свободной в памяти в компе еще полно, а в приложении ее нет.
0
|
NickoTin
|
27.07.2014, 14:24
#9
|
xxxspeed, если хотите чтобы Вам помогли за вознаграждение, то для этого есть специальный раздел https://www.cyberforum.ru/freelance/
0
|
6287 / 3570 / 900
Регистрация: 28.10.2010
Сообщений: 5,937
|
|
27.07.2014, 20:39 | 10 |
А что именно Вы с этими коллекциями делаете? Объекты как-то зависят друг от друга?
0
|
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
|
|
27.07.2014, 21:35 [ТС] | 11 |
Между собой они не зависят.
В конечных коллекциях просто накапливаются данные, а в конце работы потока они обрабатываются и сохраняются в txt файл.
0
|
7 / 7 / 1
Регистрация: 02.03.2011
Сообщений: 310
|
|
27.07.2014, 23:50 [ТС] | 13 |
Время! Мне нужно максимум из компа выжать. Иначе смысл пропадет от всего этого.
0
|
28.07.2014, 00:24 | 14 |
Сообщение было отмечено xxxspeed как решение
Решение
xxxspeed,
Используйте 64 битную версию, прочитайте, это скорее всего то что вам надо
1
|
Памирыч
|
||||||
29.07.2014, 09:46
Работа с большим объемом данных
#15
|
||||||
0
|
29.07.2014, 09:46 | |
29.07.2014, 09:46 | |
Помогаю со студенческими работами здесь
15
Парсинг, регулярные выражения с большим объёмом и многопоточностью Работа с графиком и большим количеством данных Работа с большим объемом данных Работа с большим объемом данных Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи | |||||
Что такое HCL Notes и как с ним работать
InfoMaster 10.01.2025
HCL Notes (ранее известный как IBM Notes и Lotus Notes) представляет собой комплексную платформу для совместной работы и обмена информацией в корпоративной среде. Это многофункциональное решение,. . .
|
Как работать с Git из Windows и Visual Studio
InfoMaster 10.01.2025
Работа с Git в Windows
Работа с Git в операционной системе Windows может быть осуществлена с помощью различных инструментов, каждый из которых обладает своими уникальными возможностями и. . .
|
Аналог оператора switch case в Python
InfoMaster 10.01.2025
Оператор switch case используется в программировании для выбора одного из нескольких вариантов исполнения кода. Однако в языке Python этот оператор отсутствует. Понимание аналогов switch case в. . .
|
Отличия абстрактного класса от интерфейса
InfoMaster 10.01.2025
В современной разработке программного обеспечения существуют два основных механизма реализации абстракции: абстрактные классы и интерфейсы. Эти инструменты, хотя и схожи в своей основной цели -. . .
|
Как работать в Git
InfoMaster 10.01.2025
Git — это одна из наиболее популярных систем контроля версий, которая активно используется разработчиками по всему миру. Она позволяет эффективно управлять изменениями в коде, координировать работу. . .
|
Реализация передвижения персонажа в Unity3d на C#
InfoMaster 10.01.2025
Реализация передвижения персонажа в Unity3D начинается с правильной настройки проекта. Этот этап критически важен для создания отзывчивого и плавного управления. Рассмотрим основные шаги для создания. . .
|
Docker: руководство для начинающих
InfoMaster 10.01.2025
В современном мире разработки программного обеспечения контейнеризация стала неотъемлемой частью процесса создания и развертывания приложений. Docker, как ведущая платформа контейнеризации, произвела. . .
|
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства
Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
|
Что такое NullReferenceException и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
|
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
|
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
|
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
|