Parallel.For

@Mc_marsel · Регистрация: 27.11.2012

Author24 — интернет-сервис помощи студентам

Кароче идея в чём, имееться готовая программа которая патрошит word файлы. Шахтёрским способом добывает html заливает в БД ну вообщем функционал там огромный. Большинство действий должны выполняться в цикле с индексом. Вначале был обычный for, но это было нереально долго. Доступ к word происходит под руководством COM сервера поэтому долго... Вот.. Решил использовать Parallel.For вместо обычного for"а так как процессор на ноутбуке 8 ядерный, глупо было бы упускать это из виду. Подствил, всё работало зашибись. Работаспособность поражала, 150 - 200 файлов в минуту. Но начались прогоны после загрузки около 20к 30к файлов в БД работоспособность начала падать. Причём перезапуск приложения + перезапуск Windows + танцы с бубном по читке всевозможного кеша не помогают. Помагает только востановление системы Windows. Но опять жэ это временное решение.

Вот теперь буду искать решение, решил поделиться... 2 день симафорю интернет даже похожего ничего не нашол!
За помощь или разьяснение буду очень благодарен. Не могу понять какие общие настроики у VS 2012 с Windows. Я думаю если бы трабла была в винд помогла бы перезагрузка, если в прилаге то перезапуск VS. А так спасает только востановление. БУДУ ОЧЕНЬ РАД ЛЮБЫМ РЕДПОЛОЖЕНИЯМ!

Добавлено через 2 минуты
Забыл добавить, при приостановке приложений в режиме отладки. Вылазят процессы word которые как бы не учавствуют в общем выполнении.

@kolorotur · 21.02.2013, 14:32

Попробуйте вместо восстановления очистить БД.
Если скорость будет падать по мере добавления данных в базу, то проблема явно в кривой организации таблиц.

@Mc_marsel · 21.02.2013, 20:11 **[ТС]**

Ты вообще писал о чём речь???
Причём тут БД??

Добавлено через 17 секунд
*читал

@m0nax · 21.02.2013, 20:23

смотри профайлером что там не так, например ATNS perfomance (я считаю лучший)
версии с лекарством от жадности есть в инете, хотя для 1 задачи хватит и триального

@kolorotur · 21.02.2013, 23:39

Сообщение от Mc_marsel

Ты вообще читал о чём речь???
Причём тут БД??

Уважаемый, будьте добры в подобной манере общаться со своим папой. Если вы с ним знакомы.
Спасибо.

Теперь по делу.
Да, читать я умею, и вот эта фраза

Сообщение от Mc_marsel

Но начались прогоны после загрузки около 20к 30к файлов в БД работоспособность начала падать.

Мне явно говорит о том, что база начинает тормозить после загрузки в нее большого количества данных.
Я не знаю, очищается ли база после восстановления - из текста этого не понять. Если очищается, то смотреть надо в первую очередь в базу. Если не очищается, а тормоза пропадают, то база не при чем и смотреть надо в другое место.

@Пaтрик · 22.02.2013, 10:17

Я один ничего не понял? Сначала речь пошла о Word, потом об HTML, потом о Parallel.For.

PS: для работы с Word-документами я бы использовал Open XML SDK

Новые блоги и статьи Все статьи Все блоги /
Организация масштабируемого хранилища с Apache Cassandra Codd 14.03.2025 Изначально разработанная в Facebook, а затем переданная Apache Software Foundation, Cassandra сочетает в себе принципы Amazon's Dynamo и Google's BigTable. Эта комбинация создает уникальную. . .	Kafka или Pulsar: Что лучше для потоковой обработки в Java Javaican 14.03.2025 Среди множества решений для потоковой обработки данных Apache Kafka долгое время удерживала лидирующие позиции, став де-факто стандартом в индустрии. Однако в последние годы всё больше внимания. . .	Создание и использование компонентов в Vue 3 Reangularity 14.03.2025 Компонент в Vue - это автономный блок интерфейса, который содержит собственную разметку, логику и стили. Представьте себе кнопку, форму ввода или даже целую панель навигации - всё это можно оформить. . .	Vue 3: Создаем современное веб-приложение с Composition API Reangularity 14.03.2025 В фронтенд-разработке Vue 3 выделяется своим прагматичным подходом. В отличие от React с его минималистичной философией "всё — JavaScript" или Angular с его всеобъемлющим корпоративным подходом, Vue. . .	Разработка контекстных меню в iOS mobDevWorks 14.03.2025 С приходом iOS 13 Apple представила новый API для контекстных меню, который полностью заменил предыдущую технологию 3D Touch peek & pop. Хотя многие разработчики и пользователи испытывают ностальгию. . .
Лучшие практики оптимизации Docker Image Mr. Docker 13.03.2025 Размер Docker-образа влияет на множество аспектов работы с контейнерами. Чем больше образ, тем дольше его загрузка в реестр и выгрузка из него. Для команд разработки, работающих с CI/ CD пайплайнами,. . .	Вопросы на собеседовании по Docker Mr. Docker 13.03.2025 Ты сидишь напротив технического специалиста, и вдруг звучит вопрос про Docker Swarm или многоэтапные сборки. Пот на лбу? Не переживай, после этой статьи ты будешь готов ко всему! Эта статья будет. . .	Поиск текста в сносках : замена дефиса на тире или тире на дефис... РоΜа 13.03.2025 Нужно было найти текст в сносках и заменить. Почему-то метод селекшн не сработал. . . пришлось гуглить. найденный на форумвба код пришлось править. Смысл - заменяет в сносках дефисы и тире на нужные. . . .	Real PATH definitions in bash scripts jigi33 13.03.2025 Как поймать путь и путь к директории относительно запускаемого файла в BASH 1. поймать путь через вывод $(pwd) 2. более правильно - на основе realpath (см. скриншот)	Django или Flask: что выбрать для веб-разработки на Python py-thonny 13.03.2025 Django – это высокоуровневый фреймворк, который придерживается философии "всё включено". Он предоставляет разработчику готовые решения для большинства типичных задач веб-разработки: от аутентификации. . .

@Mc_marsel 0 / 0 / 0 Регистрация: 27.11.2012 Сообщений: 55
		1
	Parallel.For 21.02.2013, 06:43. Показов 2465. Ответов 5 Метки нет (Все метки) Кароче идея в чём, имееться готовая программа которая патрошит word файлы. Шахтёрским способом добывает html заливает в БД ну вообщем функционал там огромный. Большинство действий должны выполняться в цикле с индексом. Вначале был обычный for, но это было нереально долго. Доступ к word происходит под руководством COM сервера поэтому долго... Вот.. Решил использовать Parallel.For вместо обычного for"а так как процессор на ноутбуке 8 ядерный, глупо было бы упускать это из виду. Подствил, всё работало зашибись. Работаспособность поражала, 150 - 200 файлов в минуту. Но начались прогоны после загрузки около 20к 30к файлов в БД работоспособность начала падать. Причём перезапуск приложения + перезапуск Windows + танцы с бубном по читке всевозможного кеша не помогают. Помагает только востановление системы Windows. Но опять жэ это временное решение. Вот теперь буду искать решение, решил поделиться... 2 день симафорю интернет даже похожего ничего не нашол! За помощь или разьяснение буду очень благодарен. Не могу понять какие общие настроики у VS 2012 с Windows. Я думаю если бы трабла была в винд помогла бы перезагрузка, если в прилаге то перезапуск VS. А так спасает только востановление. БУДУ ОЧЕНЬ РАД ЛЮБЫМ РЕДПОЛОЖЕНИЯМ! Добавлено через 2 минуты Забыл добавить, при приостановке приложений в режиме отладки. Вылазят процессы word которые как бы не учавствуют в общем выполнении. 0

@kolorotur 17808 / 12959 / 3381 Регистрация: 17.09.2011 Сообщений: 21,246
	21.02.2013, 14:32	2
	Попробуйте вместо восстановления очистить БД. Если скорость будет падать по мере добавления данных в базу, то проблема явно в кривой организации таблиц. 0

@Mc_marsel 0 / 0 / 0 Регистрация: 27.11.2012 Сообщений: 55
	21.02.2013, 20:11 [ТС]	3
	Ты вообще писал о чём речь??? Причём тут БД?? Добавлено через 17 секунд *читал 0

@m0nax 1274 / 975 / 113 Регистрация: 12.01.2010 Сообщений: 1,971
	21.02.2013, 20:23	4
	смотри профайлером что там не так, например ATNS perfomance (я считаю лучший) версии с лекарством от жадности есть в инете, хотя для 1 задачи хватит и триального 0

@kolorotur 17808 / 12959 / 3381 Регистрация: 17.09.2011 Сообщений: 21,246
	21.02.2013, 23:39	5
	Сообщение от Mc_marsel Ты вообще читал о чём речь??? Причём тут БД?? Уважаемый, будьте добры в подобной манере общаться со своим папой. Если вы с ним знакомы. Спасибо. Теперь по делу. Да, читать я умею, и вот эта фраза Сообщение от Mc_marsel Но начались прогоны после загрузки около 20к 30к файлов в БД работоспособность начала падать. Мне явно говорит о том, что база начинает тормозить после загрузки в нее большого количества данных. Я не знаю, очищается ли база после восстановления - из текста этого не понять. Если очищается, то смотреть надо в первую очередь в базу. Если не очищается, а тормоза пропадают, то база не при чем и смотреть надо в другое место. 0

@Пaтрик 442 / 410 / 132 Регистрация: 21.01.2012 Сообщений: 976
	22.02.2013, 10:17	6
	Я один ничего не понял? Сначала речь пошла о Word, потом об HTML, потом о Parallel.For. PS: для работы с Word-документами я бы использовал Open XML SDK 0