Разбиение потоков

@JIupToH · Регистрация: 20.05.2022

Author24 — интернет-сервис помощи студентам

Корректно ли так обрабатывать и разбивать потоки?

C++

#pragma omp parallel for
for(int i = 0; i < 5; i++)
{
#pragma omp parallel for
for(int j = 0; j < 1000; j++)
{
//функция перебора элементов вектора
}
}

Алексей1153 · 30.10.2022, 20:48

JIupToH, для внешнего цикла можно заюзать многопоточную версию std::for_each, внутренний цикл без потоков обойдётся, мне кажется.

а OMP тут не нужен

@JIupToH · 30.10.2022, 20:56 **[ТС]**

Алексей1153, не просто перебираются данные, и там мне нужно разбить на подпотоки. В моем случае, разбиение идёт только в верхнем цикле. Во вложенном цикле нет разбиения…

Добавлено через 2 минуты
Алексей1153, я нашел примеры где выделяется секция, в которой реализовано распараллеливание. В этой секции выделяются два независимых цикла, в которых реализовано разбиение на потоки. Но вот вложенного примера с распараллеливание не нашел

Алексей1153 · 30.10.2022, 21:01

мои предположения - параллелить оба цикла есть неэффективно. Нужно либо внешний, либо внутренний

но можно попробовать все три варианта, затем сделать замеры и выбрать самый эффективный вариант

@JIupToH · 30.10.2022, 21:10 **[ТС]**

Алексей1153, а как оба цикла? Можно пример, если нетрудно.

Добавлено через 38 секунд
Алексей1153, просто я представляю, как это должно быть, но вот как реализовать…

Алексей1153 · 30.10.2022, 21:22

Сообщение от JIupToH

а как оба цикла

два вложенных многопоточных std::for_each

Добавлено через 1 минуту
описание

@JIupToH · 30.10.2022, 21:56 **[ТС]**

Алексей1153, спасибо, но немного не то

@SmallEvil · 31.10.2022, 20:41

Сообщение от JIupToH

просто я представляю, как это должно быть

Попытался представить .

Два цикла - два объекта для распаралеливания (А - объемлющий цикл, Б - внутренний).
Первый цикл, просто отделяется в другой поток А от объемлющего потока Х.
Теперь при каждой итерации А вы хотите создать еще один поток для Б. ?
Всего породим потоков 1 (А) + N (Б) (N - итераций А) ?

Так и что не выходит ?
Насколько я знаю потоки запросто порождают другие потоки.
С OMP и его возможностями не знаком.
Может все же достаточно будет std::thread ?

@AlexVRud · 02.11.2022, 15:38

JIupToH, в данном случае лучше использовать клаузу collapse. Она объединит два цикла. Пример:

C

    #pragma omp parallel for collapse(2)
    for (int i = 0; i < 3; ++i) {
        for (int j = 0; j < 5; ++j) {
            printf("%d: (%d,%d)\n", omp_get_thread_num(), i, j);
        }
    }

Код

0: (0,0)
0: (0,1)
0: (0,2)
0: (0,3)
1: (0,4)
1: (1,0)
1: (1,1)
1: (1,2)
2: (1,3)
2: (1,4)
2: (2,0)
2: (2,1)
3: (2,2)
3: (2,3)
3: (2,4)

Вложенный #pragma omp parallel, будет работать, только если это явно разрешить. Рабочий пример:

C++

#include <iostream>
#include <sstream>
#include <thread>
 
#include <omp.h>
 
int main()
{
 
    #pragma omp parallel for
    for (int i = 0; i < 3; ++i) {
        int i_tn = omp_get_thread_num();
 
        #pragma omp parallel for
        for (int j = 0; j < 5; ++j) {
            auto id   = std::this_thread::get_id();
            int  j_tn = omp_get_thread_num();
 
            std::stringstream ss;
            ss << i_tn << "." << j_tn << "." << id << ": (" << i << "," << j << ")\n";
 
            std::cout << ss.str();
        }
    }
 
    return 0;
}

Код

$ ./a.out | sort
0.0.139816776419264: (0,0)
0.0.139816776419264: (0,1)
0.0.139816776419264: (0,2)
0.0.139816776419264: (0,3)
0.0.139816776419264: (0,4)
1.0.139816776414784: (1,0)
1.0.139816776414784: (1,1)
1.0.139816776414784: (1,2)
1.0.139816776414784: (1,3)
1.0.139816776414784: (1,4)
2.0.139816768022080: (2,0)
2.0.139816768022080: (2,1)
2.0.139816768022080: (2,2)
2.0.139816768022080: (2,3)
2.0.139816768022080: (2,4)

Код

$ OMP_NESTED=true ./a.out  | sort
0.0.140066251462592: (0,0)
0.0.140066251462592: (0,1)
0.1.140065957844544: (0,2)
0.2.140066226280000: (0,3)
0.3.140066122884672: (0,4)
1.0.140066251458112: (1,0)
1.0.140066251458112: (1,1)
1.1.140066209494592: (1,2)
1.2.140066131277376: (1,3)
1.3.140066114491968: (1,4)
2.0.140066243065408: (2,0)
2.0.140066243065408: (2,1)
2.1.140066217887296: (2,2)
2.2.140065957844544: (2,3)
2.3.140066122884672: (2,4)

Т.е. в первом вызове было создано три потока, в каждом из которых вложенная параллельная секция не запускала дополнительных потоков.

При втором запуске, чрез переменную окружения было разрешено вложенным параллельным секциям порождать потоки, и программа создала 12 (3*4) потоков.

Так же стоит обратить внимание, что при вложенной параллельной секции меняется результат omp_get_thread_num и мне приходится вызывать его дважды.

@JIupToH · 04.11.2022, 16:40 **[ТС]**

AlexVRud, спасибо за пример) И развернутое пояснение допущенной мной ошибки! Спасибо милчеловек!

Новые блоги и статьи
Как написать микросервис на Go/Golang с Kafka и GitHub CI/CD InfoMaster 14.01.2025 Определение микросервиса, преимущества использования Go/ Golang Микросервис – это архитектурный подход к разработке программного обеспечения, при котором приложение состоит из небольших, независимо. . .	Как написать микросервис с нуля на C# с RabbitMQ, CQRS и CI/CD InfoMaster 14.01.2025 В современном мире разработки программного обеспечения микросервисная архитектура стала стандартом де-факто для создания масштабируемых и гибких приложений. Этот архитектурный подход предполагает. . .	Как создать интернет-магазин на PHP и JavaScript InfoMaster 14.01.2025 В современном мире электронная коммерция стала неотъемлемой частью бизнеса. Создание собственного интернет-магазина открывает широкие возможности для предпринимателей, позволяя достичь большей. . .	Как написать Тетрис на Ассемблере InfoMaster 14.01.2025 Тетрис – одна из самых узнаваемых и популярных компьютерных игр, созданная в 1984 году советским программистом Алексеем Пажитновым. За прошедшие десятилетия она завоевала симпатии миллионы людей по. . .	Как создать игру "Танчики" на Unity3d и C# InfoMaster 14.01.2025 Разработка игр – это увлекательный процесс, сочетающий в себе творчество и технические навыки. В этой статье мы рассмотрим создание классической игры "Танчики" с использованием Unity3D и языка. . .	Организую платный онлайн микро-курс по доработке Android-клиента Telegram _Ivana 14.01.2025 Официальная версия и распространенные форки не полностью устраивают? Сделай свою кастомную версию клиента! 4 занятия по 2 часа (2 недели пн, ср 19:00-21:00 по Москве). Первое вводное занятие. . .
Как создать приложение для фитнеса для iOS/iPhone на Kotlin InfoMaster 14.01.2025 Создание собственного фитнес-приложения — это не только захватывающий, но и полезный процесс, ведь оно может стать вашим верным помощником на пути к здоровому и активному образу жизни. В современных. . .	Как создать приложение магазина для iOS/iPhone на Swift InfoMaster 14.01.2025 Введение в разработку iOS-приложений Разработка приложений для iPhone и других устройств на базе iOS открывает огромные возможности для создания инновационных мобильных решений. В данной статье мы. . .	Это работает. Скорость асинхронной логики велика. Вопрос видимо останется в стабильности. Плата - огонь! Hrethgir 13.01.2025 По прошлому проекту в Logisim Evolution https:/ / www. cyberforum. ru/ blogs/ 223907/ blog8781. html прилагаю файл архива проекта в Gowin Eda. Восьмибитный счётчик из сумматора+ генератор сигнала. . .	UserScript для подсветки кнопок языков программирования в зависимости от текущего раздела volvo 13.01.2025 В результате работы этого скрипта подсвечиваются нужные кнопки не только в форме быстрого ответа, но и при редактировании сообщения: / / ==UserScript== / / @name CF_DefaultLangSelect / / . . .	Введение в модели и алгоритмы машинного обучения InfoMaster 12.01.2025 Машинное обучение представляет собой одну из наиболее динамично развивающихся областей искусственного интеллекта, которая фокусируется на разработке алгоритмов и методов, позволяющих компьютерам. . .	Как на Python создать нейросеть для решения задач InfoMaster 12.01.2025 В контексте стремительного развития современных технологий особое внимание уделяется таким инструментам, как нейросети. Эти структуры, вдохновленные биологическими нейронными сетями, используются для. . .

Алексей1153 фрилансер 5856 / 5395 / 1104 Регистрация: 11.10.2019 Сообщений: 14,406
	30.10.2022, 20:48	2
	JIupToH, для внешнего цикла можно заюзать многопоточную версию `std::for_each`, внутренний цикл без потоков обойдётся, мне кажется. а OMP тут не нужен 0

@JIupToH 34 / 22 / 13 Регистрация: 20.05.2022 Сообщений: 414
	30.10.2022, 20:56 [ТС]	3
	Алексей1153, не просто перебираются данные, и там мне нужно разбить на подпотоки. В моем случае, разбиение идёт только в верхнем цикле. Во вложенном цикле нет разбиения… Добавлено через 2 минуты Алексей1153, я нашел примеры где выделяется секция, в которой реализовано распараллеливание. В этой секции выделяются два независимых цикла, в которых реализовано разбиение на потоки. Но вот вложенного примера с распараллеливание не нашел 0

Алексей1153 фрилансер 5856 / 5395 / 1104 Регистрация: 11.10.2019 Сообщений: 14,406
	30.10.2022, 21:01	4
	мои предположения - параллелить оба цикла есть неэффективно. Нужно либо внешний, либо внутренний но можно попробовать все три варианта, затем сделать замеры и выбрать самый эффективный вариант 0

@JIupToH 34 / 22 / 13 Регистрация: 20.05.2022 Сообщений: 414
	30.10.2022, 21:10 [ТС]	5
	Алексей1153, а как оба цикла? Можно пример, если нетрудно. Добавлено через 38 секунд Алексей1153, просто я представляю, как это должно быть, но вот как реализовать… 0

Алексей1153 фрилансер 5856 / 5395 / 1104 Регистрация: 11.10.2019 Сообщений: 14,406
	30.10.2022, 21:22	6
	Сообщение от JIupToH а как оба цикла два вложенных многопоточных `std::for_each` Добавлено через 1 минуту описание 0

@JIupToH 34 / 22 / 13 Регистрация: 20.05.2022 Сообщений: 414
	30.10.2022, 21:56 [ТС]	7
	Алексей1153, спасибо, но немного не то 0

@SmallEvil 3719 / 2648 / 761 Регистрация: 29.06.2020 Сообщений: 9,800
	31.10.2022, 20:41	8
	Сообщение от JIupToH просто я представляю, как это должно быть Попытался представить . Два цикла - два объекта для распаралеливания (А - объемлющий цикл, Б - внутренний). Первый цикл, просто отделяется в другой поток А от объемлющего потока Х. Теперь при каждой итерации А вы хотите создать еще один поток для Б. ? Всего породим потоков 1 (А) + N (Б) (N - итераций А) ? Так и что не выходит ? Насколько я знаю потоки запросто порождают другие потоки. С OMP и его возможностями не знаком. Может все же достаточно будет std::thread ? 0

@JIupToH 34 / 22 / 13 Регистрация: 20.05.2022 Сообщений: 414
	04.11.2022, 16:40 [ТС]	10
	AlexVRud, спасибо за пример) И развернутое пояснение допущенной мной ошибки! Спасибо милчеловек! 0

Разбиение потоков

Решение