Перебор всех сочетаний в случайном порядке

@not a coder · Регистрация: 08.04.2023

Author24 — интернет-сервис помощи студентам

У меня есть n элементов массива (n порядка 10.000.000), нужно перебрать сочетания этих элементов в случайном порядке (без повторений, соответственно). Например, при n = 4 будут следующие сочетания:
(0, 1)
(0, 2)
(0, 3)
(1, 2)
(1, 3)
(2, 3)

(мне не хватает моих 32 Gb чтобы хранить хотя бы индексы этих пар, в чем и заключается основная проблема при решении этой задачи)

YuS_2 · 08.05.2023, 14:03

Сообщение от not a coder

в чем и заключается основная проблема при решении этой задачи

Увы, это не главная проблема

Комбинаторику изучали?
количество уникальных сочетаний (combinations) C = n!/(m!*(n-m)!)
где n - общее число элементов, m - количество отбираемых элементов из множества.
Посчитайте варианты... рассчитайте время затрачиваемое на перебор... сделайте выводы... самостоятельно

@not a coder · 08.05.2023, 14:47 **[ТС]**

Не совсем корректно сформулировал вопрос, все же нужны не все пары, но некоторое заранее заданное количество, например, не больше 1000, но при этом они должны быть случайны и уникальны. Первое, что приходит в голову - выбрать случайные индексы этих пар, а затем развернуть в пару, как мы могли бы это сделать при маппинге индексов массива в индексы квадратной матрицы: i -> (i // n, i % n)

При больших n делать это алгоритмически на питоне - не целесообразно (а все мы знаем насколько в нем медленные циклы), поэтому было бы хорошо иметь некую пару формул, как в обозначенном примере

Добавлено через 16 минут
В случае с большим n уникальностью думаю можно и пренебречь, поскольку вероятность выбора одинаковых индексов пар стремится к 0, а поскольку обработка получаемых пар автоматизированная (но не автоматическая), не думаю, что имеет смысл находить больше 100.000 пар

YuS_2 · 08.05.2023, 15:04

Сообщение от not a coder

некоторое заранее заданное количество

Python

from random import randint
n = 10000000
k = 1000
arrtenmil = [i for i in range(1,n+1)]
res = []
for _ in range(k):
    if not (j := (arrtenmil[randint(0,n-1)],arrtenmil[randint(0,n-1)])) in res:
        res.append(j)
 
print(res[150])

Но это только лишь для случайных пар элементов...

Добавлено через 1 минуту
и да, если количество пар необходимо строго по k, то цикл надо переделать на while и в условия внести длину результата...

@not a coder · 08.05.2023, 15:15 **[ТС]**

Если делать совсем простым способом тогда лучше сделать так:
1. Избавиться от проверки in (поскольку каждая проверка O(n)), а при 100.000 пар получается всего 1-2 повторения
2. Лучше делать пары из индексов, чтобы не копировать значения в памяти (у меня это весьма массивные неизменяемые объекты)

Python

from random import randint
 
n = 10000000
k = 100000
 
pairs = list()
for _ in range(k):
    pairs.append((
        randint(0, n - 1),
        randint(0, n - 1),
    ))
 
print(pairs)

YuS_2 · 08.05.2023, 15:24

Сообщение от not a coder

Избавиться от проверки in

получите дубликаты (они возможны)...

Сообщение от not a coder

И почему range(k+1)?

где?

ну, ладно-ладно, сначала был слово... м-м-м, т.е. k+1, но теперь его нет...

В общем, экспериментируйте... направление мысли, вижу поняли...

@not a coder · 08.05.2023, 15:34 **[ТС]**

Хотя этот вариант не учитывает, что не должны встречаться:
1. (v1, v2) и (v2, v1)
2. (v1, v1) или (v2, v2)
Поэтому у него сомнительная ценность

Проблему в п.1. можно решить frozenset'ами, а при п.2 придется генерировать заново

Добавлено через 5 минут
Пока сделал так, а позже может найду вариант поинтереснее:

Python

from random import randint
 
n = 10000000
k = 100000
 
pairs = set()
for _ in range(k):
    while True:
        pair = frozenset((randint(0, n-1), randint(0, n-1)))
        if len(pair) != 1 and pair not in pairs:
            break
    pairs.add(pair)
 
print(pairs)

@not a coder · 08.05.2023, 15:38 **[ТС]**

И таки у меня остался копипаст кода, который был изначально, а в нем было k+1, просто решил и у себя убрать, раз уж поправили =)

YuS_2 · 08.05.2023, 20:19

Сообщение от not a coder

(v1, v2) и (v2, v1)

вероятность мала, но не исключена.

Сообщение от not a coder

при п.2 придется генерировать заново

Сообщение от not a coder

Python

1 2	for _ in range(k): while True:

Не так... надо было заменить цикл for:

Python

from random import randint
 
n = 10000000
k = 100000
 
pairs = set()
while len(pairs) < k:
    pair = frozenset((randint(0, n-1), randint(0, n-1)))
    if len(pair) > 1:
        pairs.add(pair)
 
lpairs = list(map(list, pairs))
print(len(lpairs), '\n', lpairs[150:161])

@not a coder 0 / 0 / 0 Регистрация: 08.04.2023 Сообщений: 6
		1
	Перебор всех сочетаний в случайном порядке 08.05.2023, 13:17. Показов 774. Ответов 8 Метки комбинаторика (Все метки) У меня есть n элементов массива (n порядка 10.000.000), нужно перебрать сочетания этих элементов в случайном порядке (без повторений, соответственно). Например, при n = 4 будут следующие сочетания: (0, 1) (0, 2) (0, 3) (1, 2) (1, 3) (2, 3) (мне не хватает моих 32 Gb чтобы хранить хотя бы индексы этих пар, в чем и заключается основная проблема при решении этой задачи) 0

YuS_2 Любознательный 6546 / 1913 / 333 Регистрация: 10.03.2016 Сообщений: 4,355
	08.05.2023, 14:03	2
	Сообщение от not a coder в чем и заключается основная проблема при решении этой задачи Увы, это не главная проблема Комбинаторику изучали? количество уникальных сочетаний (combinations) `C = n!/(m!*(n-m)!)` где n - общее число элементов, m - количество отбираемых элементов из множества. Посчитайте варианты... рассчитайте время затрачиваемое на перебор... сделайте выводы... самостоятельно 0

@not a coder 0 / 0 / 0 Регистрация: 08.04.2023 Сообщений: 6
	08.05.2023, 14:47 [ТС]	3
	Не совсем корректно сформулировал вопрос, все же нужны не все пары, но некоторое заранее заданное количество, например, не больше 1000, но при этом они должны быть случайны и уникальны. Первое, что приходит в голову - выбрать случайные индексы этих пар, а затем развернуть в пару, как мы могли бы это сделать при маппинге индексов массива в индексы квадратной матрицы: i -> (i // n, i % n) При больших n делать это алгоритмически на питоне - не целесообразно (а все мы знаем насколько в нем медленные циклы), поэтому было бы хорошо иметь некую пару формул, как в обозначенном примере Добавлено через 16 минут В случае с большим n уникальностью думаю можно и пренебречь, поскольку вероятность выбора одинаковых индексов пар стремится к 0, а поскольку обработка получаемых пар автоматизированная (но не автоматическая), не думаю, что имеет смысл находить больше 100.000 пар 0

YuS_2 Любознательный 6546 / 1913 / 333 Регистрация: 10.03.2016 Сообщений: 4,355
	08.05.2023, 15:24	6
	Сообщение от not a coder Избавиться от проверки in получите дубликаты (они возможны)... Сообщение от not a coder И почему range(k+1)? где? ну, ладно-ладно, сначала был слово... м-м-м, т.е. k+1, но теперь его нет... В общем, экспериментируйте... направление мысли, вижу поняли... 0

@not a coder 0 / 0 / 0 Регистрация: 08.04.2023 Сообщений: 6
	08.05.2023, 15:38 [ТС]	8
	И таки у меня остался копипаст кода, который был изначально, а в нем было k+1, просто решил и у себя убрать, раз уж поправили =) Миниатюры 0

	08.05.2023, 20:19