Долгий DISTINCT

@MConst · Регистрация: 16.04.2022

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Есть большая таблица из 60 столбцов и 1 млрд строк. Есть индекс с составными полями (10 колонок).

Когда запускаю запрос, который часто вызывается

SQL
1
SELECT DISTINCT "Период" FROM test.myTable1;

то выполняется очень долго, хотя поле "Период" присутствует в составном индексе.

Как можно ускорить такой запрос, чтобы в системе хранилась подобная статистика?

@Аватар · 06.03.2024, 09:32

Distinct по сути неявный group by по всем полям выборки, по периоду в данном случае. Где тот период в индексе? Можно сделать дополнительную табличку с ключом период и на нее повесить внешний ключ с проблемной таблицы. Тогда запрос ускорится и делать его на доп.таблицу.

@Swa111 · 06.03.2024, 11:00

В явном виде индекс не используется, но можно заставить при правильно составленном запросе. https://wiki.postgresql.org/wiki/Loose_indexscan

@MConst · 06.03.2024, 12:00 **[ТС]**

Используется обычный индекс

SQL
1
CREATE INDEX myTable1_idx ON myTable1("column1", "Период", "column3", "column4", "column5", "column6", "column7", "column8", "column9", "column10");

Может лучше использовать покрывающий индекс?

SQL
1
CREATE INDEX  myTable1_idx ON myTable1 ("column1", "column3", "column4", "column5", "column6", "column7", "column8", "column9", "column10") INCLUDE ("Период");

@Swa111 · 06.03.2024, 12:14

Для того что бы индекс использовался, искомое поле должно быть слева в противном случае не иаеет смысла

@MConst · 07.03.2024, 08:56 **[ТС]**

Сообщение от Swa111

Для того что бы индекс использовался, искомое поле должно быть слева в противном случае не иаеет смысла

Пересоздал индекс. Даже создал еще второй индекс только с полем "Период". При сканировании использован только первый индекс.

Добавлено через 25 минут
и в результате все равно долго.

@Swa111 · 07.03.2024, 09:13

В PG что бы получить уникальные записи нужно просканировать всю таблицу. Пробовали метод из поста Долгий DISTINCT

@uaggster · 09.03.2024, 11:55

Сообщение от MConst

Как можно ускорить такой запрос, чтобы в системе хранилась подобная статистика?

Довольно старая статья на хабре:
https://habr.com/ru/companies/... es/329542/

См. раздел "Грабли"
"Отсутствие cross column статистики (многомерных распределений)".
Наслаждайтесь.

Рыжий Лис · 09.03.2024, 18:43

Если запрос SELECT DISTINCT "Период" FROM test.myTable1; нужно реально часто выполнять, то можно позаимствовать идею

Сообщение от Аватар

Можно сделать дополнительную табличку с ключом период

На таблицу test.myTable1 накинуть триггеры на update/insert/delete. В отдельной таблице поля "Период" (UK) и "Количество" (int). Этакая статистика для бедных.

Минусы: глупо, хрупко.
Плюсы: быстро

@MConst · 29.03.2024, 08:20 **[ТС]**

Есть такой вариант

Кликните здесь для просмотра всего текста

SQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
CREATE STATISTICS IF NOT EXISTS stts_1 ON "column1", "Период" FROM test1.myTable1;--Как минимум надо указывать две колонки
 
--После обновления данных в таблице
ANALYZE test1.myTable1;
 
SELECT DISTINCT 
    unnest(array["array"]) AS "Период"
FROM
    (SELECT
        most_common_vals::text::text[] AS "array"
    FROM
        pg_stats
    WHERE
        "schemaname" = LOWER('test1')
        AND
        "tablename" = LOWER('myTable1')
        AND 
        "attname" = LOWER('Период')) t;

Lower используется потому что там будет переменная.

Используется поле "most_common_vals". В документации это Список самых частых значений в столбце. (NULL, если не находятся значения, встречающиеся чаще других.)

Если указано, что выводит самые частые значения, то возможно может не вывести все значения.

Что скажете по такому варианту?

Рыжий Лис · 29.03.2024, 16:08

Я не стал бы использовать pg_stats для боевых запросов. Что-либо прикинуть - да, точный ответ - нет.

Но надо опять же читать документацию, сомневаюсь, что в pg_stats точность прямо до одной строки.

@MConst · 31.03.2024, 17:41 **[ТС]**

Спасибо!

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Аватар 5393 / 1465 / 513 Регистрация: 31.05.2012 Сообщений: 5,153
	06.03.2024, 09:32
	Distinct по сути неявный group by по всем полям выборки, по периоду в данном случае. Где тот период в индексе? Можно сделать дополнительную табличку с ключом период и на нее повесить внешний ключ с проблемной таблицы. Тогда запрос ускорится и делать его на доп.таблицу. 0

@Swa111 912 / 286 / 57 Регистрация: 01.06.2023 Сообщений: 803
	06.03.2024, 11:00
	В явном виде индекс не используется, но можно заставить при правильно составленном запросе. https://wiki.postgresql.org/wiki/Loose_indexscan 0

@Swa111 912 / 286 / 57 Регистрация: 01.06.2023 Сообщений: 803
	06.03.2024, 12:14
	Для того что бы индекс использовался, искомое поле должно быть слева в противном случае не иаеет смысла 1

@Swa111 912 / 286 / 57 Регистрация: 01.06.2023 Сообщений: 803
	07.03.2024, 09:13
	В PG что бы получить уникальные записи нужно просканировать всю таблицу. Пробовали метод из поста Долгий DISTINCT 0

Рыжий Лис Просто Лис 5972 / 3734 / 1099 Регистрация: 17.05.2012 Сообщений: 10,791 Записей в блоге: 9
	29.03.2024, 16:08
	Я не стал бы использовать `pg_stats` для боевых запросов. Что-либо прикинуть - да, точный ответ - нет. Но надо опять же читать документацию, сомневаюсь, что в pg_stats точность прямо до одной строки. 0

@MConst 2 / 2 / 1 Регистрация: 16.04.2022 Сообщений: 1,004
	31.03.2024, 17:41 [ТС]
	Спасибо! 0