-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
|
|
1 | |
Как отсортировать 1 миллиард записей?08.01.2021, 15:39. Показов 2150. Ответов 16
Метки нет (Все метки)
Как отсортировать 1 миллиард записей?
Максимум который сортирует mySQL - 3 миллиона записей. И то, начинаются страшные тормоза и зависание. Что делать? Спасибо.
0
|
08.01.2021, 15:39 | |
Ответы с готовыми решениями:
16
Как отсортировать записи по меткам (для отдельных типов записей) Как это так получается что на этом форуме миллиард тем а у меня ни одной не пойму Как отсортировать "много" готовых записей ? Отсортировать массив записей |
фрилансер
5853 / 5392 / 1103
Регистрация: 11.10.2019
Сообщений: 14,393
|
|
08.01.2021, 16:16 | 2 |
miltorg, изначально хранить в сортированном виде в БД вариант?
индексы, там, всякие
0
|
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
|
|
08.01.2021, 16:29 [ТС] | 3 |
Нет.
Записи поступают каждый день. И сейчас есть уже 800 миллионов записей которые нужно отсортировать.
0
|
фрилансер
5853 / 5392 / 1103
Регистрация: 11.10.2019
Сообщений: 14,393
|
|
08.01.2021, 16:35 | 4 |
добавить индекс (процесс будет долгий)
зато потом будет быстро работать
0
|
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
|
|
08.01.2021, 16:38 [ТС] | 5 |
Отсортировать достаточно 1 раз - то есть найти повторения.
Долгий... Ужасно долгий. По 2 суток без результата на Экселе.
0
|
6302 / 2143 / 337
Регистрация: 10.12.2013
Сообщений: 7,386
|
|
09.01.2021, 09:22 | 6 |
в MUMPS-технологиях ( встроенный язык M и он же - технология хранения данных в виде разреженных ассоц. массивов ),
массивы хранятся уже в отсортированном виде. И если тебя разбанили в SQL.RU, можешь там и поинтересоваться в соответств. разделе.
0
|
3760 / 2264 / 705
Регистрация: 29.05.2013
Сообщений: 9,616
|
|
09.01.2021, 12:49 | 7 |
Что за блажь делать это в экселе? Полно баз данных имеющих встроенные средства работы с индексами. Даже если к вам приходят ежедневные данные в формате xls, это не повод их собирать в Экселе. Поставьте MS SQL и импортируйте в него данные откуда угодно, у него для этого специальный инструментарий имеется.
0
|
9112 / 6049 / 590
Регистрация: 27.03.2013
Сообщений: 19,869
|
|
09.01.2021, 19:56 | 9 |
0
|
volodin661
|
09.01.2021, 20:23
#10
|
0
|
VinniPuh
|
09.01.2021, 20:33
#11
|
0
|
12565 / 8735 / 1311
Регистрация: 21.01.2016
Сообщений: 32,763
|
|
13.01.2021, 07:52 | 12 |
0
|
Zero day
|
|
13.01.2021, 12:08 | 13 |
miltorg, возможно стоит подумать в сторону какой-то "оптимизации работы" с этими данными? Неужели нужны все 1ккк записей постоянно? Если таблица "операционная" и данные поступают каждый день, может стоит выделить "архивную" таблицу, а в исходной держать меньше записей?
Все зависит от контекста данных. Например, если речь идет о платежах, нет смысла держать в основной таблице платежи за весь год/квартал и мучать вьюхи/селекты агрегатами по всему объему. Можно слить часть старых платежей в "архив", а в основной держать данные за месяц/день...
0
|
3760 / 2264 / 705
Регистрация: 29.05.2013
Сообщений: 9,616
|
|
13.01.2021, 16:34 | 15 |
Там и задача озвучена более детально, а тут уже тема умерла
0
|
12565 / 8735 / 1311
Регистрация: 21.01.2016
Сообщений: 32,763
|
|
14.01.2021, 06:24 | 16 |
Да, почитал ту тему. Перед человеком стоит задача найти дубликаты в текстовом файле. А он ничего лучше не придумал, чем взять СУБД и начать сортировать данные, чтобы дубликаты сгруппировались...
0
|
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
|
|
20.01.2021, 19:11 [ТС] | 17 |
как то вы странно её прочитали. Там со 2-й страницы - совсем другой подход. А страниц - больше 10.
0
|
20.01.2021, 19:11 | |
20.01.2021, 19:11 | |
Помогаю со студенческими работами здесь
17
Нужно отсортировать массив записей Яша подешевел на миллиард.. Создать массивы записей о человеке и отсортировать их Отсортировать массив записей методом пузырька Отсортировать массив записей по определенному полю Календарь программиста на миллиард лет Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи | |||||
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства
Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
|
Что такое NullReferenceException и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
|
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
|
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
|
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
|
Использование GraphQL в Go (Golang)
InfoMaster 08.01.2025
Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
|
Что лучше использовать при создании класса в Java: сеттеры или конструктор?
Alexander-7 08.01.2025
Вопрос подробнее:
На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .
|
Как работать с GraphQL на TypeScript
InfoMaster 08.01.2025
Введение в GraphQL и TypeScript
В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .
|
Счётчик на базе сумматоров + регистров и генератора сигналов согласования.
Hrethgir 07.01.2025
Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .
|
Как перейти с Options API на Composition API в Vue.js
BasicMan 06.01.2025
Почему переход на Composition API актуален
В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .
|
Архитектура современных процессоров
inter-admin 06.01.2025
Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .
|
История создания реляционной модели баз данных, правила Кодда
Programming 06.01.2025
Предпосылки создания реляционной модели
В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .
|