С Новым годом! Форум программистов, компьютерный форум, киберфорум
Базы данных
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.91/11: Рейтинг темы: голосов - 11, средняя оценка - 4.91
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
1

Как отсортировать 1 миллиард записей?

08.01.2021, 15:39. Показов 2150. Ответов 16
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Как отсортировать 1 миллиард записей?

Максимум который сортирует mySQL - 3 миллиона записей. И то, начинаются страшные тормоза и зависание.

Что делать?
Спасибо.
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
08.01.2021, 15:39
Ответы с готовыми решениями:

Как отсортировать записи по меткам (для отдельных типов записей)
Сайт афиша. Есть Произвольный тип записей - заведения, магазины и т.д. У каждого типа записи свои...

Как это так получается что на этом форуме миллиард тем а у меня ни одной не пойму
Как это так сделать у меня на сайте чтобы там тоже много тем появилось потому что я его уже...

Как отсортировать "много" готовых записей ?
Как отсортировать (поменять местами публикации) записи если их в блоге более 5-ти тысяч ?

Отсортировать массив записей
Задан массив записей, что составляют информацию про фамилии и соотвествующие им номера телефонов....

16
фрилансер
5853 / 5392 / 1103
Регистрация: 11.10.2019
Сообщений: 14,393
08.01.2021, 16:16 2
miltorg, изначально хранить в сортированном виде в БД вариант?

индексы, там, всякие
0
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
08.01.2021, 16:29  [ТС] 3
Нет.
Записи поступают каждый день.
И сейчас есть уже 800 миллионов записей которые нужно отсортировать.
0
фрилансер
5853 / 5392 / 1103
Регистрация: 11.10.2019
Сообщений: 14,393
08.01.2021, 16:35 4
добавить индекс (процесс будет долгий)

зато потом будет быстро работать
0
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
08.01.2021, 16:38  [ТС] 5
Отсортировать достаточно 1 раз - то есть найти повторения.

Долгий... Ужасно долгий. По 2 суток без результата на Экселе.
0
6302 / 2143 / 337
Регистрация: 10.12.2013
Сообщений: 7,386
09.01.2021, 09:22 6
в MUMPS-технологиях ( встроенный язык M и он же - технология хранения данных в виде разреженных ассоц. массивов ),
массивы хранятся уже в отсортированном виде.

И если тебя разбанили в SQL.RU, можешь там и поинтересоваться в соответств. разделе.
0
3760 / 2264 / 705
Регистрация: 29.05.2013
Сообщений: 9,616
09.01.2021, 12:49 7
Цитата Сообщение от miltorg Посмотреть сообщение
Долгий... Ужасно долгий. По 2 суток без результата на Экселе.
Что за блажь делать это в экселе? Полно баз данных имеющих встроенные средства работы с индексами. Даже если к вам приходят ежедневные данные в формате xls, это не повод их собирать в Экселе. Поставьте MS SQL и импортируйте в него данные откуда угодно, у него для этого специальный инструментарий имеется.
0
5581 / 4431 / 1080
Регистрация: 29.08.2013
Сообщений: 27,717
Записей в блоге: 3
09.01.2021, 18:30 8
Цитата Сообщение от miltorg Посмотреть сообщение
Как отсортировать 1 миллиард записей?
а точнее - что значит отсортировать?
0
9112 / 6049 / 590
Регистрация: 27.03.2013
Сообщений: 19,869
09.01.2021, 19:56 9

Не по теме:

Цитата Сообщение от volodin661 Посмотреть сообщение
...И если тебя разбанили в SQL...
А кто он ТАМ по погонялу?

0
volodin661
09.01.2021, 20:23
  #10

Не по теме:

Цитата Сообщение от VinniPuh Посмотреть сообщение
А кто он ТАМ по погонялу?
такое же.

0
VinniPuh
09.01.2021, 20:33
  #11

Не по теме:

Цитата Сообщение от volodin661 Посмотреть сообщение
...такое же...
Чё та не видел.

0
Эксперт .NET
12565 / 8735 / 1311
Регистрация: 21.01.2016
Сообщений: 32,763
13.01.2021, 07:52 12
Цитата Сообщение от miltorg Посмотреть сообщение
Как отсортировать 1 миллиард записей?
Боже мой! Зачем?
0
Zero day
267 / 231 / 78
Регистрация: 16.12.2015
Сообщений: 943
Записей в блоге: 4
13.01.2021, 12:08 13
miltorg, возможно стоит подумать в сторону какой-то "оптимизации работы" с этими данными? Неужели нужны все 1ккк записей постоянно? Если таблица "операционная" и данные поступают каждый день, может стоит выделить "архивную" таблицу, а в исходной держать меньше записей?
Все зависит от контекста данных. Например, если речь идет о платежах, нет смысла держать в основной таблице платежи за весь год/квартал и мучать вьюхи/селекты агрегатами по всему объему. Можно слить часть старых платежей в "архив", а в основной держать данные за месяц/день...
0
5581 / 4431 / 1080
Регистрация: 29.08.2013
Сообщений: 27,717
Записей в блоге: 3
13.01.2021, 13:02 14
на sql.ru автор тоже задал вопрос и там он активнее отвечает
так что писать тут думаю смысла нет
0
3760 / 2264 / 705
Регистрация: 29.05.2013
Сообщений: 9,616
13.01.2021, 16:34 15
Там и задача озвучена более детально, а тут уже тема умерла
0
Эксперт .NET
12565 / 8735 / 1311
Регистрация: 21.01.2016
Сообщений: 32,763
14.01.2021, 06:24 16
Да, почитал ту тему. Перед человеком стоит задача найти дубликаты в текстовом файле. А он ничего лучше не придумал, чем взять СУБД и начать сортировать данные, чтобы дубликаты сгруппировались...
0
-13 / 10 / 2
Регистрация: 02.03.2015
Сообщений: 326
20.01.2021, 19:11  [ТС] 17
как то вы странно её прочитали. Там со 2-й страницы - совсем другой подход. А страниц - больше 10.
0
20.01.2021, 19:11
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
20.01.2021, 19:11
Помогаю со студенческими работами здесь

Нужно отсортировать массив записей
Нужно сформировать массив записей, вывести его на экран таблицей, что-то типа...

Яша подешевел на миллиард..
ссылка "Еще в феврале инвестбанкиры говорили о том, что акционеры "Яндекса" рассчитывали на...

Создать массивы записей о человеке и отсортировать их
- разработать интерфейс работы приложения (текстовый или графический); - создать массив записей...

Отсортировать массив записей методом пузырька
В массиве содержится не менее 100 записей (поля записи определить самостоятельно), отсортировать...

Отсортировать массив записей по определенному полю
Описать тип Tovar с полями name (название), kod (код товара), price (цена), number (количество)....

Календарь программиста на миллиард лет
Предлагаю вашему вниманию календарь работающий от 1 года до 1 342 177 279 года. Выполнен на...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
17
Ответ Создать тему
Новые блоги и статьи
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
Что такое NullReferenceEx­­­ception и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
Использование GraphQL в Go (Golang)
InfoMaster 08.01.2025
Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор?
Alexander-7 08.01.2025
Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .
Как работать с GraphQL на TypeScript
InfoMaster 08.01.2025
Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .
Счётчик на базе сумматоров + регистров и генератора сигналов согласования.
Hrethgir 07.01.2025
Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .
Как перейти с Options API на Composition API в Vue.js
BasicMan 06.01.2025
Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .
Архитектура современных процессоров
inter-admin 06.01.2025
Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .
История создания реляционной модели баз данных, правила Кодда
Programming 06.01.2025
Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru