Fetch size and batch size в запросах sql

@krazyd · Регистрация: 10.11.2012

Author24 — интернет-сервис помощи студентам

Добрый день!

Вопрос вот какой, я выполняю batch insert из одной таблицы в другую таблицу через java. Использую preparedStatement. Resultset forward only. Объемы большие.

Собственно в чем сам вопрос:
1. Можно выставить fetchsize - количество забираемых строк за раз из бд. Правильно ли я понимаю, что после выполнения метода next(), если потребуется, то именно в этот момент resultset загрузит в память jvm указанное мною число строк?

2. Загрузку в конечную витрину я осуществляю пачками, схематично:

Java

while(src_rs.next())
{
 // ...
  addBatch...
  if(rowcnt % batchsize) executeBatch()
}

Прав ли я в том, что оптимум такой загрузки будет когда fetchsize и batchsize равны?

При выполнении executeBatch(), GC удаляет данные, которые были загруженны в resultset из источника и переданны в addBatch? Или данные в resultset остаются пока я сам не сделаю finalise?

Заранее спасибо за помощь и терпения. Я только начал изучать яву.

@iSmokeJC · 26.07.2018, 09:51

krazyd, в java в операторе if условие обязательно boolean, вот это выражение

Java

1	if(rowcnt % batchsize)

некорректно, нужно что-то типа

Java

1	if(rowcnt % batchsize != 0)...

@turbanoff · 27.07.2018, 01:03

1. Да, правильно. Во всяком случае, так задумывалось. Хотя на самом деле зависит от имплементации jdbc драйвера. Вы каким пользуетесь (с какой СУБД работаете)?
2.

Прав ли я в том, что оптимум такой загрузки будет когда fetchsize и batchsize равны?

Это сложно сказать. Тут без замеров никуда, если вам нужна top performance. Обычно, просто выставление этих параметров в разумные значение уже даёт приемлемый результат.

Сообщение от krazyd

Или данные в resultset остаются пока я сам не сделаю finalise?

Это зависит от имплементации драйвера. По идее, если у вас forward only, то освобождать данные из ResultSet теоретически можно уже после вызова next().

Новые блоги и статьи
Откуда у float лишние цифры в конце дробной части. Представление чисел с плавающей точкой bytestream 25.01.2025 При разработке программного обеспечения часто возникает необходимость работать с вещественными числами, которые содержат дробную часть. В современных компьютерных системах такие числа представляются. . .	Как использовать глобальную переменную в функции в Python bytestream 25.01.2025 В программировании на Python глобальные переменные представляют собой особый тип переменных, которые доступны для использования во всех частях программы, включая различные функции, классы и модули. . . .	Как в цикле обойти все элементы map в Java bytestream 25.01.2025 В разработке на Java одной из наиболее востребованных структур данных является интерфейс Map, который предоставляет эффективный способ хранения и управления парами "ключ-значение". Разработчики. . .	Для чего нужен UserManager.isUserAGoat() в Android и как это использовать bytestream 25.01.2025 В мире Android-разработки существует множество интересных и порой загадочных функций, о которых знают далеко не все разработчики. Одной из таких функций является метод UserManager. isUserAGoat(),. . .	Как обойти масси в JavaScript. Всё о циклах bytestream 25.01.2025 JavaScript представляет собой мощный язык программирования, широко используемый в веб-разработке, где массивы и циклы являются фундаментальными концепциями для эффективной работы с данными. Массив в. . .	Как сделать, чтобы существующая ветка отслеживала удалённую в Git. Связывание локальных и удалённых веток bytestream 25.01.2025 В разработке программного обеспечения системы контроля версий стали неотъемлемой частью процесса создания качественного программного продукта. Эти инструменты позволяют разработчикам эффективно. . .
Как проверить, что файл НЕ существует с помощью Bash bytestream 25.01.2025 В системном администрировании проверка существования файлов является фундаментальной операцией, особенно при написании скриптов на Bash. Правильная обработка ситуаций, когда файл отсутствует,. . .	Как проверить, что строка пустая, неопределена или null в JavaScript bytestream 25.01.2025 При разработке веб-приложений на JavaScript разработчики регулярно сталкиваются с необходимостью проверки строковых значений на различные состояния. Валидация данных является критически важным. . .	Как проверить существование ключа в объекте или массиве в JavaScript bytestream 25.01.2025 При разработке веб-приложений на JavaScript программисты постоянно сталкиваются с необходимостью работать с объектами и массивами. Эти структуры данных являются фундаментальными элементами языка и. . .	Как создать ArrayList из массива (array) в Java bytestream 25.01.2025 При разработке программного обеспечения на языке Java программисты часто сталкиваются с необходимостью эффективного управления наборами данных. Массивы и ArrayList являются двумя фундаментальными. . .	Как сгенерировать случайные целые числа (int) в указанном диапазоне в Java bytestream 25.01.2025 В программировании генерация случайных чисел является важнейшим инструментом для решения множества практических задач. От создания игровых механик до реализации алгоритмов машинного обучения, от. . .	Как сделать, чтобы grep выводил строки до и после найденной hw_wired 25.01.2025 Утилита grep стала незаменимым инструментом для поиска и фильтрации информации в Unix-подобных операционных системах. Эта командная утилита позволяет осуществлять поиск строк, соответствующих. . .

@turbanoff 4093 / 3827 / 745 Регистрация: 18.05.2010 Сообщений: 9,331 Записей в блоге: 11
	27.07.2018, 01:03	3
	1. Да, правильно. Во всяком случае, так задумывалось. Хотя на самом деле зависит от имплементации jdbc драйвера. Вы каким пользуетесь (с какой СУБД работаете)? 2. Прав ли я в том, что оптимум такой загрузки будет когда fetchsize и batchsize равны? Это сложно сказать. Тут без замеров никуда, если вам нужна top performance. Обычно, просто выставление этих параметров в разумные значение уже даёт приемлемый результат. Сообщение от krazyd Или данные в resultset остаются пока я сам не сделаю finalise? Это зависит от имплементации драйвера. По идее, если у вас forward only, то освобождать данные из ResultSet теоретически можно уже после вызова next(). 0