Проблема при копировании большого кол-ва файлов

@Faubert · Регистрация: 23.10.2012

Author24 — интернет-сервис помощи студентам

Всем привет.
Имеется задача - скопировать довольно большее кол-во видеофайлов (от 1000) c HDD на USB-носитель. Размер файлов до 20 Мб.
ОС - ubuntu. Имеется код на Java, использую Files.Copy.
В процессе копирования было замечено следующее:
1. N первых файлов копирует практически моментально, но следующие гораздо медленнее.
2. Это не зависит от общего размера копируемых файлов. т.е. если я копирую файлов на 200 Гб, быстро копируется первые 50 Гб (оценочно), а при копировании 10 Гб, быстро копируются первые 2 Гб (опять же оценочно).

В чем может быть причина? Может ли это быть какой-то кэш, стек? Как можно решить данную проблему?

Заранее спасибо.

@Goongala · 26.06.2019, 09:14

Эт не проблема, эт фича убунту. По крайней мере, когда я копирую большой объём данных средствами убунту, происходит то же самое

@Faubert · 26.06.2019, 09:20 **[ТС]**

Gungala, Средствами ubuntu - это cp?) Я все же надеялся, что чего-то не знаю.
Так как скопировать необходимо как можно быстрее, это все - таки проблема.

@Goongala · 26.06.2019, 09:29

Сообщение от Faubert

Средствами ubuntu - это cp?)

да

Сообщение от Faubert

Так как скопировать необходимо как можно быстрее

Насколько я понимаю, программно (именно через java) не получится заметно ускорить копирование. Надо эт как-то через ОС делать

@iSmokeJC · 26.06.2019, 09:52

Faubert, Попробуй загнать в tar и через канал распаковать в целевую папку

Добавлено через 33 секунды
Это средствами убунты, разумеется

@Faubert · 26.06.2019, 09:58 **[ТС]**

iSmokeJC, спасибо за идею, но есть достаточно существенные минусы:
1. В tar придется загонять объёмы до 2 TB.
2. Целевая папка не одна, там целая иерархия из папок, поэтому распаковку провести тоже довольно проблематично.

Но думаю на более меньших объемах попробовать.

@korvin_ · 26.06.2019, 20:53

Faubert, ты код копирования свой показывать-то будешь? Или нам и дальше на кофейной гуще гадать?

Впрочем, конечно, если подобный эффект проявляется и у Gungala, с банальной cp, то дело, возможно, и не в коде.

@Kukstyler · 26.06.2019, 22:49

Faubert, https://gist.github.com/2E0PGS... 4f56efe52f

@Faubert 8 / 4 / 2 Регистрация: 23.10.2012 Сообщений: 49
		1
	Проблема при копировании большого кол-ва файлов 26.06.2019, 08:18. Показов 1282. Ответов 7 Метки files.copy, ubuntu (Все метки) Всем привет. Имеется задача - скопировать довольно большее кол-во видеофайлов (от 1000) c HDD на USB-носитель. Размер файлов до 20 Мб. ОС - ubuntu. Имеется код на Java, использую Files.Copy. В процессе копирования было замечено следующее: 1. N первых файлов копирует практически моментально, но следующие гораздо медленнее. 2. Это не зависит от общего размера копируемых файлов. т.е. если я копирую файлов на 200 Гб, быстро копируется первые 50 Гб (оценочно), а при копировании 10 Гб, быстро копируются первые 2 Гб (опять же оценочно). В чем может быть причина? Может ли это быть какой-то кэш, стек? Как можно решить данную проблему? Заранее спасибо. 0

@Goongala 1022 / 562 / 185 Регистрация: 18.08.2013 Сообщений: 2,026 Записей в блоге: 2
	26.06.2019, 09:14	2
	Эт не проблема, эт фича убунту. По крайней мере, когда я копирую большой объём данных средствами убунту, происходит то же самое 0

@Faubert 8 / 4 / 2 Регистрация: 23.10.2012 Сообщений: 49
	26.06.2019, 09:20 [ТС]	3
	Gungala, Средствами ubuntu - это cp?) Я все же надеялся, что чего-то не знаю. Так как скопировать необходимо как можно быстрее, это все - таки проблема. 0

@Goongala 1022 / 562 / 185 Регистрация: 18.08.2013 Сообщений: 2,026 Записей в блоге: 2
	26.06.2019, 09:29	4
	Сообщение от Faubert Средствами ubuntu - это cp?) да Сообщение от Faubert Так как скопировать необходимо как можно быстрее Насколько я понимаю, программно (именно через java) не получится заметно ускорить копирование. Надо эт как-то через ОС делать 0

@iSmokeJC Am I evil? Yes, I am! 19249 / 10969 / 2920 Регистрация: 21.10.2017 Сообщений: 23,168
	26.06.2019, 09:52	5
	Faubert, Попробуй загнать в tar и через канал распаковать в целевую папку Добавлено через 33 секунды Это средствами убунты, разумеется 0

@Faubert 8 / 4 / 2 Регистрация: 23.10.2012 Сообщений: 49
	26.06.2019, 09:58 [ТС]	6
	iSmokeJC, спасибо за идею, но есть достаточно существенные минусы: 1. В tar придется загонять объёмы до 2 TB. 2. Целевая папка не одна, там целая иерархия из папок, поэтому распаковку провести тоже довольно проблематично. Но думаю на более меньших объемах попробовать. 0

@korvin_ 4539 / 2732 / 486 Регистрация: 28.04.2012 Сообщений: 8,630
	26.06.2019, 20:53	7
	Faubert, ты код копирования свой показывать-то будешь? Или нам и дальше на кофейной гуще гадать? Впрочем, конечно, если подобный эффект проявляется и у Gungala, с банальной cp, то дело, возможно, и не в коде. 0

@Kukstyler 1255 / 865 / 267 Регистрация: 02.04.2009 Сообщений: 3,281
	26.06.2019, 22:49	8
	Faubert, https://gist.github.com/2E0PGS... 4f56efe52f 0