Создать бинарный файл определенного размера

@blackeangel · Регистрация: 22.07.2015

Author24 — интернет-сервис помощи студентам

Итак, продолжаю ~~мучаться~~ изучать C++ и удивляться.
Необходимо создать файл заданного размера заполненного нулями. НО, почему то не получается.
На Windows - проблем нет. Но вот на Linux/Android - проблемы.

C++

void initOutputFile(char* output_file) {
    ofstream output_file_obj (output_file, ios::binary);
    long long position = max_file_size - 1;
    cout << "A file will be created with the size " << position << " bytes" <<endl;
    unsigned long offset = position % ULONG_MAX;
    int cycles = position / ULONG_MAX;
 
    // in the case of images greater than 4GB if its even possible
    if (cycles > 0) {
        output_file_obj.seekp(0, ios::beg);
        for (int i = 0; i < cycles; i++) {
            output_file_obj.seekp(ULONG_MAX, ios::cur);
        }
        output_file_obj.seekp(offset, ios::cur);
    } else {
        output_file_obj.seekp(position);
    }
    
    output_file_obj.put('\0');
    output_file_obj.flush();
    output_file_obj.close();
    return;

Козалось бы, должно всё работать. Но нет. Создаётся файл равный 0 байт.
Следовательно и тема на форуме типа Быстрое создание пустого файла определенного размера тут не поможет.
Может через буфер? Но как? Как можно создать буфер длиной несколько ГБ (например, 20) при наличии на устройстве 2 ГБ оперативной памяти?
В общем очень надеюсь на вас, дорогие форумчане.

@TheCalligrapher · 19.02.2023, 23:38

Сообщение от blackeangel

Но вот на Linux/Android - проблемы.

Пробуем на Linux

http://coliru.stacked-crooked.... 8059ace267

Все работает.

@zayats80888 · 19.02.2023, 23:39

Сообщение от blackeangel

Козалось бы, должно всё работать. Но нет. Создаётся файл равный 0 байт.

А что такое max_file_size?
Почему нет проверок на ошибки seekp?
ULONG_MAX в linux может не влезть в std::ofstream::off_type.

@TheCalligrapher · 19.02.2023, 23:41

Сообщение от blackeangel

output_file_obj.seekp(ULONG_MAX, ios::cur);

Почему вы решили, что ULONG_MAX - допустимое значение здесь? Какому типу у вас соответствует off_type?

@blackeangel · 19.02.2023, 23:54 **[ТС]**

TheCalligrapher, не работает
http://coliru.stacked-crooked.... e84ce0973d

@TheCalligrapher · 19.02.2023, 23:56

Сообщение от blackeangel

TheCalligrapher, не работает
http://coliru.stacked-crooked.... e84ce0973d

Ну так: 5067 File size limit exceeded(core dumped)

Код

$ ulimit
4000

То есть 4096000 - дозволенный максимум.

@blackeangel · 20.02.2023, 00:01 **[ТС]**

zayats80888,
1. размер файла
2. Очень интересно - научите
3. Не переживайте, даже если эту ветку удалить - всё рано не заработает

Добавлено через 2 минуты
TheCalligrapher, И? Не работает же?
Вопрос остаётся открытым о создании файла неограниченного размера.

Добавлено через 1 минуту
TheCalligrapher, не зря ж написал в ТЗ, что гигов 20, а 2,68 гига уже не тянет.

@zayats80888 · 20.02.2023, 00:04

Сообщение от blackeangel

Вопрос остаётся открытым о создании файла неограниченного размера.

Он всегда ограничен. Как минимум типом файловой системы. У вас какая?

@TheCalligrapher · 20.02.2023, 00:07

Сообщение от blackeangel

И? Не работает же?

Так и не должно. То есть наоборот: все прекрасно работает.

Сообщение от blackeangel

Вопрос остаётся открытым о создании файла неограниченного размера.

Да нет же! Вопроса о создании файла размером больше, чем дозволенный системной политикой лимит, не существует. Вопрос, которого не существует, никак не может "оставаться открытым".

Сообщение от blackeangel

Создать бинарный файл определенного размера

Сообщение от blackeangel

о создании файла неограниченного размера.

Взаимоисключающие параграфы?

@blackeangel · 20.02.2023, 00:09 **[ТС]**

zayats80888, ntfs и ext4

@zayats80888 · 20.02.2023, 00:11

Сообщение от blackeangel

ext4

Там ограничение 16 Tib. Так что у вас ограничение системное. Посмотреть лимиты можно командой ulimit -a.

@blackeangel · 20.02.2023, 00:15 **[ТС]**

TheCalligrapher, файл должен создаваться до тех пор пока не произойдёт одно из 2х событий:
Или файловая система скажет всё я больше не поддерживаю, либо будет достигнуто то число которое задали. Если этого не происходит, а 3 мб с мелочью это ну никак не дозволенное число/лимит.

Добавлено через 3 минуты
zayats80888, 2Гб туда влезут? А 40 Гб? Конечно же да. Так почему я не могу создать файл 20 гигов? 2 гига и т.д.? Давайте писать не разом, а пачками, дописывая файл до нужного размера. Но тот вариант в первом посте ограничен 3.9 мб. Поэтому забываем про него и начинаем писать 1 решение, подходящее для любой ОС

@TheCalligrapher · 20.02.2023, 00:16

Сообщение от blackeangel

файл должен создаваться до тех пор пока не произойдёт одно из 2х событий:
Или файловая система скажет всё я больше не поддерживаю, либо будет достигнуто то число которое задали.

У вас нет доступа к тому, сколько поддерживает файловая система. Вы общаетесь с ОС и решать все за вас будет ОС.

Поэтому я исправляю вашу постановку задачи: вам не нужно пока "файловая система скажет всё я больше не поддерживаю", вам нужно пока "ОС не скажет, что больше нельзя".

А дальше уже прямой путь - в API конкретной ОС, через который вы сможете узнать действующее ограничение. К С++ эта тема никакого отношения не имеет.

@blackeangel · 20.02.2023, 00:23 **[ТС]**

TheCalligrapher, не соглашусь. Могу ли я создать файл 1 мб? Могу. Могу ли я открыть и дописать туда еще1 мб? Могу. И ОС ничего мне не скажет. Могу ли я делать это до тех пор пока не достигну поставленной задачи? Могу, и ни одна ОС не скажет, что не могу.

@zayats80888 · 20.02.2023, 00:23

Сообщение от blackeangel

Поэтому забываем про него и начинаем писать 1 решение, подходящее для любой ОС

Это решение будет через дефайны, где для одной OC - один код, для другой - другой. И этот код будет содержать вызовы системного API, как написали выше.

Не по теме:

В частности для линукс, при превышении лимита, вы получите сигнал, который по-умолчанию прервет процесс, или ошибку, если используете системные функции для записи. Если есть права, лимит мужно увеличить, что опять же системный вызов.

@TheCalligrapher · 20.02.2023, 00:25

Сообщение от blackeangel

не соглашусь. Могу ли я создать файл 1 мб? Могу. Могу ли я открыть и дописать туда еще1 мб? Могу. И ОС ничего мне не скажет. Могу ли я делать это до тех пор пока не достигну поставленной задачи? Могу, и ни одна ОС не скажет, что не могу.

Это как это? Так вот же выше по ссылке пример, когда вы нарвались на ulimit и ОС вам сказала, что не можете.

@blackeangel · 20.02.2023, 00:38 **[ТС]**

TheCalligrapher, странно? За раз да, для нее много и действует ограничение. А вы попробуйте блоками по 4 кб, как это делает dd тогда и притензий к вам не будет. Странно, ведь он (dd) может создавать любые файлы, любого размера. Да, он написан на Си, ну ничего срашного. И ОС ему не страшна.

Добавлено через 7 минут
TheCalligrapher, zayats80888,

Код

:/ $ su
:/ # ulimit -a
-t: time(cpu-seconds)     unlimited
-f: file(blocks)          unlimited
-c: coredump(blocks)      0
-d: data(KiB)             unlimited
-s: stack(KiB)            8192
-l: lockedmem(KiB)        65536
-n: nofiles(descriptors)  32768
-p: processes             21369
-i: sigpending            21369
-q: msgqueue(bytes)       819200
-e: maxnice               40
-r: maxrtprio             0
-m: resident-set(KiB)     unlimited
-v: address-space(KiB)    unlimited
-x: filelocks             unlimited
:/ #

@zayats80888 · 20.02.2023, 00:47

Не по теме:

Сообщение от blackeangel

su

1) Вы ограничения для root смотрите.
2) Посмотреть "мягкие" ограничения можно добавив опцию -S

@blackeangel · 20.02.2023, 05:34 **[ТС]**

zayats80888,

Не по теме:

да а смысл, если помочь не хотят. Проще уповать на то, что есть ограничение на клиенте, чем установить на виртулку линь или же запустить на андроид смартфоне...

@zayats80888 · 20.02.2023, 06:59

Не по теме:

Сообщение от blackeangel

да а смысл, если помочь не хотят

Всмысле? Вам указали одну возможную причину, как её решать - это уже не вопрос С++, а конкретной ОС.
У меня, кстати, на линуксе ваш код условно работает и спокойно создает файл размером 2⁶³-1 байт (файловая система btrfs).
Чтобы лучше контролировать процесс, нужно использовать средства ОС, там и инструменты эффективнее и ошибки подробнее.

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	20.02.2023, 00:09 [ТС]	10
	zayats80888, ntfs и ext4 0

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	20.02.2023, 00:15 [ТС]	12
	TheCalligrapher, файл должен создаваться до тех пор пока не произойдёт одно из 2х событий: Или файловая система скажет всё я больше не поддерживаю, либо будет достигнуто то число которое задали. Если этого не происходит, а 3 мб с мелочью это ну никак не дозволенное число/лимит. Добавлено через 3 минуты zayats80888, 2Гб туда влезут? А 40 Гб? Конечно же да. Так почему я не могу создать файл 20 гигов? 2 гига и т.д.? Давайте писать не разом, а пачками, дописывая файл до нужного размера. Но тот вариант в первом посте ограничен 3.9 мб. Поэтому забываем про него и начинаем писать 1 решение, подходящее для любой ОС 0

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	20.02.2023, 00:23 [ТС]	14
	TheCalligrapher, не соглашусь. Могу ли я создать файл 1 мб? Могу. Могу ли я открыть и дописать туда еще1 мб? Могу. И ОС ничего мне не скажет. Могу ли я делать это до тех пор пока не достигну поставленной задачи? Могу, и ни одна ОС не скажет, что не могу. 0

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	20.02.2023, 00:38 [ТС]	17
	TheCalligrapher, странно? За раз да, для нее много и действует ограничение. А вы попробуйте блоками по 4 кб, как это делает dd тогда и притензий к вам не будет. Странно, ведь он (dd) может создавать любые файлы, любого размера. Да, он написан на Си, ну ничего срашного. И ОС ему не страшна. Добавлено через 7 минут TheCalligrapher, zayats80888, Код :/ $ su :/ # ulimit -a -t: time(cpu-seconds) unlimited -f: file(blocks) unlimited -c: coredump(blocks) 0 -d: data(KiB) unlimited -s: stack(KiB) 8192 -l: lockedmem(KiB) 65536 -n: nofiles(descriptors) 32768 -p: processes 21369 -i: sigpending 21369 -q: msgqueue(bytes) 819200 -e: maxnice 40 -r: maxrtprio 0 -m: resident-set(KiB) unlimited -v: address-space(KiB) unlimited -x: filelocks unlimited :/ # 0

Новые блоги и статьи
Алгоритмика hw_wired 28.01.2025 Введение: Основы алгоритмики и её роль в информатике В современном мире программирование и алгоритмическое мышление стали неотъемлемой частью образования и профессиональной деятельности. . . .	Информационное моделирование hw_wired 28.01.2025 Введение в информационное моделирование В современном мире информационное моделирование стало неотъемлемой частью научной, образовательной и профессиональной деятельности. Это мощный инструмент. . .	Объекты и их имена hw_wired 28.01.2025 Введение: Основы объектного подхода и их роль в информатике В современном мире информационных технологий объектный подход стал фундаментальным принципом организации и обработки информации. Этот. . .	Элементы алгоритмизации hw_wired 28.01.2025 Основы алгоритмизации В современном мире алгоритмы играют фундаментальную роль в развитии информационных технологий и программирования. Понимание основ алгоритмизации является ключевым элементом в. . .	Человек и информация hw_wired 28.01.2025 Введение: роль информации в познании мира В современном мире информация играет фундаментальную роль в процессе познания окружающей действительности. Она представляет собой совокупность сведений об. . .	Компьютер и информация hw_wired 28.01.2025 Эволюция вычислительных машин История развития вычислительной техники начинается задолго до появления первых электронных устройств. Человечество всегда стремилось упростить процесс вычислений и. . .
Информационные технологии hw_wired 28.01.2025 Введение в современные технологии работы с информацией В современном мире информационные технологии стали неотъемлемой частью практически всех сфер человеческой деятельности. Они существенно. . .	Информация вокруг нас hw_wired 28.01.2025 Основные понятия информации В современном мире понятие информации является фундаментальным и охватывает практически все сферы человеческой деятельности. Информация представляет собой совокупность. . .	Компьютер для начинающих hw_wired 28.01.2025 Введение в мир компьютерных технологий В современном мире информация стала одним из важнейших ресурсов человечества, определяющим развитие общества и технологий. Наша жизнь неразрывно связана с. . .	[golang] 189. Rotate Array alhaos 28.01.2025 Повороты рукоятки, целочисленный слайс нужно сдвинуть на целое положительное число. Мне очень нравится решение на GO / / https:/ / leetcode. com/ studyplan/ top-interview-150/ package topInterview . . .	КуМир: решение задач на матрицы bytestream 28.01.2025 КуМир представляет собой среду для обучения программированию, которая включает в себя мощные инструменты для работы с матрицами. Матрица в программировании - это двумерный массив, состоящий из. . .	КуМир: решение задач на строки bytestream 28.01.2025 В системе программирования КуМир работа со строковыми данными является одним из важнейших аспектов создания программ. Строки представляют собой последовательности символов, заключенные в кавычки,. . .

@TheCalligrapher Вездепух 12812 / 6684 / 1800 Регистрация: 18.10.2014 Сообщений: 16,935
	19.02.2023, 23:38	2
	Сообщение от blackeangel Но вот на Linux/Android - проблемы. Пробуем на Linux http://coliru.stacked-crooked.... 8059ace267 Все работает. 0

@zayats80888 6340 / 3511 / 1427 Регистрация: 07.02.2019 Сообщений: 8,977
	19.02.2023, 23:39	3
	Сообщение от blackeangel Козалось бы, должно всё работать. Но нет. Создаётся файл равный 0 байт. А что такое `max_file_size`? Почему нет проверок на ошибки `seekp`? `ULONG_MAX` в linux может не влезть в `std::ofstream::off_type`. 0

@TheCalligrapher Вездепух 12812 / 6684 / 1800 Регистрация: 18.10.2014 Сообщений: 16,935
	19.02.2023, 23:41	4
	Сообщение от blackeangel output_file_obj.seekp(ULONG_MAX, ios::cur); Почему вы решили, что `ULONG_MAX` - допустимое значение здесь? Какому типу у вас соответствует `off_type`? 0

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	19.02.2023, 23:54 [ТС]	5
	TheCalligrapher, не работает http://coliru.stacked-crooked.... e84ce0973d 0

@TheCalligrapher Вездепух 12812 / 6684 / 1800 Регистрация: 18.10.2014 Сообщений: 16,935
	19.02.2023, 23:56	6
	Сообщение от blackeangel TheCalligrapher, не работает http://coliru.stacked-crooked.... e84ce0973d Ну так: 5067 File size limit exceeded(core dumped) Код $ ulimit 4000 То есть `4096000` - дозволенный максимум. 0

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	20.02.2023, 00:01 [ТС]	7
	zayats80888, 1. размер файла 2. Очень интересно - научите 3. Не переживайте, даже если эту ветку удалить - всё рано не заработает Добавлено через 2 минуты TheCalligrapher, И? Не работает же? Вопрос остаётся открытым о создании файла неограниченного размера. Добавлено через 1 минуту TheCalligrapher, не зря ж написал в ТЗ, что гигов 20, а 2,68 гига уже не тянет. 0

@zayats80888 6340 / 3511 / 1427 Регистрация: 07.02.2019 Сообщений: 8,977
	20.02.2023, 00:04	8
	Сообщение от blackeangel Вопрос остаётся открытым о создании файла неограниченного размера. Он всегда ограничен. Как минимум типом файловой системы. У вас какая? 0

@TheCalligrapher Вездепух 12812 / 6684 / 1800 Регистрация: 18.10.2014 Сообщений: 16,935
	20.02.2023, 00:07	9
	Сообщение от blackeangel И? Не работает же? Так и не должно. То есть наоборот: все прекрасно работает. Сообщение от blackeangel Вопрос остаётся открытым о создании файла неограниченного размера. Да нет же! Вопроса о создании файла размером больше, чем дозволенный системной политикой лимит, не существует. Вопрос, которого не существует, никак не может "оставаться открытым". Сообщение от blackeangel Создать бинарный файл определенного размера Сообщение от blackeangel о создании файла неограниченного размера. Взаимоисключающие параграфы? 0

@zayats80888 6340 / 3511 / 1427 Регистрация: 07.02.2019 Сообщений: 8,977
	20.02.2023, 00:11	11
	Сообщение от blackeangel ext4 Там ограничение 16 Tib. Так что у вас ограничение системное. Посмотреть лимиты можно командой `ulimit -a`. 0

@TheCalligrapher Вездепух 12812 / 6684 / 1800 Регистрация: 18.10.2014 Сообщений: 16,935
	20.02.2023, 00:16	13
	Сообщение от blackeangel файл должен создаваться до тех пор пока не произойдёт одно из 2х событий: Или файловая система скажет всё я больше не поддерживаю, либо будет достигнуто то число которое задали. У вас нет доступа к тому, сколько поддерживает файловая система. Вы общаетесь с ОС и решать все за вас будет ОС. Поэтому я исправляю вашу постановку задачи: вам не нужно пока "файловая система скажет всё я больше не поддерживаю", вам нужно пока "ОС не скажет, что больше нельзя". А дальше уже прямой путь - в API конкретной ОС, через который вы сможете узнать действующее ограничение. К С++ эта тема никакого отношения не имеет. 0

	20.02.2023, 06:59

@zayats80888 6340 / 3511 / 1427 Регистрация: 07.02.2019 Сообщений: 8,977
	20.02.2023, 00:23	15
	Сообщение от blackeangel Поэтому забываем про него и начинаем писать 1 решение, подходящее для любой ОС Это решение будет через дефайны, где для одной OC - один код, для другой - другой. И этот код будет содержать вызовы системного API, как написали выше. Не по теме: В частности для линукс, при превышении лимита, вы получите сигнал, который по-умолчанию прервет процесс, или ошибку, если используете системные функции для записи. Если есть права, лимит мужно увеличить, что опять же системный вызов. 0

@TheCalligrapher Вездепух 12812 / 6684 / 1800 Регистрация: 18.10.2014 Сообщений: 16,935
	20.02.2023, 00:25	16
	Сообщение от blackeangel не соглашусь. Могу ли я создать файл 1 мб? Могу. Могу ли я открыть и дописать туда еще1 мб? Могу. И ОС ничего мне не скажет. Могу ли я делать это до тех пор пока не достигну поставленной задачи? Могу, и ни одна ОС не скажет, что не могу. Это как это? Так вот же выше по ссылке пример, когда вы нарвались на `ulimit` и ОС вам сказала, что не можете. 0

@zayats80888
	20.02.2023, 00:47 #18
	Не по теме: Сообщение от blackeangel su 1) Вы ограничения для root смотрите. 2) Посмотреть "мягкие" ограничения можно добавив опцию `-S` 0

@blackeangel 19 / 10 / 1 Регистрация: 22.07.2015 Сообщений: 908
	20.02.2023, 05:34 [ТС]	19
	zayats80888, Не по теме: да а смысл, если помочь не хотят. Проще уповать на то, что есть ограничение на клиенте, чем установить на виртулку линь или же запустить на андроид смартфоне... 0

@zayats80888
	20.02.2023, 06:59 Создать бинарный файл определенного размера #20
	Не по теме: Сообщение от blackeangel да а смысл, если помочь не хотят Всмысле? Вам указали одну возможную причину, как её решать - это уже не вопрос С++, а конкретной ОС. У меня, кстати, на линуксе ваш код условно работает и спокойно создает файл размером 2⁶³-1 байт (файловая система btrfs). Чтобы лучше контролировать процесс, нужно использовать средства ОС, там и инструменты эффективнее и ошибки подробнее. 0