Как сохранить веб страницу в файл из командной строки

@atztek · Регистрация: 05.12.2015

Author24 — интернет-сервис помощи студентам

Возникла необходимость сохранить некоторое количество веб страниц в html-файлы. Но необходимо выполнить это не мышкой, а из командной строки. Существуют ли браузеры которые это поддерживают?

Если 'нет', в какой сторонней бесплатной программе можно указать страницы сайта, чтобы она сама сохранила их в файлы не внося в них никаких изменений?

FlasherX · 26.11.2022, 20:06

Смотря какие страницы сохранять. Можно скриптами из коробки (js/vbs, powershell). Самое банальное без картинок и стилей:

Windows Batch file

1	@certutil.exe -urlcache -split -f https://www.cyberforum.ru/network-soft/thread3050017.html index.html

А так сторонних качалок полно: wget, curl, aria2, axel, mulk, mydown, download, Downloader, infotask, SavePage и т. д.
В этом разделе хватает примеров. Один из: Скачать HTML код страницы

@atztek · 26.11.2022, 23:27 **[ТС]**

Сообщение от FlasherX

Смотря какие страницы сохранять. Можно скриптами из коробки (js/vbs, powershell). Самое банальное без картинок и стилей:
Windows Batch file
Выделить код
1
@certutil.exe -urlcache -split -f Как сохранить веб страницу в файл из командной строки index.html
А так сторонних качалок полно: wget, curl, aria2, axel, mulk, mydown, download, Downloader, infotask, SavePage и т. д.
В этом разделе хватает примеров. Один из: Скачать HTML код страницы

Забыл упомянуть о том что необходимо загрузить html-страницы со всеми картинками, заархивированными файлами (zip, rar) и т.д., чтобы потом можно было открыть все в офлайновом режиме. Не знаете, обычные браузеры - firefox, opera, chrome и другие этого (эквивалент ручного "Файл=>Сохранить как") не позволяют через командную стоку?

Добавлено через 2 часа 12 минут

Сообщение от FlasherX

А так сторонних качалок полно: wget, curl, aria2, axel, mulk, mydown, download, Downloader, infotask, SavePage и т. д.

Проверил wget, страницу качает как надо, но есть одна проблема - картинки остаются с линками на исходный сервер вместо того чтобы загружаться на мой компьютер.

В качестве примера использовал следующий набор опций:

wget --mirror --page-requisites --convert-link --no-clobber --no-parent --domains qna.habr.com/q https://qna.habr.com/q/202277

Это первый попавшийся сайт, но и с тем с которого мне необходимо загрузить проблема такая же.
Предполагаю что дело в '--domains qna.habr.com/q' - видимо и картинки должны быть расположены по этому домейну?

Добавлено через 23 минуты

Сообщение от FlasherX

А так сторонних качалок полно: wget

А если убрать '--domains qna.habr.com/q', то качать будет все что попало, очень-очень много лишнего.

@atztek · 28.11.2022, 02:17 **[ТС]**

FlasherX, Разобрался с тем как скачивать то что мне необходимо при помощи wget, но возникла одна проблема. Допустим вебстраницы называются следующим образом: a1,a2,a3,...a999.. Для скачивания напрашивается 'wget ... http://www.domain.com/abcd/а*', но оказывается wget '*' (wildcard) не поддерживает.

Можно создать файл со списком страниц и указать в командной строке wget при помощи '-i filename.txt', это работает, но если страниц сотни придется тратить время на создание таких файлов. Можно ли как-нибудь обойти такое ограничение?

ПС Посмотрел видео по 'curl', там похоже одной командной строкой не обойтись, а изучать php (+curl) только ради этой задачи - займет слишком много времени.

FlasherX · 28.11.2022, 02:50

atztek, wget может фильтровать файлы и папки ключами -A и -I соответственно. Если счётчик на конце реален, а не вымышлен, то параметры можно подставить через for /l %%i in (1,1,999) do wget ... -I a%%i.

Новые блоги и статьи
Как проводить научные вычисления на Python InfoMaster 15.01.2025 Python стал одним из наиболее востребованных языков программирования в области научных вычислений благодаря своей простоте, гибкости и обширной экосистеме специализированных библиотек. Научные. . .	Создание игры типа Minecraft на PyGame/Python: пошаговое руководство InfoMaster 15.01.2025 В данном руководстве мы рассмотрим процесс создания игры в стиле Minecraft с использованием библиотеки PyGame на языке программирования Python. Этот проект идеально подходит как для начинающих. . .	Как создать свою первую игру в стиле Doom на Unreal Engine InfoMaster 15.01.2025 Разработка шутера от первого лица в стиле классического Doom представляет собой увлекательное путешествие в мир игрового программирования, где сочетаются творческий подход и технические навыки. . . .	Параллельное программирование: основные технологии и принципы InfoMaster 15.01.2025 Введение в параллельное программирование Параллельное программирование представляет собой фундаментальный подход к разработке программного обеспечения, который позволяет одновременно выполнять. . .	Как написать микросервис на C# с Kafka, MediatR, Redis и GitLab CI/CD InfoMaster 15.01.2025 В современной разработке программного обеспечения микросервисная архитектура стала стандартом де-факто для создания масштабируемых и гибких приложений. Этот подход позволяет разделить сложную систему. . .	Что такое CQRS и как это реализовать на C# с MediatR InfoMaster 15.01.2025 Концепция CQRS и её роль в современной разработке В современном мире разработки программного обеспечения архитектурные паттерны играют ключевую роль в создании масштабируемых и поддерживаемых. . .
Как настроить CI/CD с Azure DevOps InfoMaster 15.01.2025 CI/ CD, или непрерывная интеграция и непрерывное развертывание, представляет собой современный подход к разработке программного обеспечения, который позволяет автоматизировать и оптимизировать процесс. . .	Как настроить CI/CD с помощью Jenkins InfoMaster 15.01.2025 Введение в CI/ CD и Jenkins В современной разработке программного обеспечения непрерывная интеграция (CI) и непрерывная доставка (CD) стали неотъемлемыми элементами процесса создания качественных. . .	Как написать микросервис на Go/Golang с Kafka, REST и GitHub CI/CD InfoMaster 14.01.2025 Определение микросервиса, преимущества использования Go/ Golang Микросервис – это архитектурный подход к разработке программного обеспечения, при котором приложение состоит из небольших, независимо. . .	Как написать микросервис с нуля на C# с RabbitMQ, CQRS, Swagger и CI/CD InfoMaster 14.01.2025 В современном мире разработки программного обеспечения микросервисная архитектура стала стандартом де-факто для создания масштабируемых и гибких приложений. Этот архитектурный подход предполагает. . .	Как создать интернет-магазин на PHP и JavaScript InfoMaster 14.01.2025 В современном мире электронная коммерция стала неотъемлемой частью бизнеса. Создание собственного интернет-магазина открывает широкие возможности для предпринимателей, позволяя достичь большей. . .	Как написать Тетрис на Ассемблере InfoMaster 14.01.2025 Тетрис – одна из самых узнаваемых и популярных компьютерных игр, созданная в 1984 году советским программистом Алексеем Пажитновым. За прошедшие десятилетия она завоевала симпатии миллионы людей по. . .

@atztek 2 / 2 / 0 Регистрация: 05.12.2015 Сообщений: 190
		1
	Windows Как сохранить веб страницу в файл из командной строки 26.11.2022, 15:14. Показов 1844. Ответов 4 Метки нет (Все метки) Возникла необходимость сохранить некоторое количество веб страниц в html-файлы. Но необходимо выполнить это не мышкой, а из командной строки. Существуют ли браузеры которые это поддерживают? Если 'нет', в какой сторонней бесплатной программе можно указать страницы сайта, чтобы она сама сохранила их в файлы не внося в них никаких изменений? 0

@atztek 2 / 2 / 0 Регистрация: 05.12.2015 Сообщений: 190
	26.11.2022, 23:27 [ТС]	3
	Сообщение от FlasherX Смотря какие страницы сохранять. Можно скриптами из коробки (js/vbs, powershell). Самое банальное без картинок и стилей: Windows Batch file Выделить код 1 @certutil.exe -urlcache -split -f Как сохранить веб страницу в файл из командной строки index.html А так сторонних качалок полно: wget, curl, aria2, axel, mulk, mydown, download, Downloader, infotask, SavePage и т. д. В этом разделе хватает примеров. Один из: Скачать HTML код страницы Забыл упомянуть о том что необходимо загрузить html-страницы со всеми картинками, заархивированными файлами (zip, rar) и т.д., чтобы потом можно было открыть все в офлайновом режиме. Не знаете, обычные браузеры - firefox, opera, chrome и другие этого (эквивалент ручного "Файл=>Сохранить как") не позволяют через командную стоку? Добавлено через 2 часа 12 минут Сообщение от FlasherX А так сторонних качалок полно: wget, curl, aria2, axel, mulk, mydown, download, Downloader, infotask, SavePage и т. д. Проверил wget, страницу качает как надо, но есть одна проблема - картинки остаются с линками на исходный сервер вместо того чтобы загружаться на мой компьютер. В качестве примера использовал следующий набор опций: wget --mirror --page-requisites --convert-link --no-clobber --no-parent --domains qna.habr.com/q https://qna.habr.com/q/202277 Это первый попавшийся сайт, но и с тем с которого мне необходимо загрузить проблема такая же. Предполагаю что дело в '--domains qna.habr.com/q' - видимо и картинки должны быть расположены по этому домейну? Добавлено через 23 минуты Сообщение от FlasherX А так сторонних качалок полно: wget А если убрать '--domains qna.habr.com/q', то качать будет все что попало, очень-очень много лишнего. 0

@atztek 2 / 2 / 0 Регистрация: 05.12.2015 Сообщений: 190
	28.11.2022, 02:17 [ТС]	4
	FlasherX, Разобрался с тем как скачивать то что мне необходимо при помощи wget, но возникла одна проблема. Допустим вебстраницы называются следующим образом: a1,a2,a3,...a999.. Для скачивания напрашивается 'wget ... http://www.domain.com/abcd/а', но оказывается wget '' (wildcard) не поддерживает. Можно создать файл со списком страниц и указать в командной строке wget при помощи '-i filename.txt', это работает, но если страниц сотни придется тратить время на создание таких файлов. Можно ли как-нибудь обойти такое ограничение? ПС Посмотрел видео по 'curl', там похоже одной командной строкой не обойтись, а изучать php (+curl) только ради этой задачи - займет слишком много времени. 0

FlasherX 6353 / 2778 / 1074 Регистрация: 06.06.2017 Сообщений: 9,428
	28.11.2022, 02:50	5
	atztek, wget может фильтровать файлы и папки ключами -A и -I соответственно. Если счётчик на конце реален, а не вымышлен, то параметры можно подставить через `for /l %%i in (1,1,999) do wget ... -I a%%i`. 1