С Новым годом! Форум программистов, компьютерный форум, киберфорум
C# для начинающих
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.80/15: Рейтинг темы: голосов - 15, средняя оценка - 4.80
0 / 0 / 0
Регистрация: 10.12.2014
Сообщений: 6
1

Использование GZip для сжатия текста веб-страницы

11.12.2016, 20:57. Показов 3061. Ответов 7
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Добрый вечер, форумчане! Прошу вашей помощи. Решения из похожих тем мне не помогли.

Есть метод
C#
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 public static string GetURL(string address)//получение текста со страницы
        {
            //using (var client = new MyWebClient())
            using (var client = new WebClient())
            {
                //WebClient берет Proxy из конфигурационных файлов Internet Explorer. Отключаем
                client.Proxy = null;
                client.Credentials = CredentialCache.DefaultNetworkCredentials;
                client.Encoding = Encoding.UTF8;
                client.Headers[HttpRequestHeader.AcceptEncoding] = "gzip";
                using (GZipStream responseStream = new GZipStream(client.OpenRead(address), CompressionMode.Decompress))
                {
                    using (StreamReader reader = new StreamReader(responseStream))
                    { return reader.ReadToEnd(); }
                }
            }
        }
Выдается следующая ошибка

Неправильное магическое число в заголовке GZip. Передача должна идти в поток GZip.

В чем дело, никак не могу понять. Ощущение, что в поток GZip ничего не попадает. Хотя, когда использую
C#
1
client.DownloadString(address);
все парсит как надо.
0
Лучшие ответы (1)
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
11.12.2016, 20:57
Ответы с готовыми решениями:

Распаковка GZip из веб запроса
Доброго времени суток. пишу свой прокси сервер. Говорю сразу,для своих нужд. Данный сервер должен...

GZIP распаковка веб страницы
Помогите перевести код с Delphi на С++ Вот сам код: HeadersToList(http.Headers); // полезная...

Программа для сжатия и распаковки текста
Добрый день! Подскажите, пожалуйста, дано задание: "Разработка программы для сжатия и распаковки...

Извлечение текста из веб-страницы
Доброго времени суток, специалисты VBA. Посоветуйте решение. На листе в ячейку E2 - вписано...

7
Администратор
Эксперт .NET
17717 / 13842 / 5315
Регистрация: 17.03.2014
Сообщений: 28,352
Записей в блоге: 1
12.12.2016, 13:59 2
Лучший ответ Сообщение было отмечено kocherga как решение

Решение

kocherga, попробуй заменить GZipStream на DeflateStream. Еще лучше будет положиться на автоматическую распаковку.
C#
1
2
3
4
5
6
7
8
9
10
11
12
class MyWebClient : WebClient
{
    protected override WebRequest GetWebRequest(Uri address)
    {
        WebRequest webReq = base.GetWebRequest(address);
        HttpWebRequest httpReq = webReq as HttpWebRequest;
        if (httpReq == null) return webReq;
 
        httpReq.AutomaticDecompression = DecompressionMethods.Deflate | DecompressionMethods.GZip;
        return httpReq;
    }
}
0
0 / 0 / 0
Регистрация: 10.12.2014
Сообщений: 6
13.12.2016, 12:35  [ТС] 3
К сожалению, при использование DeflateStream выдается ошибка: Обнаружены недопустимые данные при декодировании.
А при использование автоматической декомпрессии не происходит выигрыша по времени, по сравнению с тем же DownloadString().
0
1454 / 846 / 150
Регистрация: 06.06.2012
Сообщений: 2,370
13.12.2016, 12:38 4
Цитата Сообщение от kocherga Посмотреть сообщение
А при использование автоматической декомпрессии не происходит выигрыша по времени, по сравнению с тем же DownloadString().
А должно?
0
0 / 0 / 0
Регистрация: 10.12.2014
Сообщений: 6
13.12.2016, 12:51  [ТС] 5
Не верно выразилась. Время парсинга страницы при автоматической распаковке и вообще без нее не отличается.
0
Администратор
Эксперт .NET
17717 / 13842 / 5315
Регистрация: 17.03.2014
Сообщений: 28,352
Записей в блоге: 1
13.12.2016, 13:10 6
kocherga, возможно выигрыш и есть, но он слишком небольшой. Нужно замерять время не для одной, а для десятков или сотен страниц.
1
0 / 0 / 0
Регистрация: 10.12.2014
Сообщений: 6
13.12.2016, 13:17  [ТС] 7
Измеряла для примерно 20 страниц. Из-за чего такое может происходить? Парсинг делаю для новостного сайта.
0
Администратор
Эксперт .NET
17717 / 13842 / 5315
Регистрация: 17.03.2014
Сообщений: 28,352
Записей в блоге: 1
13.12.2016, 19:15 8
kocherga, возможно затраты времени на распаковку перекрывают выигрыш от более быстрой передачи данных.
1
13.12.2016, 19:15
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
13.12.2016, 19:15
Помогаю со студенческими работами здесь

Замена текста веб-страницы (GreaseMonkey)
Мне нужно заменить один текст на другой, где бы на странице он ни находился. Например, есть такая...

Декодинг сжатой gzip страницы.
Получаю через сокетное соединение html-файл. его код сжат gzip-ом. Как средствами PHP можно...

При попытке выполнения сжатия диска система пишет, что доступное для сжатия место — всего лишь 45 МБ
Приветствую. Пытаюсь отделить от диска D (не системный) 50гб памяти. На диске 450+гб памяти всего...

Неправильное магическое число в заголовке GZip. Передача должна идти в поток GZip
Добрый день, пытаюсь написать свой мини-архиватор. Задача заключается в использовании только...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
Что такое NullReferenceEx­­­ception и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
Использование GraphQL в Go (Golang)
InfoMaster 08.01.2025
Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор?
Alexander-7 08.01.2025
Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .
Как работать с GraphQL на TypeScript
InfoMaster 08.01.2025
Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .
Счётчик на базе сумматоров + регистров и генератора сигналов согласования.
Hrethgir 07.01.2025
Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .
Как перейти с Options API на Composition API в Vue.js
BasicMan 06.01.2025
Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .
Архитектура современных процессоров
inter-admin 06.01.2025
Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .
История создания реляционной модели баз данных, правила Кодда
Programming 06.01.2025
Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru