Парсинг с помощью HtmlAgilityPack. Как добиться вывода информации?

@JavaUser · Регистрация: 06.10.2013

Author24 — интернет-сервис помощи студентам

Доброго времени суток.
Я использую библиотек HtmlAgilityPack.
Произвожу парсинг www.banki.ru
Мне необходимо получить информацию из вкладок "Вклады", "Кредиты", "Кредитные карты".
вот код парсинга вкладов:

C#    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
public static void ViewBestSuggest_NEW()
        {
            var webGet = new HtmlWeb(); 
            webGet.OverrideEncoding=Encoding.Default;           
            var document = webGet.Load("http://www.banki.ru/");
            HtmlNodeCollection HNC1 = document.DocumentNode.SelectNodes("//div[starts-with(@data-tabs-item-name, 'deposits')]");//div[starts-with(@data-tabs-item-name, 'deposits')]
            for(int i=0;i<HNC1.Count;i++)
            {
                Console.WriteLine(HNC1[i].InnerText);
            }
                    
        }

Как сделать так, чтобы не было ошибок при замене значения атрибута на допустимое значение=credits???
Ведь название атрибута не меняется, только значение...
Во вложении кусок кода страницы, который парсится

@OwenGlendower · 14.02.2015, 04:26

JavaUser, по всей видимости этот элемент создается JavaScript-ом и т.к. HtmlAgilityPack не выполняет JavaScript, то и узла не будет.

P.S. Вместо Encoding.Default я бы использовал Encoding.GetEncoding(1251) т.к. значение Encoding.Default зависит от региональных настроек.

@JavaUser · 16.02.2015, 13:42 **[ТС]**

Сообщение от OwenGlendower

по всей видимости этот элемент создается JavaScript-ом и т.к. HtmlAgilityPack не выполняет JavaScript, то и узла не будет.

Понятно. Спасибо! Буду думать дальше

Добавлено через 33 секунды

Сообщение от OwenGlendower

Вместо Encoding.Default я бы использовал Encoding.GetEncoding(1251)

это не катит... катит только Encopding.Default

@kenny69 · 17.02.2015, 05:19

Для того чтобы выполнить javascript можно использовать, например, Awesomium или аналогичное решение.
А после уже передавать загруженную страницу в HtmlAgilityPack
Принцип работы описал здесь:
Awesomium WebControl: работа с элементами с помощью foreach

Полную загрузку можно определить из 2-х событий:
1. LoadingFrameComplete - загрузились скрипты
2. DocumentReady - загрузился DOM
Т.е. эти 2 события должны произойти. А произойти они могут в разном порядке. Значит надо ставить флаги, и при каждом из них проверять, не произошло ли другое.

Новые блоги и статьи Все статьи Все блоги /
Списки и кортежи в Python: различия, особенности, применение py-thonny 13.04.2025 Python славится своей гибкостью при работе с данными. В арсенале языка есть две основные последовательные структуры данных, которые программисты используют ежедневно — списки и кортежи. Эти структуры. . .	Middleware в ASP.NET Core UnmanagedCoder 13.04.2025 В ASP. NET Core термин "middleware" занимает особое место. Что же это такое? Middleware представляет собой программные компоненты, которые формируют конвейер обработки HTTP-запросов в приложении. . . .	Таблицы лута в Unity с MinMaxCurve и AnimationCurve GameUnited 12.04.2025 Создание сбалансированного лута в играх — задача не из простых. Разработчики постоянно ищут способы настройки систем выпадения предметов, которые будут одновременно справедливыми для игроков и. . .	std::expected в C++: Управление ошибками bytestream 12.04.2025 Обработка ошибок всегда была важной и одновременно сложной задачей в программировании на C++. На протяжении долгого времени разработчики использовали различные подходы: возвращаемые коды ошибок,. . .	Nullable типы и операторы объединения null в C# UnmanagedCoder 12.04.2025 Многие шутят, что null — это миллиардная ошибка в программировании. И в этой шутке только доля шутки. Тони Хоар, создатель null-ссылки, сам назвал её своей "ошибкой на миллиард долларов". Почему?. . .
Аутентификация и авторизация JWT в микросервисах с API Gateway stackOverflow 12.04.2025 В традиционных монолитных приложениях безопасность часто реализуется как единый защитный периметр - пользователь проходит аутентификацию один раз, после чего получает доступ ко всем функциям системы. . . .	TypeScript: Интерфейсы vs Типы run.dev 11.04.2025 Современная разработка на JavaScript сталкивается с множеством проблем при масштабировании проектов. Типизация кода стала хорошим инструментом, помогающим избежать ошибок во время выполнения,. . .	Управление топиками и разделами Kafka Javaican 11.04.2025 Apache Kafka — распределенная платформа потоковой передачи данных, которая стала стандартом для построения высоконагруженных систем обмена сообщениями. В современной архитектуре микросервисов,. . .	Миграция монолита в Event-Driven микросервисную архитектуру на C# stackOverflow 11.04.2025 Монолитная архитектура – классический подход к разработке программного обеспечения. Это приложение, построенное как единое целое, где все компоненты тесно связаны между собой. Большинство проектов. . .	Go в Kubernetes: Управление ресурсами golander 11.04.2025 Разработчики Go-приложений в Kubernetes часто сталкиваются с неожиданными проблемами производительности и даже внезапными отказами контейнеров. Причина этого кроется в особенностях взаимодействия. . .

@OwenGlendower Администратор 17899 / 13995 / 5345 Регистрация: 17.03.2014 Сообщений: 28,654 Записей в блоге: 1
	14.02.2015, 04:26
	Сообщение было отмечено Metall_Version как решение Решение JavaUser, по всей видимости этот элемент создается JavaScript-ом и т.к. HtmlAgilityPack не выполняет JavaScript, то и узла не будет. P.S. Вместо Encoding.Default я бы использовал Encoding.GetEncoding(1251) т.к. значение Encoding.Default зависит от региональных настроек. 1

@JavaUser 73 / 73 / 28 Регистрация: 06.10.2013 Сообщений: 309
	16.02.2015, 13:42 [ТС]
	Сообщение от OwenGlendower по всей видимости этот элемент создается JavaScript-ом и т.к. HtmlAgilityPack не выполняет JavaScript, то и узла не будет. Понятно. Спасибо! Буду думать дальше Добавлено через 33 секунды Сообщение от OwenGlendower Вместо Encoding.Default я бы использовал Encoding.GetEncoding(1251) это не катит... катит только Encopding.Default 0

@kenny69 burning1ife 1466 / 1287 / 294 Регистрация: 21.09.2008 Сообщений: 3,438 Записей в блоге: 9
	17.02.2015, 05:19
	Для того чтобы выполнить javascript можно использовать, например, Awesomium или аналогичное решение. А после уже передавать загруженную страницу в HtmlAgilityPack Принцип работы описал здесь: Awesomium WebControl: работа с элементами с помощью foreach Полную загрузку можно определить из 2-х событий: 1. LoadingFrameComplete - загрузились скрипты 2. DocumentReady - загрузился DOM Т.е. эти 2 события должны произойти. А произойти они могут в разном порядке. Значит надо ставить флаги, и при каждом из них проверять, не произошло ли другое. 0

Парсинг с помощью HtmlAgilityPack. Как добиться вывода информации?

Решение