Создание просто парсера, который выбирает друзей в ВК

@mma_gladiator · Регистрация: 20.10.2016

Студворк — интернет-сервис помощи студентам

Здравствуйте! Прошу помощи. Я начинающий программист и хотел бы написать свою первую программу, парсер друзей вк. Начал создавать через HtmlAgilityPack, но вылетает куча ошибок, а документации годной в интернете не нашел.

C#
1
2
3
4
5
6
7
8
9
10
void Button1Click(object sender, EventArgs e)   
        {
            HtmlAgilityPack.HtmlDocument doc = new HtmlAgilityPack.HtmlDocument();
            doc.Load("https://vk.com/friends?id=353539366&section=all");
            HtmlAgilityPack.HtmlNodeCollection nodes = doc.DocumentNode.SelectNodes("//div[@class='friends_field friends_field_title']/a");
            if (nodes != null)
            {
                richTextBox1.Text = nodes.ToString();
            }
        }

вот что получилось, но этот код вообще не работает. Помогите пожалуйста

@Hermein · 20.10.2016, 13:10

для vk есть Api, зачем лезть в недры html когда есть удобный Json?
https://vk.com/dev/main

@mma_gladiator · 20.10.2016, 21:01 **[ТС]**

Мой цель не спарсить друзей, а научиться писать парсеры, просто ВК как пример взял

@Hermein · 21.10.2016, 01:19

mma_gladiator, парсеры чего? вы понимаете что такое DOM как он устроен и что такое XPatch?
Если на 1 из этих 3 вопросов вы не можете дать конкретный ответ - то лучше все таки изучить базовые понятия.
ps: htmlap - не лучший выбор, для старта лучше использовать тот же SGMLReader и парсить все в виде XML, а перед тем как парсить изучить ресурс на наличие Api(отдающее сразу XML-JSON данные)

@EvilFromHell · 21.10.2016, 06:35

Сообщение от mma_gladiator

Начал создавать через HtmlAgilityPack, но вылетает куча ошибок, а документации годной в интернете не нашел.

Сообщение от Hermein

htmlap - не лучший выбор,

Странно. По-моему он как раз самый популярный, и примеров на него море. Сам пользуюсь именно им.
Мне лично для парсеров сайта без API обычно нужен такой набор инструментов: библиотеки HtmlAgilityPack, Newtonsoft.JSON, иногда JINT(когда надо сложные скрипты воспроизвести без браузера). Запросы из C# кода шлются классом HttpClient, инфа по запросам смотрится в сниффере Fiddler. А для анализирования обфусцированного JS кода на сайте использую всякие бьютифиеры в инете, потом копирую в Notepad++ и там смотрю что к чему.

Но у VK есть официальное API, а для него есть библиотеки. Я пользуюсь библиотекой VK.NET. Правда, там может нехватать некоторых методов, но исходник открыт и код написан так, что вставить их-дело двух минут. Самому изобретать велосипед нет никакого смысла.

@Hermein · 21.10.2016, 16:06

EvilFromHell, у htmlap слишком много дырявых мест, то что он самый популярный - это ни для кого не секрет, но на него судя по всему "забили";
ТС пишет что он новичек и как следствие я предлагаю ему более простое решение - конвертирование в XML и парсинг именно XML, поймет древовидную структуру XML, не будет сложностей с DOM. Просто как минимум начинать с этого проще имхо.

@EvilFromHell · 21.10.2016, 17:22

Hermein, с трудом понимаю, чем XML проще чем HTML. И в чем выражаются дыры HAP? Первый раз про них слышу.

@Hermein · 21.10.2016, 19:18

EvilFromHell, по сути ничем, каждому свое просто, я начинал с XML парсинга, потом уже потребовалось HTML-ки пару раз парсить и сделал вывод что если бы наоборот все было то помучился бы гораздо дольше. А по-HAP:

Сообщение от orcewake

Из замеченных странностей — специфическое API, порой непонятное и запутывающее. Если ничего не найдено, возвращается null, а не пустая коллекция. Ну и обновление библиотеки как-то затянулось — новый код давно никто не коммитал. Баги не фиксаются ( Athari упоминал о критическом баге Incorrect parsing of HTML4 optional end tags, который приводит к некорректной обработке тегов HTML, закрывающие теги для которых опциональны.)

Так же сам сталкивался с ошибками, которые приходилось фиксить окольными путями, сейчас уже сложно пример привести, но было связано с вложенными тегами вида <i<img>mg></i</img>mg> (уязвимость чатов на vbulletin), хотя и встречались довольно странные вещи в виде вылетающих исключений в блоке try, ошибок о том что объект не существует (что-то вроде

C#
1
2
3
4
NodeList test=null;
try{//получаем NodeList;
}catch{}
if(test==null) return; //была ошибка что test  не существует (очень редко, притом ставишь бряки проверяешь повторно - и все ок)

@EvilFromHell · 22.10.2016, 02:30

Не по теме:

Сообщение от Hermein

EvilFromHell, по сути ничем, каждому свое просто, я начинал с XML парсинга, потом уже потребовалось HTML-ки пару раз парсить и сделал вывод что если бы наоборот все было то помучился бы гораздо дольше.

Ну это уже субъективно:) я лично вообще XML обычно сериализую/десериализую, а парсить его приходилось редко. А вот HTML-регулярно. На счет дыр-глянул ту статью, откуда текст, и действительно с обновлениями у HAPа туго. Но мне лично не приходилось сталкиваться с косяками в своих задачах-в большинстве случаев он таки вполне приемлем. Будет время-попробую и другие предложенные там варианты.

Новые блоги и статьи Все статьи Все блоги /
сукцессия микоризы: основная теория в виде двух уравнений. anaschu 11.01.2026 https:/ / rutube. ru/ video/ 7a537f578d808e67a3c6fd818a44a5c4/	WordPad для Windows 11 Jel 10.01.2026 WordPad для Windows 11 — это приложение, которое восстанавливает классический текстовый редактор WordPad в операционной системе Windows 11. После того как Microsoft исключила WordPad из. . .	Classic Notepad for Windows 11 Jel 10.01.2026 Old Classic Notepad for Windows 11 Приложение для Windows 11, позволяющее пользователям вернуть классическую версию текстового редактора «Блокнот» из Windows 10. Программа предоставляет более. . .	Почему дизайн решает? Neotwalker 09.01.2026 В современном мире, где конкуренция за внимание потребителя достигла пика, дизайн становится мощным инструментом для успеха бренда. Это не просто красивый внешний вид продукта или сайта — это. . .
Модель микоризы: классовый агентный подход 3 anaschu 06.01.2026 aa0a7f55b50dd51c5ec569d2d10c54f6/ O1rJuneU_ls https:/ / vkvideo. ru/ video-115721503_456239114	Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ФедосеевПавел 06.01.2026 Owen Logic: О недопустимости использования связки «аналоговый ПИД» + RegKZR ВВЕДЕНИЕ Введу сокращения: аналоговый ПИД — ПИД регулятор с управляющим выходом в виде числа в диапазоне от 0% до. . .	Модель микоризы: классовый агентный подход 2 anaschu 06.01.2026 репозиторий https:/ / github. com/ shumilovas/ fungi ветка по-частям. коммит Create переделка под биомассу. txt вход sc, но sm считается внутри мицелия. кстати, обьем тоже должен там считаться. . . .	Расчёт токов в цепи постоянного тока igorrr37 05.01.2026 / * Дана цепь постоянного тока с сопротивлениями и источниками (напряжения, ЭДС и тока). Найти токи и напряжения во всех элементах. Программа составляет систему уравнений по 1 и 2 законам Кирхгофа и. . .

@Hermein 99 / 43 / 16 Регистрация: 25.10.2011 Сообщений: 246
	20.10.2016, 13:10
	для vk есть Api, зачем лезть в недры html когда есть удобный Json? https://vk.com/dev/main 0

@mma_gladiator 0 / 0 / 0 Регистрация: 20.10.2016 Сообщений: 3
	20.10.2016, 21:01 [ТС]
	Мой цель не спарсить друзей, а научиться писать парсеры, просто ВК как пример взял 0

@Hermein 99 / 43 / 16 Регистрация: 25.10.2011 Сообщений: 246
	21.10.2016, 01:19
	mma_gladiator, парсеры чего? вы понимаете что такое DOM как он устроен и что такое XPatch? Если на 1 из этих 3 вопросов вы не можете дать конкретный ответ - то лучше все таки изучить базовые понятия. ps: htmlap - не лучший выбор, для старта лучше использовать тот же SGMLReader и парсить все в виде XML, а перед тем как парсить изучить ресурс на наличие Api(отдающее сразу XML-JSON данные) 0

@Hermein 99 / 43 / 16 Регистрация: 25.10.2011 Сообщений: 246
	21.10.2016, 16:06
	EvilFromHell, у htmlap слишком много дырявых мест, то что он самый популярный - это ни для кого не секрет, но на него судя по всему "забили"; ТС пишет что он новичек и как следствие я предлагаю ему более простое решение - конвертирование в XML и парсинг именно XML, поймет древовидную структуру XML, не будет сложностей с DOM. Просто как минимум начинать с этого проще имхо. 0

@EvilFromHell 979 / 874 / 350 Регистрация: 26.04.2012 Сообщений: 2,647
	21.10.2016, 17:22
	Hermein, с трудом понимаю, чем XML проще чем HTML. И в чем выражаются дыры HAP? Первый раз про них слышу. 0