Парсер сайта погоды Gismeteo.ru

@kiwokr · Регистрация: 01.07.2016

Author24 — интернет-сервис помощи студентам

Всем доброго времени суток. Столкнулся с проблемой и честно говоря не могу понять в чём причина. Стоит задача вытянуть с главной страницы сайта Gismeteo.ru погоду на завтра для популярных городов. Начал делать с использованием библиотеки Anglesharp но столкнулся с следующей проблемой если запрос идёт без условий всё ок, если ставишь условия, то результат null. Нагуглил уже миллион запросов начиная от LINQ заканчивая DOM и всё равно не вижу в чём проблема.
Код имеет следующий вид

C#

1
2
3

            var parser = new HtmlParser();
            var document = parser.Parse(source);
            var result = document.QuerySelectorAll("a").Where(item => item.ClassName != null && item.ClassName.Contains("a0a35007699 e64913e36c4 c678c15222a aa762d35258 ");

Интересующий фрагмент на гисметео имеет вид

CSS

<div class="f6ff4330926">
                    <a href="https://www.gismeteo.ru/weather-barnaul-4720/" class="a0a35007699 e64913e36c4 c678c15222a aa762d35258 ">
                        <span class="a8315a764b4">Барнаул</span>
                    </a>
                </div>
            
                <div class="f6ff4330926">
                    <a href="https://www.gismeteo.ru/weather-belgorod-5039/" class="a0a35007699 e64913e36c4 c678c15222a aa762d35258 ">
                        <span class="a8315a764b4">Белгород</span>
                    </a>
                </div>
            
                <div class="f6ff4330926">
                    <a href="https://www.gismeteo.ru/weather-volgograd-5089/" class="a0a35007699 e64913e36c4 c678c15222a aa762d35258 ">
                        <span class="a8315a764b4">Волгоград</span>
                    </a>
                </div>

Жду вашей помощи, спасибо.

@OwenGlendower · 04.06.2018, 21:05

kiwokr, для приведенного кода нужно делать так

C#

1
2
3

var parser = new HtmlParser();
var document = parser.Parse(source);
var result = document.QuerySelectorAll("a.a0a35007699.e64913e36c4.c678c15222a.aa762d35258");

Но лично у меня этот код не работает. Работает такой:

C#

1	var result = document.QuerySelectorAll("#noscript a");

@meridbt · 04.06.2018, 21:46

kiwokr,

А использование api не рассматривается?

https://www.gismeteo.ru/api/

@kiwokr · 04.06.2018, 22:02 **[ТС]**

Сообщение от OwenGlendower

var result = document.QuerySelectorAll("#noscript a");

у меня тоже работает

Т.е. из-за использования какого-то скрипта определяющего наиболее популярные города блокируется LINQ запрос ?

Сообщение от meridbt

А использование api не рассматривается?

К сожалению нет

@OwenGlendower · 04.06.2018, 22:09

Сообщение от kiwokr

Т.е. из-за использования какого-то скрипта определяющего наиболее популярные города блокируется LINQ запрос ?

Нет. В документе просто отсутствует указанный тобой html.

@kiwokr · 04.06.2018, 22:10 **[ТС]**

Сообщение от OwenGlendower

var result = document.QuerySelectorAll("#noscript a");

Не очень понимаю. Это же у меня просто текст, который можно например регулярными выражениями распарсить (но это не кошерно, как по мне). Т.е. LINQ должен же просто проверить значение class у тега a и выбрать те которые соответствуют некоторому введенному значению, разве нет? Можете как-то объяснить в чем причина такой ситуации или хотя бы направление в гугл указать

@OwenGlendower · 05.06.2018, 01:51

Сообщение от kiwokr

Т.е. LINQ должен же просто проверить значение class у тега a и выбрать те которые соответствуют некоторому введенному значению, разве нет?

Да. Именно это он и делает. Но раз ничего не возвращается значит элементов удовлетворяющих условию нет.

Сообщение от kiwokr

или хотя бы направление в гугл указать

Думаю тебе нужно изучить CSS селекторы.

@kiwokr · 05.06.2018, 10:24 **[ТС]**

Сообщение от OwenGlendower

Да. Именно это он и делает. Но раз ничего не возвращается значит элементов удовлетворяющих условию нет.

Почему тогда не находит ни 1 значения с условием item => item.ClassName != null ? Про CSS я более менее осведомлен, но прочитаю ещё разок, спасибо. Но проблему я так и не понял,

Сообщение от OwenGlendower

Нет. В документе просто отсутствует указанный тобой html.

что вы имели ввиду ? в документе целиком вся страница, заливал в тхт проверял всё на месте и отличий нету. Какая-то борода с Anglesharp но я не могу найти тех доки нормальные его, либо поверхностные какие-то сведения, либо вообще просто описание, скоро наверное придется копаться по репозиторию и искать исходники этих методов и смотреть почему такие ситуации могут возникать...

@Usaga · 05.06.2018, 11:37

Сообщение от kiwokr

К сожалению нет

Почему?

@kiwokr · 05.06.2018, 11:47 **[ТС]**

Сообщение от Usaga

Почему?

Потому, что в задании требуется написать парсер главной страницы, да и в апи нету списка этих популярных городов.

Добавлено через 3 минуты
Usaga, вы лучше объясните мне, что за бред с Anglesharp-ом? Почему он не вытягивает данные? В чём собственно ошибка? С точки зрения LINQ всё правильно, если я правильно понимаю логику парсера, то тоже всё должно работать, но оно не работает...

@Usaga · 05.06.2018, 11:52

kiwokr, никакого бреда. Нужно верный селектор описать. И нужно не забывать, что то, что вы видите в браузере может сильно отличаться от того, что видит AngleSharp, ибо в браузере может крутиться JS-скрипт, который может менять DOM. AngleSharp никаких скриптов не исполняет (это парсер).

@kiwokr · 05.06.2018, 12:03 **[ТС]**

Действительно я затупок...чем вчера смотрел не понятно...

CSS

1
2
3

 <!-- City frame --><noscript id="noscript"><a href="/weather-barnaul-4720/" data-id="4720" data-name="Барнаул" data-nameP="в Барнауле" data-countrycapital="" data-url="/weather-barnaul-4720/" alt="Погода в Барнауле" title="Погода в Барнауле">Погода в Барнауле</a>,
            <a href="/weather-belgorod-5039/" data-id="5039" data-name="Белгород" data-nameP="в Белгороде" data-countrycapital="" data-url="/weather-belgorod-5039/" alt="Погода в Белгороде" title="Погода в Белгороде">Погода в Белгороде</a>,
            <a href="/weather-volgograd-5089/" data-id="5089" data-name="Волгоград" data-nameP="в Волгограде" data-countrycapital="" data-url="/weather-volgograd-5089/" alt="Погода в Волгограде" title="Погода в Волгограде">Погода в Волгограде</a>

@OwenGlendower · 05.06.2018, 12:26

Сообщение от Usaga

AngleSharp никаких скриптов не исполняет (это парсер).

Небольшая поправка. AngleSharp умеет выполнять скрипты, если его настроить соответвующим образом. Насколько хорошо он это делает сказать не могу. Это все таки парсер, а не полноценный браузерный движок.

@meridbt 182 / 145 / 94 Регистрация: 30.07.2013 Сообщений: 579
	04.06.2018, 21:46	3
	kiwokr, А использование api не рассматривается? https://www.gismeteo.ru/api/ 1

@kiwokr 3 / 3 / 1 Регистрация: 01.07.2016 Сообщений: 59
	04.06.2018, 22:02 [ТС]	4
	Сообщение от OwenGlendower var result = document.QuerySelectorAll("#noscript a"); у меня тоже работает Т.е. из-за использования какого-то скрипта определяющего наиболее популярные города блокируется LINQ запрос ? Сообщение от meridbt А использование api не рассматривается? К сожалению нет 0

@OwenGlendower Администратор 17567 / 13789 / 5299 Регистрация: 17.03.2014 Сообщений: 28,271 Записей в блоге: 1
	04.06.2018, 22:09	5
	Сообщение от kiwokr Т.е. из-за использования какого-то скрипта определяющего наиболее популярные города блокируется LINQ запрос ? Нет. В документе просто отсутствует указанный тобой html. 0

@kiwokr 3 / 3 / 1 Регистрация: 01.07.2016 Сообщений: 59
	04.06.2018, 22:10 [ТС]	6
	Сообщение от OwenGlendower var result = document.QuerySelectorAll("#noscript a"); Не очень понимаю. Это же у меня просто текст, который можно например регулярными выражениями распарсить (но это не кошерно, как по мне). Т.е. LINQ должен же просто проверить значение class у тега a и выбрать те которые соответствуют некоторому введенному значению, разве нет? Можете как-то объяснить в чем причина такой ситуации или хотя бы направление в гугл указать 0

@OwenGlendower Администратор 17567 / 13789 / 5299 Регистрация: 17.03.2014 Сообщений: 28,271 Записей в блоге: 1
	05.06.2018, 01:51	7
	Сообщение от kiwokr Т.е. LINQ должен же просто проверить значение class у тега a и выбрать те которые соответствуют некоторому введенному значению, разве нет? Да. Именно это он и делает. Но раз ничего не возвращается значит элементов удовлетворяющих условию нет. Сообщение от kiwokr или хотя бы направление в гугл указать Думаю тебе нужно изучить CSS селекторы. 0

@kiwokr 3 / 3 / 1 Регистрация: 01.07.2016 Сообщений: 59
	05.06.2018, 10:24 [ТС]	8
	Сообщение от OwenGlendower Да. Именно это он и делает. Но раз ничего не возвращается значит элементов удовлетворяющих условию нет. Почему тогда не находит ни 1 значения с условием item => item.ClassName != null ? Про CSS я более менее осведомлен, но прочитаю ещё разок, спасибо. Но проблему я так и не понял, Сообщение от OwenGlendower Нет. В документе просто отсутствует указанный тобой html. что вы имели ввиду ? в документе целиком вся страница, заливал в тхт проверял всё на месте и отличий нету. Какая-то борода с Anglesharp но я не могу найти тех доки нормальные его, либо поверхностные какие-то сведения, либо вообще просто описание, скоро наверное придется копаться по репозиторию и искать исходники этих методов и смотреть почему такие ситуации могут возникать... 0

@Usaga 12504 / 8688 / 1310 Регистрация: 21.01.2016 Сообщений: 32,637
	05.06.2018, 11:37	9
	Сообщение от kiwokr К сожалению нет Почему? 0

@kiwokr 3 / 3 / 1 Регистрация: 01.07.2016 Сообщений: 59
	05.06.2018, 11:47 [ТС]	10
	Сообщение от Usaga Почему? Потому, что в задании требуется написать парсер главной страницы, да и в апи нету списка этих популярных городов. Добавлено через 3 минуты Usaga, вы лучше объясните мне, что за бред с Anglesharp-ом? Почему он не вытягивает данные? В чём собственно ошибка? С точки зрения LINQ всё правильно, если я правильно понимаю логику парсера, то тоже всё должно работать, но оно не работает... 0

@Usaga 12504 / 8688 / 1310 Регистрация: 21.01.2016 Сообщений: 32,637
	05.06.2018, 11:52	11
	kiwokr, никакого бреда. Нужно верный селектор описать. И нужно не забывать, что то, что вы видите в браузере может сильно отличаться от того, что видит AngleSharp, ибо в браузере может крутиться JS-скрипт, который может менять DOM. AngleSharp никаких скриптов не исполняет (это парсер). 1

@OwenGlendower Администратор 17567 / 13789 / 5299 Регистрация: 17.03.2014 Сообщений: 28,271 Записей в блоге: 1
	05.06.2018, 12:26	13
	Сообщение от Usaga AngleSharp никаких скриптов не исполняет (это парсер). Небольшая поправка. AngleSharp умеет выполнять скрипты, если его настроить соответвующим образом. Насколько хорошо он это делает сказать не могу. Это все таки парсер, а не полноценный браузерный движок. 1