|
0 / 0 / 0
Регистрация: 19.12.2016
Сообщений: 31
|
|
Парсинг html + javascript21.01.2017, 20:50. Показов 4378. Ответов 4
Метки нет (Все метки)
Доброго времени суток!
Я хочу написать парсер, чтобы получать нужную информацию с сайта для дальнейшей работы с ней. Начал изучать, нашел множество примеров, которые внятно поясняют, что и как делать, но не подходит для моего варианта. Проблема в том, что информация, которая нужна мне, выводится через javascript и при парсинге страницы, парсится все, кроме таблицы с нужной информацией (вместо нее надпись "Loading..."). Как решить данную проблему, поделитесь знаниями и опытом? P.S. Сайт получает информацию поэтапно, как я понял, прочитав пару тем. Есть парсер этого сайта для Excel, и там такой метод получения (нужной мне) информации, в три этапа: 1. "Открыть сайт site.ru в IE", 2. "Прокрутить страницу вниз" 3. "Закрыть IE". Для удобства есть окошко с кодом, полученным с сайта, в нем есть весь код в html, даже тот, что получается через javascript. Если есть подобные команды для c#, php, буду очень признателен. P.P.S. Язык программирования по сути не важен, но отдаю предпочтение C# дабы парсер был в виде *.exe программы с выводом данных в Excel или txt. P.P.P.S Извиняюсь за такой фанатизм к описанию данной темы. Самое главное - как мне получить эту информацию, есть ли варианты, как в Excel парсере?
0
|
|
| 21.01.2017, 20:50 | |
|
Ответы с готовыми решениями:
4
Парсинг делают одновременно со скачиванием html, или в конце со скачанным html Парсинг сайта с JavaScript |
|
601 / 485 / 185
Регистрация: 19.04.2016
Сообщений: 1,885
|
||||||
| 21.01.2017, 22:55 | ||||||
|
Можно всё, и здесь таких тем куча, но вот site.ru не открывается, чтоб с него что-то спарсить...
Добавлено через 43 минуты Тут надо видеть саму проблему, а то... вот пример парсинга: Выбор только ссылок из Html Вот пример как я делал Excel из данных Xml запроса, сделал на скорую руку... могу подсказать как пробросить Exception чтоб убить Task.
0
|
||||||
|
0 / 0 / 0
Регистрация: 19.12.2016
Сообщений: 31
|
|
| 21.01.2017, 23:22 [ТС] | |
|
EveKS, "site.ru" написал для примера.
вот сам сайт Кликните здесь для просмотра всего текста
www.myscore.ru
когда парсишь, то список событий (футбольных матчей) не парсится. Это решаемо? Многие сказали, что информация защищена от копирования. Мне кажется и это обойти можно, раз парсер для Excel получает эту информацию. Конечно, там только список матчей и их последние 5 очных встреч парсят, но все же информация получается каким-то образом. Если вы уверены, что это возможно, то, пожалуйста, окажите помощь. Готов вознаградить финансово в содействии))
0
|
|
|
601 / 485 / 185
Регистрация: 19.04.2016
Сообщений: 1,885
|
|
| 21.01.2017, 23:40 | |
|
MagaN, что там именно скрыто? - весь table виден... Даже в браузере.
0
|
|
|
|
|
| 22.01.2017, 02:19 | |
|
пришедшая страница в js вызывает асинхроный запрос на подгрузку данных (лично я увидел http://d.myscore.com.ua/x/feed/f_1_0_2_ru_1) и уже пришедшие данные пихает в таблицу. Правда пришедший вормат вогнал меня в ступор, но думаю, если заморочится, то можно расшифровать.
p.s. лучше смотреть сначала из network в любом браузере.
0
|
|
| 22.01.2017, 02:19 | |
|
Помогаю со студенческими работами здесь
5
Парсинг сайтов, написанных на javascript Парсинг HTML в вк HTML парсинг Парсинг HTML Парсинг html Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |
|
Новые блоги и статьи
|
||||
|
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта
Симптом:
После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
|
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
|
Новый ноутбук
volvo 07.12.2025
Всем привет.
По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне:
Ryzen 5 7533HS
64 Gb DDR5
1Tb NVMe
16" Full HD Display
Win11 Pro
|
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
|
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
|
|
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов
На странице:
https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/
нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
|
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов.
. . .
|
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
|
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
|
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут.
В век Веб все очень привыкли к дизайну Single-Page-Application .
Быстренько разберем подход "на фреймах".
Мы делаем одну. . .
|