Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.77/47: Рейтинг темы: голосов - 47, средняя оценка - 4.77
20 / 12 / 6
Регистрация: 17.03.2018
Сообщений: 42

Спарсить цены Яндекс.Маркета по определенной ссылке

18.12.2019, 00:27. Показов 9647. Ответов 3

Студворк — интернет-сервис помощи студентам
Всех приветствую.
Возникла такая задача - по определенной ссылке спарсить первые несколько цен, выдаваемые Яндекс.Маркетом.

Вот например ссылка:
https://market.yandex.ru/produ... how=aprice
Это просто цены на ноутбук, отсортированные по цене.

А вот другая ссылка:
https://market.yandex.ru/produ... how=aprice
Это тоже ссылка на цены другого ноутбука, отсортированные по цене, но плюс еще отфильтрованные по определенным параметрам (произвольным, конкретно тут выбран определенный процессор, объем памяти и операционная система).

Ссылки могут быть разные, с различными сортировками и фильтрами, но в итоге будут вести на страницу с ценами на какой то товар, и вероятнее всего, но не гарантировано, цены будут отсортированы по возрастанию.

Задача состоит в том, чтобы взять со страницы заданное количество цен по порядку их выдачи Маркетом.
То есть на входе ссылка такого вида и количество цен, которые надо взять - на выходе должен список цен, в том порядке, в котором он идет на странице Маркета.

Таких ссылок может быть много, то есть придется поочередно опрашивать Яндекс Маркет. Следовательно предполагаю что еще встает вопрос капчи.
Соответственно этот модуль будет периодически (несколько раз в сутки, или может в час), просматривать цены по ссылкам (ссылок может быть много, 500 и более). Так что вопрос капчи вероятно обостряется.

Возможно ли решить такую задачу, сколько это может стоить?
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
18.12.2019, 00:27
Ответы с готовыми решениями:

Коменнтарии с Яндекс маркета
Здравствуйте! Как можно добавить комментарии яндекса на свой сайт? Вот например на этом сайте уже установленны комментарии с яндекс...

Парсер Яндекс.Маркета из прайса
Короче попытался навоял скриптец парсера ямаркета, не могу победить следующее 1. не хочет скачивать описание 2. чето не работают...

Удаление отзывов с Яндекс.Маркета
Всем привет. Реальный клиент пишет нам и говорит, что не размещают отзыв о работе магазина. Он разместил один отзыв после первого...

3
Автоматизируй это!
Эксперт Python
 Аватар для Welemir1
7390 / 4817 / 1246
Регистрация: 30.03.2015
Сообщений: 13,664
Записей в блоге: 29
18.12.2019, 06:08
Цитата Сообщение от romanbudin Посмотреть сообщение
вопрос капчи вероятно обостряется.
а что в браузере нельзя открыть 500 страниц маркета? используй сессию реквестс и открывай последовательно(не параллельно), как вариант еще таймайт поставить между запросами, скажем полсекунды.
В общем нужно пробовать, мне кажется с капчей проблем быть не должно.
1
Фрилансер
 Аватар для Black Fregat
3709 / 2082 / 567
Регистрация: 31.05.2009
Сообщений: 6,683
18.12.2019, 07:51
Вариант купить доступ к API Яндекс.Маркет не рассматривается?
https://yandex.ru/dev/market/content-data/
1
20 / 12 / 6
Регистрация: 17.03.2018
Сообщений: 42
18.12.2019, 19:28  [ТС]
....

Добавлено через 12 минут
а что в браузере нельзя открыть 500 страниц маркета? используй сессию реквестс и открывай последовательно(не параллельно), как вариант еще таймайт поставить между запросами, скажем полсекунды.
В общем нужно пробовать, мне кажется с капчей проблем быть не должно.
Все равно нужен исполнитель, сам вряд ли смогу

Добавлено через 1 минуту
Вариант купить доступ к API Яндекс.Маркет не рассматривается?
https://yandex.ru/dev/market/content-data/
можно подумать, но в целом 20к в месяц тоже деньги.. пока ищу единоразовый вариант.. к тому же как я и выше написал, все равно нужен исполнитель.. даже если покупать апи..
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
18.12.2019, 19:28
Помогаю со студенческими работами здесь

Парсинг отзывов о магазине с Яндекс-Маркета
Подскажите как организовать сбор данных о отзывах магазина, с Яндекс-Маркета. Реализация нужна на PHP. Ключ доступа имеется.

Парсинг характеристик товара с Яндекс.Маркета
Здравствуйте... Не уверен, правильно ли выбран раздел. Если ошибся, то извиняюсь заранее. Мой вопрос заключается в следующем: Хочу...

Переадресация с гугла на go.mail.ru, тулбар яндекс.маркета
Словил вирус, не уверен как, т.к. программ в последнее время не устанавливал, была только передача файлов с зараженного ноутбука на мой...

Получить список всех категорий и подкатегорий Яндекс.Маркета
Пишу парсер ЯМаркета. Нужно получить список всех категорий. Пытаюсь рекурсивно обойти все ссылки, но не могу придумать как. Метод начинает...

Как можно программно изменить настройки Яндекс.Маркета
Всем привет. Подскажите, плиз, как можно программно изменить настройки Яндекс.Маркета на странице http://market.yandex.ru/settings.xml ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
4
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru