Парсер авито

22.04.2021, 21:36. Показов 4308. Ответов 0

Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам

Я новичок в деле, строго не судите.
Делаю парсер для авито, просто ради практики, столкнулся с такой проблемой:
нахожу количество единиц товара, которое отображается на странице: pcs = soup.find('span', {'data-marker': 'page-title/count'}).text,
вывожу ссылку на данную страницу, и вижу что значения не соответствуют, в переменной 4, а по факту(по ссылке) только 3.
Причем если изменить параметр поиска, то в некоторых случаях находит верно, в некоторых разница от 1 до примерно 15-ти))

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import requests
from bs4 import BeautifulSoup
 
 
url = 'https://www.avito.ru/ufa'
headers = {
    "Accept": "*/*",
    "Accept-Language": "ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0",
}
 
#search = 'видеокарта geforce'
search = 'видеокарта radeon'
 
resp = requests.get(url, headers=headers, params={'bt': 1, 'pmax': '30000', 'pmin': '10000', 'q': search, 's': '2', 'view': 'gallery'})
soup = BeautifulSoup(resp.text, 'lxml')
# find title page
title = soup.h1.get_text()
print('Заголовок страницы:', title)
# total pages
try:
    str = soup.find('span', {'data-marker': 'pagination-button/next'}).previous_element
except:
    str = 1
print('Количество страниц', str)
# total pcs
pcs = soup.find('span', {'data-marker': 'page-title/count'}).text
print('Количество найденных позиций', pcs)
print('Ссылка со всеми параметрами:\n', resp.url)

cpp_developer

Эксперт

20123 / 5690 / 1417

Регистрация: 09.04.2010

Сообщений: 22,546

Блог

22.04.2021, 21:36

Ответы с готовыми решениями:

Парсер авито
Всем привет, пытаюсь получить количество страниц с авито. То что пытаюсь сделать привел ниже, при печати выдает None. Что я не так делаю?...

Подскажите профану по боту для Авито
Ребят, сильно не пинайте, хотел задать вопрос знающим людям. Реально ли сделать бота для телеграма, который бы смог отправлять сообщения на...

Парсер с Авито
Пробую писать парсер с авито(вакансии) своего города. Набросал такой код используя библиотеку PHP Simple HTML DOM Parser. ...

Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.

raxper

Эксперт

30234 / 6612 / 1498

Регистрация: 28.12.2010

Сообщений: 21,154

Блог

22.04.2021, 21:36

Помогаю со студенческими работами здесь

Парсер для авито
Всем привет!! Хотел спросить может быть у кого есть код для сайта парсера авито?

Нужен парсер Авито
Всем привет. Необходимо максимально быстро получать номера с авито по конкретной категории. Подскажите как это можно сделать? ...

За сколько запросов авито банит парсер
Всем привет. За сколько запросов авито может забанить парсер? Планируется примерно 500 запросов в день. Не за один раз конечно.

ПК с Авито
Собираюсь взять б/у пк с Авито за 25990, вот его характеристики: Intel Xeon E5-2689 Socket 2011 GIGABYTE GTX 1060 3Gb Материнская...

Оцените пк с авито
Ребят, скажите какое пк купить вы бы посоветовали? 1 вариант неплох, 2 тоже, но еще купить моник. Если останется возможно куплю ссд...

Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

Наверх