Форум программистов, компьютерный форум, киберфорум
Python
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.85/13: Рейтинг темы: голосов - 13, средняя оценка - 4.85
0 / 0 / 0
Регистрация: 01.08.2022
Сообщений: 5

Асинхронный парсинг сайта

06.08.2022, 02:52. Показов 2669. Ответов 2

Студворк — интернет-сервис помощи студентам
Здраствуйте, может кто подсказать в чём заключается ошибка в коде? (задумка кода в получении прокси с сайта hidemy)

код:

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
from fake_useragent import UserAgent
import asyncio
import aiohttp
import time
 
proxy_data = []
headers = {"user-agent": UserAgent().random}
 
async def get_page_data_in_hidemy(session, start_id):
    url = f'https://hidemy.name/ru/proxy-list/?type=hs&start={start_id}'
 
    async with session.get(url=url, headers=headers) as response:
        response_text = await response.text
        soup = BeautifulSoup(response_text, "lxml")
        line = soup.find('div', class_='table_block').find('tbody').find_all('tr')
 
        for tr in line[:44]:
            td = str(tr.find_all('td'))
            ip, port = '', ''
 
            for ip_token in td[:25]:
                if str(ip_token) in ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9', '.']:
                    ip += str(ip_token)
 
            for port_token in td[26:40]:
                if str(port_token) in ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']:
                    port += str(port_token)
            
            proxy = f'{ip}:{port}'
            proxy_data.append(proxy)
 
async def gather_data_hidemy():
 
    async with aiohttp.ClientSession() as session:
        response = await session.get(url='https://hidemy.name/ru/proxy-list/?type=hs#list', headers=headers)
        soup = BeautifulSoup(response.text, "lxml")
        total_page_hidemy = str((soup.find('div', class_='pagination').find_all('li'))[-2])[47:52]
 
        for start_id in range(0, int(total_page_hidemy) + 1, 64):
            task = []
            task = asyncio.create_task(get_page_data_in_hidemy(session, start_id))
            tasks.append(task)
        
        await asyncio.gather(*tasks)
 
def main():
    start_time = time.time()
 
    asyncio.run(gather_data_hidemy())
    print(proxy_data)
 
    finish_time = time.time() - start_time
    print(finish_time)
 
if __name__ == '__main__':
    main()
ошибка:

Code
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Traceback (most recent call last):
  File "c:\Coding\test\test.py", line 56, in <module>
    main()
  File "c:\Coding\test\test.py", line 49, in main
    asyncio.run(gather_data_hidemy())
  File "C:\Users\Kwuuuwh\AppData\Local\Programs\Python\Python310\lib\asyncio\runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "C:\Users\Kwuuuwh\AppData\Local\Programs\Python\Python310\lib\asyncio\base_events.py", line 646, in run_until_complete
    return future.result()
  File "c:\Coding\test\test.py", line 36, in gather_data_hidemy
    soup = BeautifulSoup(response.text, "lxml")
NameError: name 'BeautifulSoup' is not defined
Exception ignored in: <function _ProactorBasePipeTransport.__del__ at 0x000001CDE8093370>
Traceback (most recent call last):
  File "C:\Users\Kwuuuwh\AppData\Local\Programs\Python\Python310\lib\asyncio\proactor_events.py", line 116, in __del__  
    self.close()
  File "C:\Users\Kwuuuwh\AppData\Local\Programs\Python\Python310\lib\asyncio\proactor_events.py", line 108, in close    
    self._loop.call_soon(self._call_connection_lost, None)
  File "C:\Users\Kwuuuwh\AppData\Local\Programs\Python\Python310\lib\asyncio\base_events.py", line 750, in call_soon    
    self._check_closed()
  File "C:\Users\Kwuuuwh\AppData\Local\Programs\Python\Python310\lib\asyncio\base_events.py", line 515, in _check_closed
    raise RuntimeError('Event loop is closed')
RuntimeError: Event loop is closed
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
06.08.2022, 02:52
Ответы с готовыми решениями:

Асинхронный парсинг
Всем доброго времени суток! Написал асинхронный парсер. Вроде работает, но есть один нюанс. А может и не один. Самый главный: в...

Асинхронный парсинг страниц и запись в файл
Задача: асинхронно парсить страницы сайта site.ru, вида site.ru/page/1-n, и записывать их содержимое в файл. Не могу разобраться с...

Создание карты сайта и парсинг определенного раздела сайта
Здравствуйте! Мне необходимо пропарсить раздел сайта, предварительно создав карту сайта и извлечь некоторую информацию. Т.е. мне надо...

2
213 / 109 / 46
Регистрация: 12.12.2016
Сообщений: 399
06.08.2022, 10:41
Лучший ответ Сообщение было отмечено Kwuuuwh как решение

Решение

Code
1
NameError: name 'BeautifulSoup' is not defined
Ты импорт BeautifulSoup не сделал
Python
1
from bs4 import BeautifulSoup
2
0 / 0 / 0
Регистрация: 01.08.2022
Сообщений: 5
06.08.2022, 13:04  [ТС]
мда... спасибо
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
06.08.2022, 13:04
Помогаю со студенческими работами здесь

Парсинг данных с сайта или страницы сайта
Здравствуйте, добрые люди! Есть задача спарсить данные с страницы соц сети. Или просто со страницы с помощью js. На пхп не предлагать....

Парсинг сайта
Здравствуйте. Помогите пожалуйста решить следующую проблему. При парсинге я выбираю информацию по определенному классу в HTML, например w1....

Парсинг сайта
есть 2 кода для разных сайтов,по сути одинакаво должны работать,но в певром варианте берет все записи запрашиваемые,а втором только первую...

Парсинг сайта
Добрый день! Я хочу найти все изменения статьи на википедии за определенный период, допустим за 2018 год. Все даты изменений указаны под...

Парсинг сайта
Здравствуйте. Подскажите пожалуйста. Есть необходимость получать данные со страниц сайта, нажимать там на кнопки, вводить данные. Только...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru