Парсинг стены Vk без использования API

@Minato Udzumaki · Регистрация: 19.03.2016

Студворк — интернет-сервис помощи студентам

Добрый вечер.
Хочу написать парсер стены вк. И возник следующий вопрос.Можно ли это сделать не использую API?

@Welemir1 · 06.06.2018, 06:44

Minato Udzumaki, ну твой браузер парсит стену ВК не зная никакого АПИ, верно? иди его путем

@Minato Udzumaki · 06.06.2018, 10:48 **[ТС]**

Я пытался сделать через POST запрос все , но ничего не вышло , не возвращает результат

@Welemir1 · 06.06.2018, 10:54

Minato Udzumaki, а ты посмотри как именно шлет запрос браузер, там ведь авторизация нужна и прочее (заголовки и тело запроса)

@Minato Udzumaki · 06.06.2018, 11:02 **[ТС]**

я вот думаю дело в авторизации. запрос на поиск я смотрел , но перед этим не авторизовался вот он и возвращает мне стартовую страницу

Добавлено через 4 минуты
Не подскажешь , что бы авторизоваться мне надо просто послать запрос , а уже потом слать запрос на поиск,да ?

@Welemir1 · 06.06.2018, 11:04

Minato Udzumaki, надо разбираться, но скорее всего шлешь запрос авторизации, он тебе вернет куки сессии, и вот с этими куки уже шлешь запрос стены.

@ТабуретY · 06.06.2018, 11:16

Чтобы посмотреть страницу открытой группы достаточно

Python
1
2
3
4
5
6
7
8
import requests
url = ''
headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:45.0) Gecko/20100101 Firefox/45.0'
      }
r = requests.get(url, headers = headers)
 
print(r.text)

но получить удастся довольно мало, так как там динамически подгружается контент, нужно использовать headless браузеры и selenium

@Welemir1 · 06.06.2018, 11:29

ну если селениум, то там с авторизацией проблем нет, покликал пароль и вперед)

@Minato Udzumaki · 06.06.2018, 13:29 **[ТС]**

Пытаюсь использовать https://vk.com/al_wall.php , но возвращает страницу с ошибкой . В чем может быть дело ?

@flashcsgroup · 07.06.2018, 06:59

Сообщение от Minato Udzumaki

https://vk.com/al_wall.php

Boзможно это чтото приватное и скрыто настройками другого пользователя.

В этой теме уже готовый питоновский инструмент , который умеет парсить страницы - Locust код

Новые блоги и статьи Все статьи Все блоги /
PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Access VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.	Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .	Ломающие изменения в C#.NStar Alpha Etyuhibosecyu 20.11.2025 Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .	Мысли в слух kumehtar 18.11.2025 Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .	Создание Single Page Application на фреймах krapotkin 16.11.2025 Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .

@Minato Udzumaki 0 / 0 / 0 Регистрация: 19.03.2016 Сообщений: 23

	Парсинг стены Vk без использования API 06.06.2018, 01:15. Показов 10884. Ответов 9 Метки vk, парсинг (Все метки) Добрый вечер. Хочу написать парсер стены вк. И возник следующий вопрос.Можно ли это сделать не использую API? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	06.06.2018, 06:44
	Minato Udzumaki, ну твой браузер парсит стену ВК не зная никакого АПИ, верно? иди его путем 0

@Minato Udzumaki 0 / 0 / 0 Регистрация: 19.03.2016 Сообщений: 23
	06.06.2018, 10:48 [ТС]
	Я пытался сделать через POST запрос все , но ничего не вышло , не возвращает результат 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	06.06.2018, 10:54
	Minato Udzumaki, а ты посмотри как именно шлет запрос браузер, там ведь авторизация нужна и прочее (заголовки и тело запроса) 0

@Minato Udzumaki 0 / 0 / 0 Регистрация: 19.03.2016 Сообщений: 23
	06.06.2018, 11:02 [ТС]
	я вот думаю дело в авторизации. запрос на поиск я смотрел , но перед этим не авторизовался вот он и возвращает мне стартовую страницу Добавлено через 4 минуты Не подскажешь , что бы авторизоваться мне надо просто послать запрос , а уже потом слать запрос на поиск,да ? 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	06.06.2018, 11:04
	Minato Udzumaki, надо разбираться, но скорее всего шлешь запрос авторизации, он тебе вернет куки сессии, и вот с этими куки уже шлешь запрос стены. 0

@Welemir1 Автоматизируй это! 7390 / 4817 / 1246 Регистрация: 30.03.2015 Сообщений: 13,664 Записей в блоге: 29
	06.06.2018, 11:29
	ну если селениум, то там с авторизацией проблем нет, покликал пароль и вперед) 0

@Minato Udzumaki 0 / 0 / 0 Регистрация: 19.03.2016 Сообщений: 23
	06.06.2018, 13:29 [ТС]
	Пытаюсь использовать https://vk.com/al_wall.php , но возвращает страницу с ошибкой . В чем может быть дело ? 0