Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.60/47: Рейтинг темы: голосов - 47, средняя оценка - 4.60
0 / 0 / 0
Регистрация: 28.05.2019
Сообщений: 34

Парсинг JSON с использованием requests

27.04.2020, 18:37. Показов 8912. Ответов 6
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Написать парсер данных, размещенных в json-формате с применением библиотеки requests
ссылка: https://jsonplaceholder.typicode.com/posts
Некоторые из полученных значений требуется записать в файл (шаблон строки в файле: "[id]:[title]"). Также необходимо составить список всех уникальных userId.
0
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
27.04.2020, 18:37
Ответы с готовыми решениями:

Парсинг динамического сайта библиотекой requests
Всем привет. Нужно спарсить названия всех треков в плейлисте в яндекс музыке. requests отдаёт только 100 записей. Насколько я понял, все...

Парсинг web страничек. библиотеки import requests
Добрый день. Хотел попробовать написать простенький парсер странички. Но почему то не работает этот код: import requests from lxml...

Парсинг с использованием requests
Добрый день. Столкнулся со следующей проблемой. При попытке вытащить информацию с сайта отправлял post запрос. В качестве логина...

6
Эксперт по компьютерным сетям
 Аватар для Jabbson
5906 / 3358 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
27.04.2020, 22:11
что не получается?
0
0 / 0 / 0
Регистрация: 28.05.2019
Сообщений: 34
27.04.2020, 22:17  [ТС]
Не понимаю, как строится должна программа
Питон только начала изучать и сразу задание с парсингом дали, мне бы хоть алгоритм..
P.S. на других языках находила, но всё равно не то
0
Эксперт по компьютерным сетям
 Аватар для Jabbson
5906 / 3358 / 1036
Регистрация: 03.11.2009
Сообщений: 10,008
27.04.2020, 22:18
а что пробовали уже?
0
Эксперт Python
5438 / 3859 / 1215
Регистрация: 28.10.2013
Сообщений: 9,552
Записей в блоге: 1
27.04.2020, 22:34
Цитата Сообщение от Alina_Selinka Посмотреть сообщение
на других языках находила
А документацию requests смотрели?
Запрос json делается чуть ли не одной строкой:
Python
1
2
3
4
5
>>> req = requests.get('https://jsonplaceholder.typicode.com/posts')
>>> data = req.json()
>>> data[3]  # получаем три первый записи
{'userId': 1, 'id': 4, 'title': 'eum et est occaecati', 'body': 'ullam et saepe reiciendis voluptatem adipisci\nsit amet autem assumenda provident rerum culpa\nquis hic commodi nesciunt rem tenetur doloremque ipsam iure\nquis sunt voluptatem rerum illo velit'}
>>>
И его даже маршалить\парсить не нужно как в других языках - он уже преобразован в Python объект - словарь или список.
В вашем случае это список. Причем точно такой же как по ссылке. Абсолютно один в один.

Добавлено через 6 минут
Вторая часть также элементарна. Цикл по списку словарей и применение f-string нотации для форматирования.
[f"[{d['id']}]:[{d['title']}]" цикл для всех d по всем словарям в data]
0
0 / 0 / 0
Регистрация: 28.05.2019
Сообщений: 34
27.04.2020, 22:42  [ТС]
Спасибо, буду пробовать
0
Модератор
Эксперт Python
 Аватар для Fudthhh
2695 / 1601 / 513
Регистрация: 21.02.2017
Сообщений: 4,210
Записей в блоге: 1
28.04.2020, 08:04
Alina_Selinka, если ты только начала изучать питон, как могли дать задание с парсингом? Марк Луцк постучался в дверь и заставил что ли?

Python
1
2
3
4
5
6
7
8
9
10
11
# -*- coding: utf-8 -*-
import requests
 
 
response = requests.get("https://jsonplaceholder.typicode.com/posts")
if response.status_code != 200:
    raise ConnectionError(response.status_code)
 
with open("example.txt", "wt") as file:
    for data in response.json():
        file.write(f"[{data['id']}]:[{data['title']}]\n")
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
28.04.2020, 08:04
Помогаю со студенческими работами здесь

Парсинг ajax.php через requests
Добрый день! Пытаюсь спарсить страницу сайта ЖК. При разборе через инструменты разработчика firefox вот этого сайта:...

Парсинг на Python. BeautifulSoup, bs4, requests
Добрый день. Нужна помощь от людей, кто работал с BeautifulSoup на Python. Пытаюсь получить со страницы проверки QR кода на ГосУслугах дату...

Парсинг olx.ua Python+requests+bs4
Пытаясь сделать парсер мобильных телефонов на сайте olx.ua столкнулся с проблемой:при отправке ajax запроса мне выдает вместо корректного...

Парсинг страницы python и получение запроса (beautifulSoup, requests)
Здравствуйте. Суть проблемы заключается в том, что для парсинга я получаю страницу, где должна быть таблица с данными, но в print(r.text)...

Зайти в сессию с requests и продолжить парсинг уже с Selenium
Добрый день, совсем запуталась с решением задачи: необходимо скачать картинки с нескольких страниц в одном разделе сайта (validate). ...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
7
Ответ Создать тему
Новые блоги и статьи
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Access
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
Поиск "дружественных имён" СОМ портов
Argus19 22.11.2025
Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .
Сколько Государство потратило денег на меня, обеспечивая инсулином.
Programma_Boinc 20.11.2025
Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .
Ломающие изменения в C#.NStar Alpha
Etyuhibosecyu 20.11.2025
Уже можно не только тестировать, но и пользоваться C#. NStar - писать оконные приложения, содержащие надписи, кнопки, текстовые поля и даже изображения, например, моя игра "Три в ряд" написана на этом. . .
Мысли в слух
kumehtar 18.11.2025
Кстати, совсем недавно имел разговор на тему медитаций с людьми. И обнаружил, что они вообще не понимают что такое медитация и зачем она нужна. Самые базовые вещи. Для них это - когда просто люди. . .
Создание Single Page Application на фреймах
krapotkin 16.11.2025
Статья исключительно для начинающих. Подходы оригинальностью не блещут. В век Веб все очень привыкли к дизайну Single-Page-Application . Быстренько разберем подход "на фреймах". Мы делаем одну. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru