Xpath and Scraping

@izuchaju_python · Регистрация: 30.06.2015

Author24 — интернет-сервис помощи студентам

Вот страница
http://econpy.pythonanywhere.com/ex/001.html
хочу получить два списка,закупщик и цена, есть несколько вопросов, как получить все страницы, дополнив код, который я покажу и вопрос насчет xpath, как получился именно такой, как в коде.
Пы Сы Насколько понял знания xpath нужны, поэтому думаю изучить вот это http://www.w3schools.com/xsl/xpath_intro.asp

Python

import requests
from lxml import html
page = requests.get('http://econpy.pythonanywhere.com/ex/001.htm')
tree = html.fromstring(page.content)
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
prices = tree.xpath('//span[@class="item-price"]/text()')

@alex925 · 05.04.2016, 16:42

Не по теме:

Я бы на твоем месте лучше с cssselect знакомился, более часто используемая и полезная штука

Jabbson · 05.04.2016, 16:55

а я бы посоветовал быть более внимательным при копировании и отличать htm и html - абсолютно разные вещи.

@alex925 · 05.04.2016, 16:55

Не работало все у тебя из-за неправильно url

Python

import requests
from lxml import html
 
page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')
parser = html.fromstring(page.text)
 
buyers = parser.cssselect('div[title="buyer-info"] div')
prices = parser.cssselect('span.item-price')
 
print(list(map(lambda i: i.text, buyers)))
print(list(map(lambda i: i.text, prices)))

@izuchaju_python · 05.04.2016, 17:07 **[ТС]**

Python

import requests
from lxml import html
page = requests.get('http://econpy.pythonanywhere.com/ex/001.html')#Получаем веб страницу, r-объект-отклик
tree = html.fromstring(page.content)
#print(page.content)
#This will create a list of buyers:
buyers = tree.xpath('//div[@title="buyer-name"]/text()')
#This will create a list of prices
prices = tree.xpath('//span[@class="item-price"]/text()')

да, извиняюсь, вот работает, но вопрос остаался прежним, как мне дополнить вот этот код, чтобы забрать со всех страничек.Алекс, ваш код запустил в интерпретаторе и выдало ошибку.

Jabbson · 05.04.2016, 17:11

подсказка:

Python

1	print(tree.xpath('//a/@href'))

Добавлено через 26 секунд

Сообщение от izuchaju_python

Алекс, ваш код запустил в интерпретаторе и выдало ошибку.

cssselect нужно отдельно ставить

@alex925 · 05.04.2016, 17:12

izuchaju_python, ты ошибку то выложил бы, а то так это безсмысленное сообщение.
Вообще вангую, что ошибка об отсутствие библиотеки cssselect.

Что касается того как собрать информацию со всех страниц, то тут все тривиально. Просто делаешь несколько запросов с помощью цикла и все

@izuchaju_python · 05.04.2016, 18:20 **[ТС]**

alex925, Да, из-за отсутствия, извиняюсь, новичок, еще толком не разобрался что к чему...

Добавлено через 2 минуты
скажите, xpath нужны? стоит их учить?

Jabbson · 05.04.2016, 18:21

учите и их и css селекторы, не ошибетесь

@izuchaju_python · 05.04.2016, 18:24 **[ТС]**

cssselect, еще б знать, как его ставить на пк...

@alex925 · 05.04.2016, 18:25

izuchaju_python, лично я пока не сталкивался, что бы мне нужны были знания xpath. Везде можно использовать cssselectors. Они на мой взгляд проще читаются и больше распространены, по этому их использую.

Jabbson · 05.04.2016, 18:25

все банально,

Код

pip install cssselect

@alex925 · 05.04.2016, 18:25

izuchaju_python, pip install cssselect

@izuchaju_python · 05.04.2016, 18:28 **[ТС]**

alex925, Jabbson,

@alex925 · 05.04.2016, 18:33

izuchaju_python, ну все, модуль установлен.

@izuchaju_python · 05.04.2016, 18:34 **[ТС]**

ничего не получается, ваш код пытался запустить ===> результат===>

@alex925 · 05.04.2016, 18:39

Ты наверно для python 2 поставил либу, запусти команду pip3 install cssselect

Jabbson · 05.04.2016, 18:43

Сообщение от alex925

Ты наверно для python 2 поставил либу, запусти команду pip3 install cssselect

причина пользоваться virtualenv

использование pycharm тоже помогает, если ставить из под него модули.

@izuchaju_python · 05.04.2016, 18:47 **[ТС]**

alex925, thank you very much!

Добавлено через 2 минуты
Jabbson, спасибо за совет. Теперь можно постараться дописать программу. Спасибо alex925,

@alex925 · 05.04.2016, 18:55

Jabbson, да нет, это не из той серии. Виртуальное окружение полезно, когда нужно иметь несколько версий одного и того же модуля, а тут просто по ошибке поставил библиотеку не для того интерпретатора.

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	05.04.2016, 18:24 [ТС]	10
	cssselect, еще б знать, как его ставить на пк... 0

@alex925 2741 / 2340 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	05.04.2016, 18:25	13
	izuchaju_python, pip install cssselect 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	05.04.2016, 18:28 [ТС]	14
	alex925, Jabbson, Миниатюры 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	05.04.2016, 18:47 [ТС]	19
	alex925, thank you very much! Добавлено через 2 минуты Jabbson, спасибо за совет. Теперь можно постараться дописать программу. Спасибо alex925, 0

@alex925
	05.04.2016, 16:42 #2
	Не по теме: Я бы на твоем месте лучше с cssselect знакомился, более часто используемая и полезная штука 0

Jabbson 5901 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,009
	05.04.2016, 16:55	3
	а я бы посоветовал быть более внимательным при копировании и отличать htm и html - абсолютно разные вещи. 0

@alex925 2741 / 2340 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	05.04.2016, 17:12	7
	izuchaju_python, ты ошибку то выложил бы, а то так это безсмысленное сообщение. Вообще вангую, что ошибка об отсутствие библиотеки cssselect. Что касается того как собрать информацию со всех страниц, то тут все тривиально. Просто делаешь несколько запросов с помощью цикла и все 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	05.04.2016, 18:20 [ТС]	8
	alex925, Да, из-за отсутствия, извиняюсь, новичок, еще толком не разобрался что к чему... Добавлено через 2 минуты скажите, xpath нужны? стоит их учить? 0

Jabbson 5901 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,009
	05.04.2016, 18:21	9
	учите и их и css селекторы, не ошибетесь 0

Jabbson 5901 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,009
	05.04.2016, 18:25	12
	все банально, Код pip install cssselect 0

@alex925 2741 / 2340 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	05.04.2016, 18:33	15
	izuchaju_python, ну все, модуль установлен. 0

@izuchaju_python 20 / 21 / 6 Регистрация: 30.06.2015 Сообщений: 431
	05.04.2016, 18:34 [ТС]	16
	ничего не получается, ваш код пытался запустить ===> результат===> Миниатюры 0

@alex925 2741 / 2340 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	05.04.2016, 18:39	17
	Ты наверно для python 2 поставил либу, запусти команду pip3 install cssselect 0

Jabbson 5901 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,009
	05.04.2016, 18:43	18
	Сообщение от alex925 Ты наверно для python 2 поставил либу, запусти команду pip3 install cssselect причина пользоваться virtualenv использование pycharm тоже помогает, если ставить из под него модули. 0

@alex925 2741 / 2340 / 620 Регистрация: 19.03.2012 Сообщений: 8,830
	05.04.2016, 18:55	20
	Jabbson, да нет, это не из той серии. Виртуальное окружение полезно, когда нужно иметь несколько версий одного и того же модуля, а тут просто по ошибке поставил библиотеку не для того интерпретатора. 0