С Новым годом! Форум программистов, компьютерный форум, киберфорум
Lazarus
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.75/8: Рейтинг темы: голосов - 8, средняя оценка - 4.75
0 / 0 / 0
Регистрация: 09.08.2022
Сообщений: 69
1

Какие модули необходимы для создания парсера?

11.09.2022, 12:05. Показов 1489. Ответов 7

Author24 — интернет-сервис помощи студентам
Добрый день!

Собираюсь автоматизировать свою программу, сделав парсер. Необходимо открывать сайт, логиниться и открывать нужный раздел, откуда после можно скачивать данные. Но в стандартном приложении нет подходящих модулей, а в интернете много видеоуроков, где не даётся никаких инструкций, какие именно модули нужны и как с ними работать. Подскажите, пожалуйста
0
Лучшие ответы (1)
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
11.09.2022, 12:05
Ответы с готовыми решениями:

Какие знания и умения необходимы для создания ботов в Telegram?
Люди добрые, подскажите пожалуйста, какие знания и умения необходимы для того чтобы научиться...

Какие Excel библиотеки необходимы для создания CreateObject('Excel.Application') ?
проблема в том что клиент не хочет пользоваться MS Excel. существуют ли возможность работы с Open...

Какие модули сущесвуют, для создания GUI под symbian
Здравствуйте! Мне надо написать прогу под symbian с простеньким гуйком. Подскажите, что можно...

Какие необходимы компоненты для работы с БД
Здравствуйте! Подскажите пожалуйста, какое ПО (весь список) необходимо заиметь на компьютере,...

какие компонеты необходимы для MySQL
Пожалуйста подскажите, какие компоненты необходимы для подключение к MySQL и какие в них необходимо...

7
пофигист широкого профиля
4754 / 3191 / 860
Регистрация: 15.07.2013
Сообщений: 18,485
12.09.2022, 01:56 2
А вы так уж уверены что есть специальные модули чтобы "открывать сайт", специальные модули чтобы логиниться на нём, специальные модули чтобы "открывать нужный раздел" и специальный модуль для скачивания оттуда данных?
Т.е. вы считаете что всё уже давно сделано до вас. А вы только как в конструкторе Лего все соберете ни чем не заморачиваясь и всё сразу заработает?
Ну тогда вас ждёт облом.
0
0 / 0 / 0
Регистрация: 09.08.2022
Сообщений: 69
12.09.2022, 21:16  [ТС] 3
Конечно нет. Такие подозрения появились после просмотра нескольких статей/уроков по созданию парсеров на Delphi, даже для Лазаруса был. Первое, что бросилось в глаза - использование абсолютно нестандартных для Паскаля методов, например объявление переменных типа Variant, а также типы TFPHTTPClient, Tdomnodelist и Thtmldocument, словно не на Паскале написано. С тремя последними столкнулся вообще впервые, опыта работы с ними нет совсем. Более того, простая копипаста выявила ещё один сюрприз: оказалось что Лазарус знаком с этими типами не лучше меня и просто их не пропускает. Не говоря уже о различных участках кода, например:
Pascal
1
2
3
4
5
6
7
8
    with ListView1.Items.Add do
      begin
        Caption := nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[0].TextContent;
        SubItems.Add(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[3].ChildNodes[1].ChildNodes[0].TextContent);
        SubItems.Add(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[3].ChildNodes[1].ChildNodes[1].TextContent);
        SubItems.Add(ClearLine(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[3].ChildNodes[3].TextContent));
        SubItems.Add(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[7].ChildNodes[0].TextContent);
      end;
в которых компилятор выделяет абсолютно всё чуть ли не посимвольно.
Рекомендуемый ListView также не открылся, весь код просто был выделен красным. Без удаления всех указанных функций и переменных программа не компилируется. Это и натолкнуло меня на мысль, что существуют какие-то библиотеки, отвечающие за работу с сайтами (напоминаю, опыта работы с сетью 0)

Также в сети упоминались какие-то компоненты, такие как TWebBrowser, но их в Лазарусе нет
0
пофигист широкого профиля
4754 / 3191 / 860
Регистрация: 15.07.2013
Сообщений: 18,485
13.09.2022, 00:16 4
Цитата Сообщение от aprilpotter912 Посмотреть сообщение
простая копипаста выявила ещё один сюрприз: оказалось что Лазарус знаком с этими типами не лучше меня и просто их не пропускает.
А вам никто не говорил что простая копипаста текста программы вообще почти никогда не работает ни в Дельфи, ни в Лазарусе? И там и там GUI (Graphic User Interface) приложения помимо текста кода содержат еще и модули форм.
И да это совсем не тот Паскаль, о котором вы очевидно говорите. Так что начните пока с начальных уроков разработки программ в Дельфи и/или Лазарусе. Познакомьтесь с объектами и компонентами.
0
0 / 0 / 0
Регистрация: 09.08.2022
Сообщений: 69
13.09.2022, 08:35  [ТС] 5
Цитата Сообщение от northener Посмотреть сообщение
А вам никто не говорил что простая копипаста текста программы вообще почти никогда не работает ни в Дельфи, ни в Лазарусе? И там и там GUI (Graphic User Interface) приложения помимо текста кода содержат еще и модули форм.
И да это совсем не тот Паскаль, о котором вы очевидно говорите. Так что начните пока с начальных уроков разработки программ в Дельфи и/или Лазарусе. Познакомьтесь с объектами и компонентами.
Цитата Сообщение от northener Посмотреть сообщение
А вам никто не говорил что простая копипаста текста программы вообще почти никогда не работает ни в Дельфи, ни в Лазарусе?
Это насколько надо быть тупымнаивным, чтобы просто скопировать текст и сидеть в ожидании результата? Скопированный текст не работал при добавленных компонентах, в нём указанных, и при изменении всех имён компонентов в соответствии с кодом, и при обратном изменении имён компонентов в скопированном тексте; у меня сложилось впечатление, что вы не поняли суть вопроса.

Цитата Сообщение от aprilpotter912 Посмотреть сообщение
а также типы TFPHTTPClient, Tdomnodelist и Thtmldocument
Приведу пример с сайта delphi-devs.ru, где приводится код для написания парсера

Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
procedure TForm1.btnStartClick(Sender: TObject);
var
  httpclient: TFPHTTPClient;
  html: string;
  doc: thtmldocument;
  nlist: tdomnodelist;
  i: integer;
  j: integer;
  s: string;
begin
  httpclient := TFPHttpClient.Create(nil);
  httpclient.AddHeader('User-Agent',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0');
  try
    html := httpclient.Get(edUrl.Text);
  finally
    httpclient.Free;
  end;
 // если не юникод
 //  readhtmlfile(doc, tstringstream.Create(CP1251ToUTF8(html)));
 
  readhtmlfile(doc, tstringstream.Create(html));
  nlist := doc.GetElementsByTagName('div');
  ListView1.Items.BeginUpdate;
  for i := 0 to nlist.Count - 1 do
  begin
    if (tdomelement(nlist[i]).getattribute('class') = 'ranked-team standard-box') then
    begin
      with ListView1.Items.Add do
      begin
        Caption := nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[0].TextContent;
        SubItems.Add(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[3].ChildNodes[1].ChildNodes[0].TextContent);
        SubItems.Add(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[3].ChildNodes[1].ChildNodes[1].TextContent);
        SubItems.Add(ClearLine(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[3].ChildNodes[3].TextContent));
        SubItems.Add(nlist[i].ChildNodes[1].ChildNodes[1].ChildNodes[7].ChildNodes[0].TextContent);
      end;
    end;
 
  end;
  ListView1.Items.EndUpdate;
  nlist.Free;
  doc.Free;
end;
Как видно, TFPHTTPClient, Tdomnodelist и Thtmldocument указаны с качестве типов переменных, которые не имеют отношения к компонентам. Да и в принципе нет особой необходимости их создавать при наличии типов String и Text. Отсюда и вытекает вопрос, для каких целей они используются и, возможно, к каким модулям/библиотекам они могут относиться, если Лазарус не признаёт их.
0
Модератор
9645 / 6252 / 2426
Регистрация: 21.01.2014
Сообщений: 26,671
Записей в блоге: 3
13.09.2022, 09:45 6
Лучший ответ Сообщение было отмечено aprilpotter912 как решение

Решение

Цитата Сообщение от aprilpotter912 Посмотреть сообщение
если Лазарус не признаёт их
aprilpotter912, первая же! ссылка в Яндексе ведет на справочный сайт именно не Delphi, а FreePascal (то бишь именно Lazarus), а уж там все есть: и описание этого класса, и свойства, и методы и тот самый модуль, в котором он, этот класс, описан...
Миниатюры
Какие модули необходимы для создания парсера?  
1
0 / 0 / 0
Регистрация: 09.08.2022
Сообщений: 69
13.09.2022, 23:21  [ТС] 7
Цитата Сообщение от D1973 Посмотреть сообщение
aprilpotter912, первая же!
Спасибо!

В целом, вопрос был в том, какие модули нужно подключить в Uses, чтобы указанный код работал

Нужны, вроде, следующие:

Delphi
1
2
3
4
5
6
7
8
9
unit main;
 
{$mode objfpc}{$H+}
 
interface
 
uses
  Classes, SysUtils, Forms, Controls, Graphics, Dialogs, ExtCtrls, StdCtrls, StrUtils,
  ComCtrls, fphttpclient, LConvEncoding, sax_html, dom_html, dom, opensslsockets;
0
0 / 0 / 0
Регистрация: 09.08.2022
Сообщений: 69
29.09.2022, 19:25  [ТС] 8
Заметка:

Продолжение темы с решением здесь: Пакеты, компоненты, библиотеки для работы с сетью в Lazarus
0
29.09.2022, 19:25
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
29.09.2022, 19:25
Помогаю со студенческими работами здесь

Какие библиотеки необходимы для работы с ADODB?
какие библиотеки необходимы для работы с ним?

Посоветуйте материалы для создания парсера
Добрый день, товарищи. Начал я эволючионировать в сторону изучения java. Для личных нужд уже...

Ищу партнёра для создания парсера
Ищу партнёра для создания парсера выдачи поисковиков. Кто заинтересован стучитесь ICQ (268-316-510)

Какие условия необходимы для получения гармонических колебаний?
1. Какие условия необходимы для получения гармонических колебаний? Как должны изменяться...

Какие компоненты необходимы для работы с Excel (Office2013)?
Какие компоненты необходимы для работы с Excel (Microsoft Office 2013)?


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
8
Ответ Создать тему
Новые блоги и статьи
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
Что такое NullReferenceEx­­­ception и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
Использование GraphQL в Go (Golang)
InfoMaster 08.01.2025
Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор?
Alexander-7 08.01.2025
Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .
Как работать с GraphQL на TypeScript
InfoMaster 08.01.2025
Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .
Счётчик на базе сумматоров + регистров и генератора сигналов согласования.
Hrethgir 07.01.2025
Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .
Как перейти с Options API на Composition API в Vue.js
BasicMan 06.01.2025
Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .
Архитектура современных процессоров
inter-admin 06.01.2025
Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .
История создания реляционной модели баз данных, правила Кодда
Programming 06.01.2025
Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru