С Новым годом! Форум программистов, компьютерный форум, киберфорум
Delphi для начинающих
Войти
Регистрация
Восстановить пароль
Карта форума Темы раздела Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.67/21: Рейтинг темы: голосов - 21, средняя оценка - 4.67
1 / 1 / 0
Регистрация: 29.06.2015
Сообщений: 131
1
RAD XE3+

Изменение кодировки Win1251 в UTF8 (необычный случай)

28.08.2018, 17:38. Показов 4011. Ответов 11
Метки нет (Все метки)

Author24 — интернет-сервис помощи студентам
Всем привет!

... обычно кодировка проблем не доставляла, а вот недавно столкнулся с проблемой декодирования кракозябр вместо которых должны быть русские слова, вот текста кусочек:
{"id":33620338,"name":"ЗОЛОТОЙ БАЙТ - GoldenByte","screen_name":"goldenbyte","is_closed":0,"type":"group","is_admin":0 ,"is_member":0,"photo_50":"https:\/\/pp.userapi.com\/c637829\/v637829585\/e819\/l_pGk7CkgAA.jpg?ava=1","photo_100":"https:\/\/pp.userapi.com\/c637829\/v637829585\/e818\/P5z-kIafVvo.jpg?ava=1","photo_200":"https:\/\/pp.userapi.com\/c637829\/v637829585\/e817\/LV7qSNwNlsQ.jpg?ava=1"},

{"id":122817785,"name":"GOLDTEAM.TV | Перевод и Озвучка","screen_name":"goldteam","is_closed":0,"type":"group","is_admin":0,"is_member" :0,"photo_50":"https:\/\/sun1-16.userapi.com\/c830401\/v830401630\/141443\/XHOGsLBMBS4.jpg?ava=1","photo_100":"https:\/\/sun1-4.userapi.com\/c830401\/v830401630\/141442\/bMitN5FpwrQ.jpg?ava=1","photo_200":"https:\/\/sun1-1.userapi.com\/c830401\/v830401630\/141441\/kltze8UIikA.jpg?ava=1"},

{"id":25418374,"name":"Р*ибалка - GoldFishNet","screen_name":"goldfishnet","is_closed":0,"type":"group","is_admin" :0,"is_member":0,"photo_50":"https:\/\/sun1-4.userapi.com\/c831309\/v831309933\/754cb\/o3Oe0RyCJ3s.jpg?ava=1","photo_100":"https:\/\/sun1-16.userapi.com\/c831309\/v831309933\/754ca\/4YI_qz3RslI.jpg?ava=1","photo_200":"https:\/\/sun1-14.userapi.com\/c831309\/v831309933\/754c9\/mk9QpppPgbo.jpg?ava=1"},

{"id":94606147,"name":"ALPEN GOLD ответы огэ","screen_name":"club94606147","is_closed":1,"type":"group","photo_50":"http s:\/\/vk.com\/images\/deactivated_kis_50.png","photo_100":"https:\/\/vk.com\/images\/deactivated_kis_100.png","photo_200":"https:\/\/vk.com\/images\/deactivated_kis_200.png"},{"id":38048126,"name":"Педикюр Golden Trace","screen_name":"minxmsc","is_closed":0,"type":"group","is_admin":0,"is_mem ber":0,"photo_50":"https:\/\/pp.userapi.com\/c619925\/v619925356\/25345\/5fSh-Yiux_4.jpg?ava=1","photo_100":"https:\/\/pp.userapi.com\/c619925\/v619925356\/25344\/7_DoUVZf_oY.jpg?ava=1","photo_200":"https:\/\/pp.userapi.com\/c619925\/v619925356\/25343\/JHd2P1CIo-c.jpg?ava=1"},

{"id":76590981,"name":"Клуб любителей ювелирных украшений GOLDERY.RU","screen_name":"goldery_ru","is_closed":0,"type":"group","is_admin":0 ,"is_member":0,"photo_50":"https:\/\/pp.userapi.com\/c627630\/v627630723\/2282d\/MOtSwMKq6Bo.jpg?ava=1","photo_100":"https:\/\/pp.userapi.com\/c627630\/v627630723\/2282c\/HI25n5EII3A.jpg?ava=1","photo_200":"https:\/\/pp.userapi.com\/c627630\/v627630723\/2282b\/SgQ0riFayIc.jpg?ava=1"}
Помогите пожалуйста уважаемые гуру форума есть ли какая нибудь функция или готовое решение без потери читабельности остального текста (кода) преобразовать в читабельный русский текст жирные-красные кракозябры которые на мой взгляд должны преобразовываться из WIN1251 в UTF8.

С уважением, Ltybcrf.
0
Лучшие ответы (1)
IT_Exp
Эксперт
34794 / 4073 / 2104
Регистрация: 17.06.2006
Сообщений: 32,602
Блог
28.08.2018, 17:38
Ответы с готовыми решениями:

Кодировки win1251-UTF8
Подскажите как осуществить сиё действие? К примеру имею $mytext='Яндекс '; //Яндекс зы...

Перевод кодировки в Win1251/UTF8
Вместо русского "Яндекс" пишутся такие кракозябры "Яндекс" как поменять...

Изменение кодировки файла dbf из utf8 в 1251
Доброго дня Прошу Вашей помощи в решении следующей задачи. Существует фалик dbf, кодировка...

Изменение кодировки строки в UTF8 без BOM
Здравствуйте. Есть код: Dim Encw1252 As Encoding = Encoding.GetEncoding("windows-1252") ...

11
5582 / 4432 / 1080
Регистрация: 29.08.2013
Сообщений: 27,717
Записей в блоге: 3
28.08.2018, 20:06 2
преобразовать в Notepad++
или
из делфи сохранять правильно?
0
17 / 15 / 8
Регистрация: 26.04.2016
Сообщений: 38
28.08.2018, 21:18 3
Лучший ответ Сообщение было отмечено Ltybcrf как решение

Решение

Каким образом получаете данные? Через IdHtpp?
У вас сервер отдает данные в UTF-8, но клиентская сторона их пытается интерпретировать как WIN1251. Соответственно либо сервер отдает вам в заголовке неверный Content-Encoding, либо клиент неверно их преобразовывает.

Можно попробовать что-то вот такое:

Цитата Сообщение от delphilanta Посмотреть сообщение
Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
IdHTTP:=TIdHTTP.Create(Nil);
 Stream:=TMemoryStream.Create;
 Try
 IdHTTP.Get(URL, Stream);
 Stream.Position:=0;
 SetLength(Result, Stream.Size);
 Stream.Read(Result[1], Stream.Size);
 Result:=UTF8ToString(Result);
 Finally
 Stream.Free;
 IdHTTP.Free;
 End;
End;
0
1 / 1 / 0
Регистрация: 29.06.2015
Сообщений: 131
29.08.2018, 12:50  [ТС] 4
преобразовать в Notepad++
или
из делфи сохранять правильно?
Из delphi сохранять правильно.



Каким образом получаете данные? Через IdHtpp?
У вас сервер отдает данные в UTF-8, но клиентская сторона их пытается интерпретировать как WIN1251. Соответственно либо сервер отдает вам в заголовке неверный Content-Encoding, либо клиент неверно их преобразовывает.

Можно попробовать что-то вот такое:
Данные получаю вот такой командой:
Delphi
1
response := send('GET', x);
в х ссылка на страницу из которой мы получаем вобщем то то что нам нужно но с вставками кракозябр.

Вы можете задать вполне логичный вопрос, что это за функция такая "send", представляю её Вам на обозрение друг в ней можно что-то поменять или добавить .. но работа стоит всё уперлось в эти кракозябры:
Delphi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
function send(method, url: string; postParams: string = ''; cookie: string = ''; showCookie: boolean = false; proxyType: string = ''; proxy: string = ''; proxyUser: string = ''; proxyPass: string = ''; files: string = ''; userAgent: string = ''; referer: string = ''): string;
var
  Header: TStringList;
  Contents: TStringList;
  httpsend: THTTPSend;
  ss: TStringStream;
  i, err: integer;
  s: string;
  FS: TFileStream;
  rev, bound: string;
  mas, mas2, p, v: array[0..500] of string;
const
  FIELD_MASK = #13#10 + '--%s' + #13#10 + 'Content-Disposition: form-data; name="%s"' + #13#10 + #13#10 + '%s';
begin
  randomize;
  Header := TStringList.Create;
  Contents := TStringList.Create;
  ss := TStringStream.Create('');
  httpsend := THTTPSend.Create;
  httpsend.UserAgent := userAgent;
  if referer <> '' then
    httpsend.Headers.Insert(0, 'referererer: ' + referer); //referererer
  httpsend.Cookies.Text := cookie;                //cookies
  if files <> '' then
  begin
    bound := IntToHex(Random(100000000), 8) + '_Synapse_boundary';
 
    s := '--' + bound + #13#10;
    i := 0;
    if pos('&', files) <> 0 then
    begin
      explode(mas, '&', files);
    end
    else
      mas[0] := files;
    while mas[i] <> '' do
    begin
      explode(mas2, ',', mas[i]);
 
            //s:=CRLF;
      s := s + 'content-disposition: form-data; name="' + mas2[0] + '";';
      s := s + ' filename="' + ExtractFileName(mas2[1]) + '"' + #13#10;
      s := s + 'Content-Type: ' + mas2[2] + #13#10 + #13#10;
            //showmessage(s);
      httpsend.Document.Write(Pointer(s)^, Length(s));
      if mas2[1] <> '' then
      begin
        FS := TFileStream.Create(mas2[1], fmOpenRead);
        FS.Position := 0;
        httpsend.Document.CopyFrom(FS, FS.Size);
        FS.Free;
      end;
      inc(i);
    end;
    explode(p, '&', postParams);
    i := 0;
    if pos('&', postParams) <> 0 then
    begin
      explode(p, '&', postParams);
    end
    else
      p[0] := postParams;
    while p[i] <> '' do
    begin
      explode(v, '=', p[i]);
      s := Format(FIELD_MASK, [bound, v[0], v[1]]);
      httpsend.Document.Write(Pointer(s)^, Length(s));
      inc(i);
    end;
    s := #13#10 + '--' + bound + '--' + #13#10;
    httpsend.Document.Write(Pointer(s)^, Length(s));
    httpsend.MimeType := 'multipart/form-data, boundary=' + bound;
  end
  else
  begin
    httpsend.MimeType := 'application/x-www-form-urlencoded;';
    if method = 'POST' then
    begin
      ss.WriteString(postParams);
      httpsend.Document.LoadFromStream(ss);
    end;
  end;
  httpsend.Protocol := '1.1';
     // httpsend.Sock.OnStatus := OnStatus;
  httpsend.Headers.AddStrings(Header);        //headers
  if proxyType = 'HTTP' then
  begin
    httpsend.ProxyHost := Copy(proxy, 1, Pos(':', proxy) - 1);
    httpsend.ProxyPort := Copy(proxy, Pos(':', proxy) + 1, Length(proxy));
  end
  else if proxyType = 'SOCKS 4' then
  begin
        //HTTPsend.Sock.SocksType:=
    httpsend.Sock.SocksResolver := false;
    httpsend.Sock.SocksIP := Copy(proxy, 1, Pos(':', proxy) - 1);
    httpsend.Sock.SocksPort := Copy(proxy, Pos(':', proxy) + 1, Length(proxy));
    httpsend.Sock.SocksUsername := proxyUser;
    httpsend.Sock.SocksPassword := proxyPass;
        //HTTPsend.Sock.SocksOpen;
  end
  else if proxyType = 'SOCKS 5' then
  begin
        //HTTP.Sock.SocksType := ST_Socks5 ;
    httpsend.Sock.SocksResolver := false;
    httpsend.Sock.SocksIP := Copy(proxy, 1, Pos(':', proxy) - 1);
    httpsend.Sock.SocksPort := Copy(proxy, Pos(':', proxy) + 1, Length(proxy));
    httpsend.Sock.SocksUsername := proxyUser;
    httpsend.Sock.SocksPassword := proxyPass;
        //HTTPsend.Sock.SocksOpen;
  end;
  if method = 'GET' then
  begin
    try
      httpsend.HTTPMethod('GET', url);
    except
       //on EidSocketError do
      on E: Exception do
        result := 'exception';
    end;
  end;
  if method = 'POST' then
  begin
    httpsend.HTTPMethod('POST', url);
  end;
  Contents.LoadFromStream(httpsend.Document);
  rev := Contents.Text;
  if pos('302', IntToStr(httpsend.ResultCode)) <> 0 then
  begin
    result := httpsend.Headers[FoundLocationStrNum('Location', httpsend.Headers)];
  end
  else if pos('500', IntToStr(httpsend.ResultCode)) <> 0 then
  begin
    result := '500' + httpsend.Headers.Text;
  end
  else if pos('404', IntToStr(httpsend.ResultCode)) <> 0 then
  begin
    result := '404';
  end
  else if pos('400', IntToStr(httpsend.ResultCode)) <> 0 then
  begin
    result := '400';
  end
  else if pos('307', IntToStr(httpsend.ResultCode)) <> 0 then
  begin
    result := httpsend.Headers[FoundLocationStrNum('Location', httpsend.Headers)];
  end
  else if pos('301', IntToStr(httpsend.ResultCode)) <> 0 then
  begin
    result := httpsend.Headers[FoundLocationStrNum('Location', httpsend.Headers)];
  end
  else
    result := rev;
  if showCookie = true then
    result := httpsend.Cookies.Text + '@@@' + result;
  httpsend.Free;
  Header.Free;
  Contents.Free;
  ss.Free;
 
  exit;
end;
Помогите пожалуйста ..
0
5869 / 4597 / 1448
Регистрация: 14.04.2014
Сообщений: 20,401
Записей в блоге: 20
29.08.2018, 14:58 5
а версия-то какая у вас?
0
1 / 1 / 0
Регистрация: 29.06.2015
Сообщений: 131
29.08.2018, 15:13  [ТС] 6
Delphi
1
а версия-то какая у вас?
Delphi XE7

krapotkin - Вы для меня очень большой авторитет я слежу за форумом много лет и Ваш коментарий для меня будет очень важжный. Спасибо большое за ответ. правда появилась проблема может в самой функции в момент инициации htpp запроса надо поставить конструкцию stringto UTF8 или UTF8to string на Ваших же советах и 3й год как пишу программы ))
0
5582 / 4432 / 1080
Регистрация: 29.08.2013
Сообщений: 27,717
Записей в блоге: 3
29.08.2018, 20:17 7
Не вглядывался в код - покажите где вы в файл сохраняете
0
5869 / 4597 / 1448
Регистрация: 14.04.2014
Сообщений: 20,401
Записей в блоге: 20
29.08.2018, 20:29 8
если честно, я синапс даже не трогал никогда
но вообще проблема выглядит как отсутствие charset в запросе
никаких перекодировок не требуется вообще
Про синапс, повторюсь, не знаю
пример IdHTTP вот как-то так должно быть
Delphi
1
2
3
  IdHTTP1.Request.Accept := 'application/json';
  IdHTTP1.Request.AcceptCharSet := 'UTF-8';
  s:=IdHTTP1.Get(URL);
1
17 / 15 / 8
Регистрация: 26.04.2016
Сообщений: 38
29.08.2018, 21:26 9
Попробуйте вот эту строку

Delphi
1
Contents.LoadFromStream(httpsend.Document);
поменять на перегруженный метод

Delphi
1
Contents.LoadFromStream(httpsend.Document, TEncoding.UTF8);
1
пофигист широкого профиля
4754 / 3191 / 860
Регистрация: 15.07.2013
Сообщений: 18,483
30.08.2018, 01:51 10
Если мне не изменяет мой склероз, то Синапс (если ТС использует именно его) не работает с Юникодом. Правильное решение отказаться от синапса.
0
17 / 15 / 8
Регистрация: 26.04.2016
Сообщений: 38
30.08.2018, 22:56 11
либа возвращает бинарный поток "as-is", а уже пользователь сам должен определить по заголовкам ответа, что ему за кодировка/тип потока нужен. синапс более легковесный, так что тут скорее кто с чем привык больше работать. вон в последних делфи еще THTTPClient добавили.
0
1 / 1 / 0
Регистрация: 29.06.2015
Сообщений: 131
06.09.2018, 17:36  [ТС] 12
Ребята всем спасибо за помощь.
Особенно большое спасибо тем кто помогает новичками а не насмехается над ними!

Полностью решение моей проблемы выглядит так (кому надо пользуйтесь на здоровье):
Delphi
1
Memo1.Text := UTF8ToString(response);

Спасибо iwrowo подтолкнул.
0
06.09.2018, 17:36
BasicMan
Эксперт
29316 / 5623 / 2384
Регистрация: 17.02.2009
Сообщений: 30,364
Блог
06.09.2018, 17:36
Помогаю со студенческими работами здесь

Из win1251 в utf8
Написал в notepad++ поле чудес в кодировке win1251 почему ставлю кодировать в ut8 без bom и...

Кодировка из utf8 в win1251
Здравствуйте! При обработке текстового файла в utf8 и копирования содержимого через макрос в ворд,...

Необычный случай поломки процессора
Обычно поломка процессора это остановка работы компьютера до его замены. Я столкнулся с редкой...

Необычный случай с Flexslider + booklet
Добрый день. Сайт - http://maposhop.ru/opt1/ На 3-4 слайде, когда как, иногда на 6-8 и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
12
Ответ Создать тему
Новые блоги и статьи
Книги и учебные ресурсы по C#
InfoMaster 08.01.2025
Базовые учебники и руководства Одной из лучших книг для начинающих является "C# 10 и . NET 6 для начинающих" Эндрю Троелсена и Филиппа Джепикса . Книга последовательно раскрывает основные концепции. . .
Что такое NullReferenceEx­­­ception и как исправить?
InfoMaster 08.01.2025
NullReferenceException - одно из самых распространенных исключений, с которым сталкиваются разработчики на C#. Это исключение возникает при попытке обратиться к членам объекта (методам, свойствам или. . .
Что такое Null Pointer Exception (NPE) и как это исправить?
InfoMaster 08.01.2025
Null Pointer Exception (NPE) - это одно из самых распространенных исключений в Java, которое возникает при попытке использовать ссылку на объект, значение которой равно null. Это исключение относится. . .
Русский язык в консоли C++
InfoMaster 08.01.2025
При разработке программ на C++ одной из частых проблем, с которой сталкиваются русскоязычные программисты, является корректное отображение кириллицы в консольных приложениях. Эта проблема особенно. . .
Telegram бот на C#
InfoMaster 08.01.2025
Разработка ботов для Telegram стала неотъемлемой частью современной экосистемы мессенджеров. C# предоставляет мощный и удобный инструментарий для создания разнообразных ботов, от простых. . .
Использование GraphQL в Go (Golang)
InfoMaster 08.01.2025
Go (Golang) является одним из наиболее популярных языков программирования, используемых для создания высокопроизводительных серверных приложений. Его архитектурные особенности и встроенные. . .
Что лучше использовать при создании класса в Java: сеттеры или конструктор?
Alexander-7 08.01.2025
Вопрос подробнее: На вопрос: «Когда одновременно создаются конструктор и сеттеры в классе – это нормально?» куратор уточнил: «Ваш класс может вообще не иметь сеттеров, а только конструктор и геттеры. . .
Как работать с GraphQL на TypeScript
InfoMaster 08.01.2025
Введение в GraphQL и TypeScript В современной разработке веб-приложений GraphQL стал мощным инструментом для создания гибких и эффективных API. В сочетании с TypeScript, эта технология. . .
Счётчик на базе сумматоров + регистров и генератора сигналов согласования.
Hrethgir 07.01.2025
Создан с целью проверки скорости асинхронной логики: ранее описанного сумматора и предополагаемых fast регистров. Регистры созданы на базе ранее описанного, предполагаемого fast триггера. То-есть. . .
Как перейти с Options API на Composition API в Vue.js
BasicMan 06.01.2025
Почему переход на Composition API актуален В мире современной веб-разработки фреймворк Vue. js продолжает эволюционировать, предлагая разработчикам все более совершенные инструменты для создания. . .
Архитектура современных процессоров
inter-admin 06.01.2025
Процессор (центральный процессор, ЦП) является основным вычислительным устройством компьютера, которое выполняет обработку данных и управляет работой всех остальных компонентов системы. Архитектура. . .
История создания реляционной модели баз данных, правила Кодда
Programming 06.01.2025
Предпосылки создания реляционной модели В конце 1960-х годов компьютерная индустрия столкнулась с серьезными проблемами в области управления данными. Существовавшие на тот момент модели данных -. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2025, CyberForum.ru