Как сохранить текст из memo в кодировке UTF-8?

@zlodey4ik · Регистрация: 06.03.2013

Author24 — интернет-сервис помощи студентам

Приветствую!
Нужна Ваша помощь. Мне надо сохранить текст из memo1 в кодировке UTF-8.
Процедура сохранения вот(работает, но кодировка ansi)

Code    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
11
12
procedure TForm1.Button4Click(Sender: TObject);
var
ext: String;
begin
 with SaveDialog1, Memo1 do
      if Execute then
    begin
      if FilterIndex=1
        then ext:='.sma';
      Memo1.Lines.SaveToFile(FileName+ext);
    end;
end;

Кодировку менять пробывал так, не работает.

Code    
        
    Скопировано
1
memo1.Text:=AnsiToUtf8(memo1.Text);

Как можно еще реализовать?(Delphi 2010)

@volvo · 06.03.2013, 19:55

Начиная с D2009 можно выбирать нужную кодировку:

Delphi    
        
    Скопировано
1
  Memo1.Lines.SaveToFile(filename, TEncoding.UTF8);

DenNik · 16.07.2014, 13:02

UI, а как определить, в какой кодировке текстовый файл?

@volvo · 16.07.2014, 13:18

Стандартными средствами - никак (ну, в смысле, нет такой функции, которая могла бы определить кодировку с такой же легкостью, как выше указывалась кодировка результирующего файла). Можно воспользоваться сторонними библиотеками, например Charset detector

DenNik · 16.07.2014, 13:51

UI, в справке Delphi встречал упоминание как сделать при помощи TEncoding, только толком не разобрался

@volvo · 16.07.2014, 14:05

Этот (XE и выше):

Delphi    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
  if OpenDialog1.Execute then
  with TStringList.Create do
  try
    LoadFromFile(OpenDialog1.FileName);
    ShowMessage(Encoding.EncodingName);
  finally
    Free;
  end;

? Он не всегда корректен. Скажем, у меня на машине с ANSI-кодировкой Win1255 он определяет кодировку файла, сохраненного в 1251 как эту самую Win1255... UTF8 определяется правильно...

@mss · 16.07.2014, 15:18

Delphi    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
s : RawByteString;
fs: TFileStream;
..
s := memo1.Text;
SetCodePage(s, CP_UTF8, True);
fs := TFileStream.Create('UTF8EncodedText.txt', fmCreate);
fs.WriteBuffer(s[1], Length(s));
fs.Free;

DenNik · 17.07.2014, 09:26

mss, я делал так

Delphi    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
7
8
9
10
procedure TForm2.Button2Click(Sender: TObject);
var
  Data: RawByteString;
  fs: TFileStream;
begin
  Data:= UTF8Encode(Memo1.Text);
  fs:= TFileStream.Create('e:\test.txt',fmCreate);
  fs.WriteBuffer(Data[1],Length(Data));
  fs.Free;
end;

только у меня не получилось, потому что забыл написать [1]! теперь сработало.

еще хочу спросить. что означает определение

RawByteString = type AnsiString($ffff);
чем эта строка отличается от обычной AnsiString?

@mss · 17.07.2014, 09:36

Сообщение от DenNik

чем эта строка отличается от обычной AnsiString?

Кроме значения служебного поля CodePage - ничем.
Но по значению этого поля RTL при манипуляциях со строками (например, копирование) принимает решения о неявных преобразованиях кодировок символов.

В случае с CodePage = $FFFF содержимое строки при ее считывании трактуется as is и никакие преобразования над кодировкой символов источника не осуществляются.

murderer · 17.07.2014, 09:39

RawByteString = type AnsiString($ffff);

Это в какой версии Delphi?

В Delphi7 похожим образом обозначаются строки фиксированного размера (статические массивы)

Delphi    
        
    Скопировано
1
s: string[25];

DenNik · 17.07.2014, 09:43

Сообщение от murderer

Это в какой версии Delphi?

у меня 2010

в общем, протестировал три способа
1. SetCodePage
2. UT8Encode
3. TStringlist.SaveToFile(filename,TEncodin g.UTF8)

все сохраняют коректно, только последний способ на три байта больше файл. вероятно, добавляет BOM, верно?

@mss · 17.07.2014, 09:54

Сообщение от murderer

Это в какой версии Delphi?

С юникодовой линейки это вроде бы пошло ..

Добавлено через 31 секунду

Сообщение от DenNik

добавляет BOM, верно?

Верно

Добавлено через 55 секунд

Сообщение от DenNik

последний способ на три байта больше

Потому и предложил вариант с файлстримом, чтобы лишнее в файл не лепить

Добавлено через 1 минуту

Сообщение от DenNik

1. SetCodePage
2. UT8Encode

то ли 1 внутри вызывает 2, то ли наоборот (следует уточнить), но суть и алгоритм преобразований при этом одни и те же

DenNik · 17.07.2014, 10:18

Сообщение от mss

то ли 1 внутри вызывает 2, то ли наоборот (следует уточнить)

рылся в исходниках, ниче непонятно, т.к. Ctrl+Click в модуле System почему-то не работает, а по поиску влом.

@mss · 17.07.2014, 10:52

DenNik, если не шибко озабочен ловлей блох в производительности - забей.
Главное понимание того что оба способа делают фактически одно и тоже.

Ощутимая разница лишь в том, что Utf8Encode возвращая результат делает минимум на одну операцию перераспределения памяти больше, нежели SetCodePage, получающая строку-источник по ссылке.

DenNik · 17.07.2014, 11:05

mss, а с другой стороны, для SetCodePage я вначале присвою переменной строку, я для Utf8Encode нет, т.е. эта лишняя операция производится вне функции кодирования

@tasman82 · 29.09.2014, 16:26

Delphi    
        
            
                
                
                
                
            
        
    Скопировано
1
2
3
4
5
6
begin
//  лайны туда, лайны сюда
 
  memo1.Lines.DefaultEncoding:=memo1.Lines.Encoding.UTF8;
  memo1.Lines.SaveToFile('filename.ext');
end;

с advmemo сработало, должно сработать с обычным memo

P.S. писал редактор XVM для танков, размер файла получался один в один с оригиналом

Новые блоги и статьи Все статьи Все блоги /
JavaScript: Управление памятью и улучшение производительности run.dev 29.03.2025 В отличие от низкоуровневых языков программирования, JavaScript не требует ручного выделения и освобождения памяти. Здесь работает автоматический сборщик мусора, который определяет, какие объекты. . .	Мультитенантная архитектура со SpringBoot и PostgreSQL ArchitectMsa 29.03.2025 SaaS-приложения редко обслуживают одного клиента и обычно они должны поддерживать множество организаций, каждая из которых работает в своём изолированном пространстве. Мультитенантная архитектура. . .	std::span в C++: Производительность и лучшие практики NullReferenced 28.03.2025 std::span — одно из самых недооценённых нововведений стандарта C++20, которое радикально меняет подход к работе с непрерывными последовательностями данных. По сути, это невладеющее представление. . .	Многопоточность в C#: Threadpool UnmanagedCoder 28.03.2025 Пул потоков в C# — это коллекция заранее созданных и готовых к использованию потоков, которые находятся в распоряжении приложения. Вместо того чтобы создавать и уничтожать потоки для каждой небольшой. . .	Вопросы на собеседованиях по микросервисам ArchitectMsa 27.03.2025 Работодатели ищут не просто разработчиков, знающих базовые концепции, а специалистов, разбирающихся в тонкостях масштабирования, отказоустойчивости и производительности. Сейчас на первый план выходят. . .
Взаимодействие Python с REST API py-thonny 27.03.2025 REST API - это архитектурный стиль взаимодействия компонентов распределённого приложения в сети. Python располагает функциональным набором инструментов для работы с REST API и основная библиотека для. . .	sshd restrictions, ssh access limitations jigi33 26.03.2025 sshd restrictions \| ssh access limitations рестрикции доступа на сервер sshd статья: https:/ / www. golinuxcloud. com/ restrict-allow-ssh-certain-users-groups-rhel	Компиляция C++ с Clang API NullReferenced 24.03.2025 Компиляторы обычно воспринимаются как черные ящики, которые превращают исходный код в исполняемые файлы. Мы запускаем компилятор командой в терминале, и вуаля — получаем бинарник. Но что если нужно. . .	Многопоточность в C#: Класс Thread UnmanagedCoder 24.03.2025 Когда запускается приложение на компьютере, операционная система создаёт для него процесс - виртуальное адресное пространство. В C# этот процесс изначально получает один поток выполнения — главный. . .	SwiftUI Data Flow: Передача данных между представлениями mobDevWorks 23.03.2025 При первом знакомстве со SwiftUI кажется, что фреймворк предлагает избыточное количество механизмов для передачи данных: @State, @Binding, @StateObject, @ObservedObject, @EnvironmentObject и другие. . . .

DenNik Житель Земли 3003 / 3022 / 390 Регистрация: 26.07.2011 Сообщений: 11,465 Записей в блоге: 1
	16.07.2014, 13:02
	UI, а как определить, в какой кодировке текстовый файл? 0

@volvo Супер-модератор 33117 / 21413 / 8219 Регистрация: 22.10.2011 Сообщений: 36,746 Записей в блоге: 9
	16.07.2014, 13:18
	Стандартными средствами - никак (ну, в смысле, нет такой функции, которая могла бы определить кодировку с такой же легкостью, как выше указывалась кодировка результирующего файла). Можно воспользоваться сторонними библиотеками, например Charset detector 1

DenNik Житель Земли 3003 / 3022 / 390 Регистрация: 26.07.2011 Сообщений: 11,465 Записей в блоге: 1
	16.07.2014, 13:51
	UI, в справке Delphi встречал упоминание как сделать при помощи TEncoding, только толком не разобрался 0

@mss 3530 / 2270 / 279 Регистрация: 24.12.2010 Сообщений: 13,723
	17.07.2014, 09:36
	Сообщение от DenNik чем эта строка отличается от обычной AnsiString? Кроме значения служебного поля CodePage - ничем. Но по значению этого поля RTL при манипуляциях со строками (например, копирование) принимает решения о неявных преобразованиях кодировок символов. В случае с CodePage = $FFFF содержимое строки при ее считывании трактуется as is и никакие преобразования над кодировкой символов источника не осуществляются. 1

DenNik Житель Земли 3003 / 3022 / 390 Регистрация: 26.07.2011 Сообщений: 11,465 Записей в блоге: 1
	17.07.2014, 09:43
	Сообщение от murderer Это в какой версии Delphi? у меня 2010 в общем, протестировал три способа 1. SetCodePage 2. UT8Encode 3. TStringlist.SaveToFile(filename,TEncodin g.UTF8) все сохраняют коректно, только последний способ на три байта больше файл. вероятно, добавляет BOM, верно? 0

@mss 3530 / 2270 / 279 Регистрация: 24.12.2010 Сообщений: 13,723
	17.07.2014, 09:54
	Сообщение от murderer Это в какой версии Delphi? С юникодовой линейки это вроде бы пошло .. Добавлено через 31 секунду Сообщение от DenNik добавляет BOM, верно? Верно Добавлено через 55 секунд Сообщение от DenNik последний способ на три байта больше Потому и предложил вариант с файлстримом, чтобы лишнее в файл не лепить Добавлено через 1 минуту Сообщение от DenNik 1. SetCodePage 2. UT8Encode то ли 1 внутри вызывает 2, то ли наоборот (следует уточнить), но суть и алгоритм преобразований при этом одни и те же 0

DenNik Житель Земли 3003 / 3022 / 390 Регистрация: 26.07.2011 Сообщений: 11,465 Записей в блоге: 1
	17.07.2014, 10:18
	Сообщение от mss то ли 1 внутри вызывает 2, то ли наоборот (следует уточнить) рылся в исходниках, ниче непонятно, т.к. Ctrl+Click в модуле System почему-то не работает, а по поиску влом. 0

@mss 3530 / 2270 / 279 Регистрация: 24.12.2010 Сообщений: 13,723
	17.07.2014, 10:52
	DenNik, если не шибко озабочен ловлей блох в производительности - забей. Главное понимание того что оба способа делают фактически одно и тоже. Ощутимая разница лишь в том, что Utf8Encode возвращая результат делает минимум на одну операцию перераспределения памяти больше, нежели SetCodePage, получающая строку-источник по ссылке. 1

DenNik Житель Земли 3003 / 3022 / 390 Регистрация: 26.07.2011 Сообщений: 11,465 Записей в блоге: 1
	17.07.2014, 11:05
	mss, а с другой стороны, для SetCodePage я вначале присвою переменной строку, я для Utf8Encode нет, т.е. эта лишняя операция производится вне функции кодирования 0