[sed] Из пакетного файла в CP1251 при помощи sed вставить в итоговый файл подстроку в UTF-8

ФедосеевПавел · Регистрация: 01.02.2015

Author24 — интернет-сервис помощи студентам

Доброго дня

С помощью sed и cmd (в Windows) решаю задачу формирования файла .cvs на основе другого .cvs в кодировке UTF-8.
Почти все поля нового cvs получаются перестановкой полей исходного файла. Но одно поле должно быть задано любым другим удобным способом.

Сама задача появилась из следующей проблемы.
Имеется промышленный контроллер Овен ПР205, который требуется связать по Modbus RTU (или TCP) с панелью оператора Weintek MT8072iP.
Из ПР205 возможен экспорт переменных в cvs файл в кодировке UTF-8 следующего содержания (привожу пример с 4 переменными, в реальной жизни их у меня около 50 и более).

Кликните здесь для просмотра всего текста

Код

Имя переменной;Тип переменной;Адрес регистра;Значение по умолчанию;Комментарий;Имя параметра;Минимальное значение;Максимальное значение;Видимость;Путь к параметру;Формат отображения данных;Редактирование по сети;Архивировать значение
n_Var1;Целочисленное;16384;50;Первая целочисленная переменная;Целочисленная переменная №1;0;99;Видим;Целые;Десятичный (Dec);Разрешено;Нет
n_Var2;Целочисленное;16385;150;Вторая целочисленная переменная;Целочисленная переменная №2;100;199;Видим;Целые;Десятичный (Dec);Разрешено;Нет
r_Var3;С плавающей запятой;16386;250;Первая вещественная переменная;Вещественная переменная №1;200;299;Видим;Вещественные;Десятичный (Dec);Разрешено;Нет
r_Var4;С плавающей запятой;16388;350;Вторая вещественная переменная;Вещественная переменная №2;300;399;Видим;Вещественные;Десятичный (Dec);Разрешено;Нет

Среда разработки Easy Builder для панели Weintek позволяет и импорт и экспорт тегов в csv файл кодировки UTF-8 со следующим расположением полей описаний переменных (тегов)

Кликните здесь для просмотра всего текста

Код

n_Var1,Owen_PR205,3x,16384,"Первая целочисленная переменная",16-bit Unsigned
n_Var2,Owen_PR205,3x,16385,"Вторая целочисленная переменная",16-bit Unsigned
r_Var3,Owen_PR205,3x,16386,"Первая вещественная переменная",32-bit Float
r_Var4,Owen_PR205,3x,16388,"Вторая вещественная переменная",32-bit Float

Видно, что произведена перестановка полей и замена названий типов "Целочисленная" на "16-bit Unsigned" и т.п.
А также, добавлено поле с содержимым "Owen_PR205". Это поле содержит название устройства, которое уже описано в Easy Builder - т.е. под этим названием в проекте подразумевается конфигурация связи панели с контроллером и это название даётся произвольно при конфигурировании проекта.

Задача формирования решается скриптом cmd с вызовом sed

Windows Batch file

@chcp 1251>nul
 
@rem Размещение утилиты - потокового редактора sed
@set sed_exe="c:\Program Files\binutils\ssed.exe"
@rem set sed_exe="c:\Program Files\binutils\sed\bin\sed.exe"
 
@rem Название исходного файла с экспортируемыми из Owen Logic тегами
@set source="ТестовыйПроект_Сетевые, Slave.csv"
@rem Название итогового файла с тегами для Easy Builder (Weintek)
@set "target=result.csv"
@rem Название устройства, уже описанного в системных параметрах проекта Easy Builder
@rem Лучше на латинице, т.к.
@set "device_name=Owen_PR205"
 
@rem Временный файл
@set "tmp_file=temp.$$1"
@rem Регулярное выражение для выделения полей в csv экспортируемых тегов
@set "field=([^;]*)[;]"
 
@rem Названия типов данных в кодировке UTF-8
@set "Owen_Unsigned_16=\xD0\xA6\xD0\xB5\xD0\xBB\xD0\xBE\xD1\x87\xD0\xB8\xD1\x81\xD0\xBB\xD0\xB5\xD0\xBD\xD0\xBD\xD0\xBE\xD0\xB5"
@set Owen_Float_32=\xD0\xA1\x20\xD0\xBF\xD0\xBB\xD0\xB0\xD0\xB2\xD0\xB0\xD1\x8E\xD1\x89\xD0\xB5\xD0\xB9\x20\xD0\xB7\xD0\xB0\xD0\xBF\xD1\x8F\xD1\x82\xD0\xBE\xD0\xB9
@set "Weintek_Unsigned_16=16-bit Unsigned"
@set "Weintek_Float_32=32-bit Float"
 
@rem Удалить заголовок (напечатать c 2 по последнюю строку)
@%sed_exe% -n "2,$p" %source%>%tmp_file%
@rem Переставить поля
@%sed_exe% -n -r "s/%field%%field%%field%%field%%field%.*/\1\,%device_name%\,3x\,\3\,\"\5\"\,\2/p" %tmp_file%>%target%
@rem Заменить тип регистра "Целочисленная" на "16-bit Unsigned"
@rem Заменить тип регистра "С плавающей запятой" на "32-bit Float"
@%sed_exe% -r "s/%Owen_Unsigned_16%$/%Weintek_Unsigned_16%/" %target%>%tmp_file%
@%sed_exe% -r "s/%Owen_Float_32%$/%Weintek_Float_32%/" %tmp_file%>%target%
 
@del %tmp_file%

Хотелось бы в переменную device_name записывать названия в том числе и на кириллице. Но проблема в том, что в итоговый файл попадёт неразборчивая абракадабра - ведь cmd в CP1251, а файл в UTF-8.

Пробовал сохранять пакетный файл в UTF-8, но тогда sed не принимал параметром файл в этой кодировке. Пришлось остаться в CP1251...

Меня устраивает итоговый текстовый файл в кодировке Unicode без BOM, т.к. импорт в Weintek имеет некоторые особенности - потребуется дополнительное объединение нескольких файлов при помощи copy.
Но на будущее, хотел бы узнать, как оставить BOM при обработке файла.

volodin661 · 22.05.2024, 15:20

Сообщение от ФедосеевПавел

С помощью sed и cmd (в Windows) решаю задачу формирования файла .cvs на основе другого .cvs в кодировке UTF-8.

powershell заменяет и sed, и cmd, и проблемы UTF-8, предоставляя решение в 1(одну) короткую строку.

Добавлено через 12 минут
любопытно, а почему данная задача появилась в разделе Текстовые редакторы ?

Впрочем, задачу можно решить с помощью текстового редактора.

Не менее успешно ( пожалуй, даже более успешно ) можно решить с помощью sqlite3.exe

Итак, на выбор:

powershell - 1 строка
nvim - 2(?) строки ( не факт, что две )
sqlite - 3 строки
perl - 1 строка

решение с sqlite - самое предпочтительное нмв

Добавлено через 1 час 58 минут
PR205.CSV

Ruby

Имя переменной;Тип переменной;Адрес регистра;Значение по умолчанию;Комментарий;Имя параметра;Минимальное значение;Максимальное значение;Видимость;Путь к параметру;Формат отображения данных;Редактирование по сети;Архивировать значение
n_Var1;Целочисленное;16384;50;Первая целочисленная переменная;Целочисленная переменная №1;0;99;Видим;Целые;Десятичный (Dec);Разрешено;Нет
n_Var2;Целочисленное;16385;150;Вторая целочисленная переменная;Целочисленная переменная №2;100;199;Видим;Целые;Десятичный (Dec);Разрешено;Нет
r_Var3;С плавающей запятой;16386;250;Первая вещественная переменная;Вещественная переменная №1;200;299;Видим;Вещественные;Десятичный (Dec);Разрешено;Нет
r_Var4;С плавающей запятой;16388;350;Вторая вещественная переменная;Вещественная переменная №2;300;399;Видим;Вещественные;Десятичный (Dec);Разрешено;Нет

PR205.SQL

T-SQL

-- задание разделителя полей при импорте CSV-файла
.separator ';'
 
-- импорт из файла PR205.CSV в таблицу  PR205
.import -v PR205.CSV PR205
 
-- создание таблицы-словаря для подмены значений
create table DICT(name,alias);
 
-- заполнение словаря соотв. значениями
insert into DICT values('Первая целочисленная переменная','int16');
insert into DICT values('Вторая целочисленная переменная','int32');
insert into DICT values('Первая вещественная переменная','float');
insert into DICT values('Вторая вещественная переменная','double');
 
-- вывод результата
select "Имя переменной",'Owen_PR205',"Адрес регистра",DICT.alias from PR205,DICT where PR205.Комментарий=DICT.name;

Выполнение:

Windows Batch file

1	sqlite3 < PR205.SQL

Output:

Ruby

n_Var1;Owen_PR205;16384;int16
n_Var2;Owen_PR205;16385;int32
r_Var3;Owen_PR205;16386;float
r_Var4;Owen_PR205;16388;double

ФедосеевПавел · 23.05.2024, 00:06 **[ТС]**

Спасибо.

Всегда есть дефицит времени на изучение нового.

Вероятно, для следующей задачи рассмотрю вариант с PowerShell.

Добавлено через 18 минут
А как в одну строку на PS?

Ведь даже для удобства восприятия потребовалось 3 вызова sed (регулярок) и некоторое количество конфигурационных строк - названия файлов, названия типов переменных.

Ведь если удастся решить на PS, то дополню программу действиями по слиянию результата с другим текстовым UTF-8 файлом с BOM.
Это связано с тем, что панель имеет системные переменные, которые хочу сохранить экспортом, а потом объединять с тегами из контроллера.

Таким образом, смогу одним вызовом получать результирующий файл. И вызывать многократно, по мере изменения количества и именования тегов.

volodin661 · 23.05.2024, 02:26

в одну строчку да, можно, но некрасиво / неудобно править

powershell :

proc.ps1 ( кодировка должна быть UTF-8 BOM )

PowerShell

$dict = @{
    "Первая целочисленная переменная" = "int16"
    "Вторая целочисленная переменная" = "int32"
    "Первая вещественная переменная"  = "float"
    "Вторая вещественная переменная"  = "double"
}
 
foreach ( $o in import-Csv PR205.csv -Delimiter ';' -Encoding utf8NoBOM ) {
 
  "$( $o.'Имя переменной' );Owen_PR205;$( $o.'Адрес регистра');$( $dict[$o.Комментарий])"
}

Исполнение cmd-сессия:

Windows Batch file

1	powershell -F proc.ps1

Исполнение powershell-сессия

PowerShell

1	./proc.ps1

================================================================================ ======
Perl

proc.pl (кодировка должна быть UTF-8 )

Perl

use utf8;
 
$dict = {
    "Первая целочисленная переменная" => "int16",
    "Вторая целочисленная переменная" => "int32",
    "Первая вещественная переменная"  => "float",
    "Вторая вещественная переменная"  => "double",
};
 
open CSV, "<", "pr205.csv" or die $!;
binmode CSV, 'utf8';
binmode STDOUT, 'utf8';
 
while ( readline CSV ) {
 
    next if $. == 1;                    # skip first line ( csv header )
 
    (${"Имя переменной"}, undef, ${"Адрес регистра"}, undef, ${Комментарий}) = split ";" ;
 
    printf "%s;%s;%s;%s\n", ${"Имя переменной"}, ${"Адрес регистра"},'OWEN_PR205', $dict->{${Комментарий}};
}

Исполнение cmd или powershell сессия

PowerShell

1	perl proc.pl

================================================================================ =======

Python

proc.py

Python

import csv
sys.stdout.reconfigure(encoding='utf-8')
dic = {
    "Первая целочисленная переменная" : "int16",
    "Вторая целочисленная переменная" : "int32",
    "Первая вещественная переменная"  : "float",
    "Вторая вещественная переменная"  : "double"
    }
with open('pr205.csv', mode='r', encoding='utf-8') as csv_file:
    csv_reader = csv.DictReader(csv_file, delimiter=';')
    for line in csv_reader:
        print(f'{line["Имя переменной"]};{line["Адрес регистра"]};OWEN_PR205;{dic[line["Комментарий"]]}')

Исполнение:

PowerShell

1	python proc.py

для python utf-8 не тестировал, у меня Windows-а нет.
за perl и powershell ручаюсь, если перенаправлять в > файл

ФедосеевПавел · 23.05.2024, 07:32 **[ТС]**

Здорово!!!!

Вечером вернусь с работы - попробую.
Внешне выглядит не огромной скатертью, нужно выучить синтаксис и короткими скриптами преобразовывать.

volodin661 · 23.05.2024, 13:36

PR205__Weintek ( кодировка UTF-8 )

Код

Первая целочисленная переменная=16-bit Unsigned
Вторая целочисленная переменная=16-bit Unsigned
Первая вещественная переменная=32-bit Float
Вторая вещественная переменная=32-bit Float

proc.ps1 ( кодировка UTF-8 с BOM для powershell.exe или любой UTF-8 для pwsh.exe )^*

PowerShell

param( $in, $out, $table )
$dict  = convertfrom-stringdata     (get-content $table -raw -encoding utf8)
$csv   = convertfrom-csv -delim ';' (get-content $in         -encoding utf8)
$csv.foreach({ $_.'Имя переменной' , 'Owen_PR205' , $_.'Адрес регистра' , $dict[$_.Комментарий] -join ';'}) | out-file $out -encoding utf8
write-host Result in file $out

Исполнение:

PowerShell

1	.\proc.ps1 -in pr205.csv -out weintek.csv -table PR205__Weintek

^* версия pwsh.exe кроссплатформенная, работает на Linux, MacOS, Windows
powershell.exe for Windows должен быть обновлен до версии 5.1. это касется Windows 7 и 8.
В версиях 10,11 и так всё хорошо.

[sed] Из пакетного файла в CP1251 при помощи sed вставить в итоговый файл подстроку в UTF-8

Решение

Решение

ФедосеевПавел Модератор 8542 / 4394 / 1651 Регистрация: 01.02.2015 Сообщений: 13,653 Записей в блоге: 9
	23.05.2024, 00:06 [ТС]	3
	Спасибо. Всегда есть дефицит времени на изучение нового. Вероятно, для следующей задачи рассмотрю вариант с PowerShell. Добавлено через 18 минут А как в одну строку на PS? Ведь даже для удобства восприятия потребовалось 3 вызова sed (регулярок) и некоторое количество конфигурационных строк - названия файлов, названия типов переменных. Ведь если удастся решить на PS, то дополню программу действиями по слиянию результата с другим текстовым UTF-8 файлом с BOM. Это связано с тем, что панель имеет системные переменные, которые хочу сохранить экспортом, а потом объединять с тегами из контроллера. Таким образом, смогу одним вызовом получать результирующий файл. И вызывать многократно, по мере изменения количества и именования тегов. 0

ФедосеевПавел Модератор 8542 / 4394 / 1651 Регистрация: 01.02.2015 Сообщений: 13,653 Записей в блоге: 9
	23.05.2024, 07:32 [ТС]	5
	Здорово!!!! Вечером вернусь с работы - попробую. Внешне выглядит не огромной скатертью, нужно выучить синтаксис и короткими скриптами преобразовывать. 0