Как правильно вывести файл в кодировке UTF-16LE?

@kravam · Регистрация: 04.06.2008

Author24 — интернет-сервис помощи студентам

Друзья! НА самом-то деле я всё правильно делаю. Вот код:

Python    
        
    Скопировано
1
2
3
4
import codecs
f = codecs.open ("foo.txt", 'r', "UTF-16LE")
for line in f:
    print(line)

Вот вывод:

Windows Batch file    
        
    Скопировано
1
2
3
4
5
6
7
 ﻿Раздел
 
Название
 
Последнее
 
Process finished with exit code 0

Видите пробел перед словом "Раздел"? Вот вообще не разговор! Это пробел мне очень мешает при обработке строк файла! Тем более, что этого пробела в оригинале просто напросто нет и файл foo.txt очень даже корректный и правильный файл. Вот его начало: (смотрено в hiew)

FF FE 20 04

То есть видим, что сперва идёт BOM, потом символ 0X420 (русское "Р") и так далее, никакого пробела впереди нет. В общем, как мне правильно без пробела (которого нет в оригинале) вывести этот файл? Понятное дело, что костыль не мастырить. (То есть, например, считываем построчно и потом из первой строки убираем первый символ.) Это не дело. Ведь откуда взялся этот пробел и как сделать, чтобы его никогда не было в подобном коде, я так и не пойму. Спасибо, кто откликнется.

Не раз уже просил навести порядок с пробелами, так и не наведут. В выводе в первой строке перед "Раздел", должен быть пробел, не знаю, как у вас, у меня видны кракозябры (в браузере я имею ввиду)

@Garry Galler · 29.03.2017, 19:58

Сообщение от kravam

НА самом-то деле я всё правильно делаю

На самом деле нет.
Ваш пробел - это и есть BOM.
Чтобы читать файлы в UTF-16 не нужно указывать порядок байтов. Тогда python будет определять наличие в файле маркера BOM (вот тут он сам с порядком байтов и разберется) и пропускать его при выводе. И об этом четко написано у Лутца.

@kravam · 29.03.2017, 20:04 **[ТС]**

Garry Galler, ну вот он мне и разобрался. Вывод без указания порядка байт:

@Garry Galler · 29.03.2017, 20:08

Как правильно вывести файл в кодировке UTF-16LE?

@kravam · 29.03.2017, 20:16 **[ТС]**

Garry Galler, вы не ту функцию вызвали. Я вызываю codec.open, а вы просто open

P.S Написал так:

Python    
        
    Скопировано
1
f = codecs.open ("foo.txt", 'r', "utf16")

Вроде получается пока. Посмотрим, что будет дальше.

@Garry Galler · 29.03.2017, 20:18

Между open и codecs.open в 3.5 нет никакой разницы.

Новые блоги и статьи Все статьи Все блоги /
Как работает Node.js изнутри run.dev 29.03.2025 Node. js изменил подход к разработке веб-приложений, позволив использовать JavaScript не только на стороне клиента, но и на сервере. Созданный в 2009 году Райаном Далем, этот открытый,. . .	Моки в Python: Mock Object Library py-thonny 29.03.2025 Тестирование кода требует особого подхода, когда речь идёт о компонентах, взаимодействующих с внешним миром. Мы часто сталкиваемся с непредсказуемостью HTTP-запросов, чтением данных из базы или. . .	JavaScript: Управление памятью и улучшение производительности run.dev 29.03.2025 В отличие от низкоуровневых языков программирования, JavaScript не требует ручного выделения и освобождения памяти. Здесь работает автоматический сборщик мусора, который определяет, какие объекты. . .	Мультитенантная архитектура со SpringBoot и PostgreSQL ArchitectMsa 29.03.2025 SaaS-приложения редко обслуживают одного клиента и обычно они должны поддерживать множество организаций, каждая из которых работает в своём изолированном пространстве. Мультитенантная архитектура. . .	std::span в C++: Производительность и лучшие практики NullReferenced 28.03.2025 std::span — одно из самых недооценённых нововведений стандарта C++20, которое радикально меняет подход к работе с непрерывными последовательностями данных. По сути, это невладеющее представление. . .
Многопоточность в C#: Threadpool UnmanagedCoder 28.03.2025 Пул потоков в C# — это коллекция заранее созданных и готовых к использованию потоков, которые находятся в распоряжении приложения. Вместо того чтобы создавать и уничтожать потоки для каждой небольшой. . .	Вопросы на собеседованиях по микросервисам ArchitectMsa 27.03.2025 Работодатели ищут не просто разработчиков, знающих базовые концепции, а специалистов, разбирающихся в тонкостях масштабирования, отказоустойчивости и производительности. Сейчас на первый план выходят. . .	Взаимодействие Python с REST API py-thonny 27.03.2025 REST API - это архитектурный стиль взаимодействия компонентов распределённого приложения в сети. Python располагает функциональным набором инструментов для работы с REST API и основная библиотека для. . .	sshd restrictions, ssh access limitations jigi33 26.03.2025 sshd restrictions \| ssh access limitations рестрикции доступа на сервер sshd статья: https:/ / www. golinuxcloud. com/ restrict-allow-ssh-certain-users-groups-rhel	Компиляция C++ с Clang API NullReferenced 24.03.2025 Компиляторы обычно воспринимаются как черные ящики, которые превращают исходный код в исполняемые файлы. Мы запускаем компилятор командой в терминале, и вуаля — получаем бинарник. Но что если нужно. . .

@Garry Galler 5437 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	29.03.2017, 19:58
	Сообщение от kravam НА самом-то деле я всё правильно делаю На самом деле нет. Ваш пробел - это и есть BOM. Чтобы читать файлы в UTF-16 не нужно указывать порядок байтов. Тогда python будет определять наличие в файле маркера BOM (вот тут он сам с порядком байтов и разберется) и пропускать его при выводе. И об этом четко написано у Лутца. 0

@kravam быдлокодер 1724 / 911 / 106 Регистрация: 04.06.2008 Сообщений: 5,692
	29.03.2017, 20:04 [ТС]
	Garry Galler, ну вот он мне и разобрался. Вывод без указания порядка байт: Миниатюры 0

@Garry Galler 5437 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	29.03.2017, 20:08
	1

@Garry Galler 5437 / 3859 / 1215 Регистрация: 28.10.2013 Сообщений: 9,552 Записей в блоге: 1
	29.03.2017, 20:18
	Между open и codecs.open в 3.5 нет никакой разницы. 0