Ошибка кодировки при чтении из файла

@Joey Black · Регистрация: 10.02.2016

Author24 — интернет-сервис помощи студентам

Добрый день, коллеги! Читаю локальный файл при помощи urllib

Python

import urllib
file_address="C:/work/stores/4067.html"
file=urllib.request.urlopen("file:///" + file_address)
soup=BeautifulSoup(file,"lxml")
print(soup.prettify())

При этом весь русский текст превращается в тарабарский. Открываю локальный файл браузером и тоже тарабарский. Если открывать файл блокнотом, то всё нормально. В файле указана кодировка:

HTML5

1	charset=windows-1251

Как добавить кодировку в

Python

1	urllib.request.urlopen()

?

@Ennjin · 30.03.2017, 14:22

измени кодировку файла на utf-8

@Joey Black · 30.03.2017, 14:51 **[ТС]**

Есть очень много файлов и заходить в каждый менят неудобно, можно ли как-то в функции это сделать?

Добавлено через 1 минуту
изменил в одном, всё работает, но всё же не хочется лезть во все файлы

Jabbson · 30.03.2017, 17:05

А почему используете urllib, вместо того, чтобы open() Ваш файл?

@Joey Black · 30.03.2017, 17:53 **[ТС]**

Чтобы запихнуть его в BeautifulSoup, на open() суп ругается

@pashtet-kun · 30.03.2017, 17:58

Python

1	BeautifulSoup(open("lalala.html"))

и какую ошибку выдает?

@Joey Black · 31.03.2017, 11:14 **[ТС]**

Код

UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 774: character maps to <undefined>

@pashtet-kun · 31.03.2017, 11:20

попробуй

Python

1
2
3

import codecs
fileObj = codecs.open( "someFilePath", "r", "cp1251" )
soup = BeautifulSoup(fileObj)

@Joey Black · 31.03.2017, 11:34 **[ТС]**

Python

from bs4 import BeautifulSoup
import codecs
file = codecs.open( file_address, "r", "cp1251" )
soup = BeautifulSoup(file,'lxml')

Код

  File "C:\Anaconda3\lib\encodings\cp1251.py", line 15, in decode
    return codecs.charmap_decode(input,errors,decoding_table)

UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 809: character maps to <undefined>

@pashtet-kun · 31.03.2017, 11:43

значит кодировка файла другая, попробуй utf-8 или файл сюда выложи

@Joey Black · 31.03.2017, 11:47 **[ТС]**

С utf-8 заработало), спасибо!!!

@Joey Black · 06.04.2017, 15:17 **[ТС]**

коллеги, сел за другой комп, запустил и теперь вместо русского языка одни знаки вопроса, что делать?

@Joey Black · 06.04.2017, 15:41 **[ТС]**

Добавлено через 2 минуты
не получается выложить страницу

Добавлено через 18 минут
поменял язык программ не поддерживающих юникод на русский, всё заработало

@Joey Black 27 / 19 / 10 Регистрация: 10.02.2016 Сообщений: 236
	06.04.2017, 15:41 [ТС]	13
	Добавлено через 2 минуты не получается выложить страницу Добавлено через 18 минут поменял язык программ не поддерживающих юникод на русский, всё заработало 0

@Ennjin 103 / 81 / 54 Регистрация: 25.11.2016 Сообщений: 278
	30.03.2017, 14:22	2
	измени кодировку файла на utf-8 1

@Joey Black 27 / 19 / 10 Регистрация: 10.02.2016 Сообщений: 236
	30.03.2017, 14:51 [ТС]	3
	Есть очень много файлов и заходить в каждый менят неудобно, можно ли как-то в функции это сделать? Добавлено через 1 минуту изменил в одном, всё работает, но всё же не хочется лезть во все файлы 0

Jabbson 5901 / 3358 / 1036 Регистрация: 03.11.2009 Сообщений: 10,009
	30.03.2017, 17:05	4
	А почему используете urllib, вместо того, чтобы open() Ваш файл? 1

@Joey Black 27 / 19 / 10 Регистрация: 10.02.2016 Сообщений: 236
	30.03.2017, 17:53 [ТС]	5
	Чтобы запихнуть его в BeautifulSoup, на open() суп ругается 0

@Joey Black 27 / 19 / 10 Регистрация: 10.02.2016 Сообщений: 236
	31.03.2017, 11:14 [ТС]	7
	Код UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 774: character maps to <undefined> 0

@pashtet-kun 135 / 120 / 37 Регистрация: 30.09.2012 Сообщений: 400
	31.03.2017, 11:43	10
	значит кодировка файла другая, попробуй utf-8 или файл сюда выложи 1

@Joey Black 27 / 19 / 10 Регистрация: 10.02.2016 Сообщений: 236
	31.03.2017, 11:47 [ТС]	11
	С utf-8 заработало), спасибо!!! 0

Ошибка кодировки при чтении из файла

Решение