Fixed reading utf-8 from files

[f213]

Оказывается питон по-умолчанию до сих пор открывает файлы в ascii, если в системе не указана локаль. Это приводит к тому, что код падает, когда работает с любыми русскими буквами, если их прочитали с файла на диске.

Задал дефолтную локаль в системе, а заодно прописал переменную окружения PYTHONUTF8 из PEP-540. В моём кейсе она одна почему-то не помогла, но думаю что всё равно лучше оставить это в поставке для будущих поколений.

[nkiryanov]

Оказывается питон по-умолчанию до сих пор открывает файлы в ascii, если в системе не указана локаль

Офигеть, буду знать 😳

[kazqvaizer]

@f213 а как выглядит это в реальности, на каком этапе запуска джанги нужно читать файл с русскими буквами? Очень интересно, т.к. ниразу не сталкивался.

[f213]

У меня есть вот такой код. Он нормально отрабатывает у меня на тачке и в CI, но падает на проде c UnicodeDecodeError: 'ascii' codec can't decode byte 0xd0 in position 0: ordinal not in range(128).

Я сначала думал, что провалился в двухтысячные и уже собрался бежать за долларом по 30, но потом добавил переменные окружения и всё прошло.