python 中文编码(一)

时间：2014-10-09 01:42:58 阅读：266 评论：0 收藏：0 [点我收藏+]

我在学python的过程中，遇到的第二个问题，就是中文乱码，如今也算勉强入门了，在这里给大家说说我的经验，也算个新人引导吧。

在文章里，我会重点提到一个概念：有来有去。

即数据从哪里来，到哪里去？

====================================================

1、windows下cmd终端中的中文

C:\Documents and Settings\admin>python
Python 2.7.7 (default, Jun 1 2014, 14:17:13) [MSC v.1500 32 bit (Intel)] on win
32
Type "help", "copyright", "credits" or "license" for more information.
>>> s = ‘我是中文‘
>>> ss = u‘我真的是中文‘
>>> s
‘\xce\xd2\xca\xc7\xd6\xd0\xce\xc4‘
>>> ss
u‘\u6211\u771f\u7684\u662f\u4e2d\u6587‘
>>> print s
我是中文
>>> print ss
我真的是中文
>>>

这样看来，输入和输出都不会出现乱码的，即使我们的字符串加了u。

1）输入从哪里来？

终端

2）输入是什么编码？

一个不知道，一个是unicode

3）输出是什么编码？

不知道

2.、windows下cmd中执行py文件

我们先来看看代码 test.py

#coding:utf-8
 
s = ‘abc我是中文字符串‘
 
ss = u‘我也是中文字符串‘
 
print s
 
print repr(s)
 
print ss
 
print repr(ss)

文件是以utf8 withour BOM形式存在的(后面我们再来讨论文件编码)。

我们在cmd终端中执行看看

D:\code>python test.py
abc鎴戞槸涓枃瀛楃涓
‘abc\xe6\x88\x91\xe6\x98\xaf\xe4\xb8\xad\xe6\x96\x87\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2‘
我也是中文字符串
u‘\u6211\u4e5f\u662f\u4e2d\u6587\u5b57\u7b26\u4e32‘
 
D:\code>

天啊，怎么会有乱码，怎么能有乱码！！我快疯了。

stop，先别疯，我们来一步一步分析：

1）输入从哪里来？

废话，从文件里来

2）输入是什么编码？

这个，好像一个是utf8，一个是unicode

3）输出是什么编码？

不知道哎，不是utf8么？

是不是看出一点点问题了？

utf8 ------> 输出编码 ---------> 出现乱码

unicode ------> 输出编码 ---------> 不出现乱码

那么那么，在文字输出之前，我们先转换为unicode，再输出，是不是就不会有乱码了呢？我们来试一试

#coding:utf-8
 
s = ‘abc我是中文字符串‘
 
ss = u‘我也是中文字符串‘
 
print s
 
print repr(s)
 
# 其它字符串解码成unicode
uu = s.decode(‘utf-8‘)
 
print uu
 
print repr(uu)
 
print ss
 
print repr(ss)

看看执行结果

D:\code>python test.py
abc鎴戞槸涓枃瀛楃涓
‘abc\xe6\x88\x91\xe6\x98\xaf\xe4\xb8\xad\xe6\x96\x87\xe5\xad\x97\xe7\xac\xa6\xe4\xb8\xb2‘
abc我是中文字符串
u‘abc\u6211\u662f\u4e2d\u6587\u5b57\u7b26\u4e32‘
我也是中文字符串
u‘\u6211\u4e5f\u662f\u4e2d\u6587\u5b57\u7b26\u4e32‘
 
D:\code>

果然没有乱码了。

看样子终于是解决了一点问题，但是，远远不够，因为我们还可能遇到其它的问题。

3、windows下cmd中与用户交互

为了应对各种环境，我们的代码会遭遇各种问题？

比如写好的代码可能会在cmd中执行，可能在idle中执行，也可能在linux下执行，我们要尽可能的控制程序按照我们的意愿来工作，第一个就是不出现乱码。

假如我们现在有一个代码文件，需要用户的输入，我们在cmd中执行，我们需要明确的知道一点，我们输入的编码是什么？

只有知道输入的编码是什么？才能进行解码成unicode，才能不出现乱码。

那么，在cmd中，输入的编码是什么？

在这之前，我们先来学习下decode和encode

1）decode 解码，在已知字符串编码的情况下，转码为unicode ，比如 s.decode(‘utf-8‘)，结果为unicode

2）encode 编码，在已有unicode的情况下，转码为其它编码，比如 u.encode(‘utf-8‘)，结果为utf-8

我只要说一点，你就懂了

sys.stdin.encoding

当然了，与之对应的是

sys.stdout.encoding

还是看看代码吧：

#coding:utf-8
 
import sys
 
s = raw_input()
 
print s
print repr(s)
 
u = s.decode(sys.stdin.encoding)
 
print u
print repr(u)
 
o = u.encode(sys.stdout.encoding)
 
print o
print repr(o)

cmd中运行

D:\code>python test.py
我是中文
我是中文
‘\xce\xd2\xca\xc7\xd6\xd0\xce\xc4‘
我是中文
u‘\u6211\u662f\u4e2d\u6587‘
我是中文
‘\xce\xd2\xca\xc7\xd6\xd0\xce\xc4‘
 
D:\code>

idle中运行

Python 2.7.7 (default, Jun  1 2014, 14:17:13) [MSC v.1500 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> ================================ RESTART ================================
>>>
我是中文
我是中文
‘\xce\xd2\xca\xc7\xd6\xd0\xce\xc4‘
我是中文
u‘\u6211\u662f\u4e2d\u6587‘
我是中文
‘\xce\xd2\xca\xc7\xd6\xd0\xce\xc4‘
>>>

linux中运行

root@kali:~/Desktop# python test.py 
我是中文
我是中文
‘\xe6\x88\x91\xe6\x98\xaf\xe4\xb8\xad\xe6\x96\x87‘
我是中文
u‘\u6211\u662f\u4e2d\u6587‘
我是中文
‘\xe6\x88\x91\xe6\x98\xaf\xe4\xb8\xad\xe6\x96\x87‘

总结：

如果你知道你从哪里来，要到哪里去，你一定会到达那个地方。

python 中文编码(一)

标签：des style io os ar for 文件数据 sp

原文地址：http://www.cnblogs.com/tk091/p/4012004.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行