字符、字节和编码

标签：style   blog   http   io   color   ar   os   使用   java   

　　摘要:介绍了字符与编码的发展过程，相关概念。举例Java实际应用中，编码的实现方法。最后，讲述了通常对字符与编码的几种误解，由于这些误解而导致乱码产生的原因，以及消除乱码的方法。

1.编码问题的由来及相关概念

1.1字符与编码的发展

　　从计算机对多国语言的支持角度看，大致可以分为三个阶段：

字符串在内存中的存放方法：

在ASCII阶段，单字节字符串使用一个字节(SBCS)存放一个字符。比如‘Tom1988’在内存中为：

 在使用ANSI编码支持多种语言阶段，每个字符使用一个字节或多个字节(MBCS)来表示,因此，这种方式存放的字符也被称作为多字节字符。比如，"中文123"在中文Window 95内存中为7个字节，每个汉字占2个字节，每个英文和数字字符占1个字节：

 在UNICODE被采用之后，计算机存放字符串时，改为存放每个字符在UNICODE字符集中的序号。目前计算机一般使用2个字节(DBCS,16位)存放一个序号,因此，这种方式存放的字符也被称作宽带字节符。比如，字符串"中文123"在Windows 2000下，内存中实际存放的是5个序号：一共占10个字节。

1.2字符、字节和字符串

理解编码的关键，是要把字符的概念和字节的概念理解准确。这两个概念容易混淆，我们在此做一下区别：

由于不同ANSI编码所规定的标准是不相同的，因此，对于一个给定的多字节字符串，我们必须知道它采用的是哪一种编码规则，才能够知道它包含了哪些"字符"。而对于UNICODE字符串来说，不管在什么环境下，它所代表的"字符"内容总是不变的。

1.3 字符集与编码

各个国家和地区所制定的不同ANSI编码标准中，都只规定了各自语言所需要的"字符"。比如，汉字标准(GB2312)中没有规定韩国字符怎样存储。这些ANSI编码标准所规定的内容包含两层含义：

• 使用那些字符。也就是说那些汉字、字母和符号会被收入标准中。所包含"字符"的集合就叫做"字符集"
• 规定每个"字符"分别用一个字节还是多个字节存储，用那些字节存储，这个规定就叫做"编码"

各个国家和地区在制定编码标准的时候，"字符的集合"和"编码"一般都是同时制定的。因此，平常我们所说的"字符集"，比如：GB2312、GBK、JIS等，除了有"字符的集合"这层含义外，同时也包含了"编码"的含义。"UNICODE字符集"包含了各种语言中使用到的所有"字符"。用来给UNICODE字符集编码的标准有很多种，比如:UTF-8,UTF-7,UTF-16,UnicodeLittle,UnicodeBig等。

1.4 常用的编程简介

简单介绍一下常用的编码规则，为后边的章节做一个准备。在这里，我们根据编码规则的特点，把所有的编码分成三类：

2.字符与编码在程序中的实现

Java中的char代表一个UNICODE字符(宽字节字符)

字符串类String中的内容是UNICODE字符串

public class Test {

    public static void main(String[] args) {
        //Java代码直接写中文
        String string="中文123";
        //得到长度为5，因为是5个字符
        System.out.println(string.length());
    }
}

字符串I/O操作，字符与字节转换操作。在Java包java.io.*中，以"Stream"结尾的类一般是用来操作"字节串"的类。以"Reader","Writer"结尾的类一般是用来操作"字符串"的类。

public class Test {

    public static void main(String[] args) throws IOException {
        //Java代码直接写中文
        String string="中文123";
        //得到长度为5，因为是5个字符
        System.out.println(string.length());
        byte[] bytes = null;
        
        try {
            //按照GB2312得到字节(得到多字节字符串)
            bytes=string.getBytes("GB2312");
            //从字节按照GB2312得到UNICODE字符串
            string=new String(bytes,"GB2312");
        } catch (UnsupportedEncodingException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        
        //要将String按照某种编码写入文本文件，有两种方法；
        //第一种方法:用stream类写入已经按照指定编码转化好的字符串
        try {
            OutputStream os=new FileOutputStream("D:\\1.txt");
            os.write(bytes);
            os.close();
            
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
        //第二种办法，构造指定编码的Writer来写入字符串
        Writer ow=new OutputStreamWriter(new FileOutputStream("D:\\2.txt"), "GB2312");
        ow.write(string);
        ow.close();
    }
}

3.几种误解，以及乱码产生的原因和解决方法

3.1 容易产生的误解

第一种：误解，往往导致乱码产生的原因。第二种误解，往往导致本来容易纠正的乱码问题变得更复杂。在这里，我们可以看到，其中所讲的"误解1"，即采用没"一个字节"就是"一个字符"的转化方法，实际上也就等同于采用ISO-8859-1进行转化。因此，我们常常使用bytes=string.getBytes("ISO-8859-1")来进行逆向操作，得到原始的"字符串"。然后再使用正确的ANSI编码，比如string=new String(bytes,"GB2312"),来得到正确的"UNICODE字符串"。

3.2 非UNICODE程序在不同语言环境间移植的乱码

　　非UNICODE程序中的字符串，都是以某种ANSI编码形式存在的。如果程序运行时的语言环境与开发的语言环境不同，将会导致ANSI字符串的显示失败。比如，在日文环境下开发的非UNICODE的日文程序界面，拿到中文环境下运行时，界面上将显示乱码。如果这个日文程序界面改为采用UNICODE来记录字符串，那么当在中文环境下运行时，界面上将可以显示正常的日文。

3.3 几种错误理解的纠正

误解："ISO-8859-1"是国际编码？

错误，ISO-8859-1只是单字节字符集中最简单的一种，也就是"字节编号"与"UNICODE字符编号"一致的那种编码规则。当我们要把一个"字节串"转化"字符串"，而不知道它是那一种ANSI编码时，先暂时地把"每一个字节"作为"一个字符"进行转化，不会造成信息丢失。然后在使用bytes=string.getBytes("ISO-8859-1")的方法可以恢复到原始的字符串。

误解：Java中，怎样知道某个字符串的内码？

Java中吧，字符串类java.lang.String处理的是UNICODE字符串，不是ANSI字符串。我们只需要把字符串作为"抽象的符号的串"。因此不存在字符串的内码的问题。

参考文章：

　http://www.cnblogs.com/fanrsh/archive/2007/05/26/761181.html

字符、字节和编码

标签：style   blog   http   io   color   ar   os   使用   java   

原文地址：http://www.cnblogs.com/chuji1988/p/4071924.html