·天新网首页·加入收藏·设为首页·网站导航
数码笔记本手机摄像机相机MP3MP4GPS
硬件台式机网络服务器主板CPU硬盘显卡
办公投影打印传真
家电电视影院空调
游戏网游单机动漫
汽车新车购车试驾
下载驱动源码
学院开发设计
考试公务员高考考研
业界互联网通信探索
您现在的位置:天新网 > 软件开发 > 游戏开发
UTF-8到Unicode的编码转换
http://www.21tx.com 2007年05月18日 happykevins

UTF-8就是Unicode Transformation Format-8,是Unicode的一种变换编码格式。

 

 

UTF-8 有以下特性:

 

UCS 字符 U+0000 U+007F (ASCII) 被编码为字节 0x00 0x7F (ASCII 兼容). 这意味着只包含 7 ASCII 字符的文件在 ASCII UTF-8 两种编码方式下是一样的.

 

所有 >U+007F UCS 字符被编码为一个多个字节的串, 每个字节都有标记位集. 因此, ASCII 字节 (0x00-0x7F) 不可能作为任何其他字符的一部分.

 

表示非 ASCII 字符的多字节串的第一个字节总是在 0xC0 0xFD 的范围里, 并指出这个字符包含多少个字节. 多字节串的其余字节都在 0x80 0xBF 范围里. 这使得重新同步非常容易, 并使编码无国界, 且很少受丢失字节的影响.

 

可以编入所有可能的 231 UCS 代码

 

UTF-8 编码字符理论上可以最多到 6 个字节长, 然而 16 BMP 字符最多只用到 3 字节长.

 

Bigendian UCS-4 字节串的排列顺序是预定的.

 

字节 0xFE 0xFF UTF-8 编码中从未用到.

 

下列字节串用来表示一个字符. 用到哪个串取决于该字符在 Unicode 中的序号.

 

U-00000000 - U-0000007F:

 

 

0xxxxxxx

 

 

U-00000080 - U-000007FF:

 

 

110xxxxx 10xxxxxx

 

 

U-00000800 - U-0000FFFF:

 

 

1110xxxx 10xxxxxx 10xxxxxx

 

 

U-00010000 - U-001FFFFF:

 

 

11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

 

U-00200000 - U-03FFFFFF:

 

 

111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

 

 

U-04000000 - U-7FFFFFFF:

 

 

1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

 

 

从上表还可以看出,UTF-8每个编码字符都不可能以“10”开头,“10”是以连接符的形式出现在后面的编码字节开头。因此UTF-8编码在存储和传输时是不容易出错的。

 

下面是UTF-8Unicode的编码转换代码(J2ME环境下的实现)UTFC2UniC方法包含了编码转换逻辑。

 

/**

 

     * UTF-8字节数据转化为Unicode字符串

 

     * @param utf_data byte[] - UTF-8编码字节数组

 

     * @param len int - 字节数组长度

 

     * @return String - 变换后的Unicode编码字符串

 

     */

 

    public static String UTF2Uni(byte[] utf_data, int len)

    {

        StringBuffer unis = new StringBuffer();

        char unic = 0;

        int ptr = 0;

        int cntBits = 0;

        for(;ptr < len;)

        {

            cntBits = getCntBits(utf_data[ptr]);

            if(cntBits == -1)

            {

                ++ptr;

                continue;

            }

            else

            if(cntBits == 0)

            {

                unic = UTFC2UniC(utf_data, ptr, cntBits);

                ++ptr;

            }

            else

            {

                unic = UTFC2UniC(utf_data, ptr, cntBits);

                ptr += cntBits;

            }

 

            unis.append(unic);

        }

 

        return unis.toString();

    }

 

    /**

 

     * 将指定的UTF-8字节组合成一个Unicode编码字符

 

     * @param utf byte[] - UTF-8字节数组

 

     * @param sptr int - 编码字节起始位置

 

     * @param cntBits int - 编码字节数

 

     * @return char - 变换后的Unicode字符

 

     */

 

    public static char UTFC2UniC(byte[] utf, int sptr, int cntBits)

    {

       /*

 

         Unicode <-> UTF-8

 

         U-00000000 - U-0000007F:  0xxxxxxx

 

         U-00000080 - U-000007FF:  110xxxxx 10xxxxxx

 

         U-00000800 - U-0000FFFF:  1110xxxx 10xxxxxx 10xxxxxx

 

         U-00010000 - U-001FFFFF:  11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

 

         U-00200000 - U-03FFFFFF:  111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

 

         U-04000000 - U-7FFFFFFF:  1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

 

      */

 

        int uniC = 0;                         //  represent the unicode char

        byte firstByte = utf[sptr];

        int ptr = 0;                          //  pointer 0 ~ 15

 

        // resolve single byte UTF-8 encoding char

 

        if(cntBits == 0)

            return (char) firstByte;

 

        // resolve the first byte

 

        firstByte &= (1 << (7 - cntBits)) - 1;

 

        // resolve multiple bytes UTF-8 encoding char(except the first byte)

 

        for(int i = sptr + cntBits - 1; i > sptr; --i)

        {

            byte utfb = utf[i];

            uniC |= (utfb & 0x3f) << ptr;

            ptr += 6;

        }

        uniC |= firstByte << ptr;

 

        return (char)uniC;

    }

 

    // 根据给定字节计算UTF-8编码的一个字符所占字节数

 

    // UTF-8规则定义,字节标记只能为02~6

 

    private static int getCntBits(byte b)

    {

        int cnt = 0;

        if (b == 0) return -1;

        for(int i = 7; i >= 0; --i)

        {

            if (((b >> i) & 0x1) == 1)

                ++cnt;

            else

                break;

        }

        return (cnt > 6 || cnt == 1) ? -1 : cnt;

    }

 

 

参考资料:

UTF-8 and Unicode FAQ》—— http://www.linuxforum.net/books/UTF-8-Unicode.html

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

上一篇: Nebula2探秘07-使用Tcl脚本服务II
下一篇: Nebula2探秘04-Time Server研究

关于我们 | 联系我们 | 加入我们 | 广告服务 | 投诉意见 | 网站导航
Copyright © 2000-2011 21tx.com, All Rights Reserved.
晨新科技 版权所有 Created by TXSite.net