nltk同时也能处理中文的场景，只要做如下改动： 使用中文分词器(如我选用了结巴分词) 对中文字符做编码处理，使用unicode编码方式 python的源码编码统一声明为 gbk 使用支持中文的语料库 to be continue......
分类：
其他好文 时间：
2014-09-17 10:30:22
阅读次数：
275
github.com/hydra13142/chardet 以上就是地址。支持中文编码（hz-gb2312、big5、gbk、gb18030）、韩文编码（euc-kr）、日文编码（shift-jis、euc-jp、iso-2022-jp）和unicode编码（UTF-8、UTF-16BE、UTF-1...
分类：
编程语言 时间：
2014-09-17 02:28:01
阅读次数：
385
privatevoidreadFromFile()throwsIOException{
InputStreamis=this.getAssets().open("wyw.txt");
InputStreamReaderisr=newInputStreamReader(is,"GBK");
BufferedReaderbr=newBufferedReader(isr);
Stringstr=br.readLine();
while((str=br.readLine())!=null){
Log.v("resul..
分类：
其他好文 时间：
2014-09-16 19:09:01
阅读次数：
162
StreamWriter sr = new StreamWriter( filePath //filePath是创建的文件的完整路径 , false //如果文件存在是否向文件末尾追加内容（如果文件不存在则创建） , Encoding.Default //以当前的ANSI代码页进行编码 );
分类：
其他好文 时间：
2014-09-16 15:47:10
阅读次数：
129
编程里面的字符集：编码规则不一致，占用大小也不一致==========================================字符集就是不同的字符编码规则比如：utf-8:GBK等。java里面:New String(字节,"编码格式")Oralce:NLS_设置环境变量（实例级设置）Ser...
分类：
其他好文 时间：
2014-09-15 22:35:09
阅读次数：
232
项目简介：本项目是一个查询火车车次信息和飞机航班信息的应用源码，可以查询一个城市到另外一个城市的车次和班次的信息，并且可以加入收藏以供日后使用，火车车次信息和飞机航班信息数据都是由webservice.webxml.com.cn提供，查询出以后可以把车次信息或者航班信息添加到收藏列表，本项目默认编译版本4.4.2编码GBK有大量中文注释，可以很好的学习和借鉴ListView、SQLite、XmlP...
分类：
移动开发 时间：
2014-09-15 16:03:19
阅读次数：
212
db2数据迁移
版本：v8.1
任务：从生产拿数据到测试环境
处理过程中遇到的问题：
1、字符集问题。源数据库代码页为gbk，目标数据库代码页为uft-8
处理方法：导出或者导入时做格式转换
注意：由于在gbk库里面，一个汉字占两个字节，而uft-8里面，一个汉字站三个字节 ，导导入目标库时，存在字段超过长度的告警错误
导出：
db2 "export to xxx.ixf ...
分类：
数据库 时间：
2014-09-14 20:45:57
阅读次数：
263
最近搞u3d开发，把一些文本文件打成包，发布到手机上，发现各种乱码，结果法线是各种编码方式不对，于是好好研究了一下不同平台上的字符编码，然后发现以前一直认为的unicode utf8 gbk asc2这些字符编码自以为很懂，其实完全理解的不对，在这方面也是因为有太多的网上文档在误人子弟，这里好好梳理一下...
分类：
其他好文 时间：
2014-09-12 19:10:37
阅读次数：
232
String d = "汗d"; String e = "喊"; String f = "d"; System.out.println("String length is " + d.length() + ". " + d.getBytes("GBK").length + " byte...
分类：
编程语言 时间：
2014-09-12 18:37:43
阅读次数：
274
很懒，很久之前就写好的。一直没有贴上来。今天发一下，稍后在详细说一下几种编码在内存情况问题： 多系统不同平台间数据交互,系统的编码格式不同，一般情况如Windows的gb2312，svn的utf-8，以及可能的mysql的gbk默认编码。在三者间相互数据交互，需要字符转码。调用python中Stri...
分类：
编程语言 时间：
2014-09-12 16:37:33
阅读次数：
290
