awk/gawk1,内置变量FILENAME:输入文件名称FNR：当前数据文件中的数据行数NF：数据文件中的字段总数NR：已处理的输入数据行数目FS：输入数据段分隔符RS：输入数据行分隔符OFS：输出数据段分隔符ORS：输出数据行分隔符$0一行数据，$1——$n各个字段的数据。1）可以根据模式进行匹...
分类：
其他好文 时间：
2014-05-26 15:38:46
阅读次数：
254
http://www.cnblogs.com/dongyangbolg/p/3448988.html(流程)；http://www.cnblogs.com/zyf2013/p/3440241.html（每步解释）；hibernate来进行数据库的操作，表必须有主键
分类：
系统相关 时间：
2014-05-26 07:37:10
阅读次数：
197
Insert title here定向数据爬虫和搜索引擎(Directional
Spider)设计(一) ——
元素分析前言页面定向数据抓取目的就是尽可能的抓取在互联网中获取到你感兴趣的数据。因为是定向抓取，同时需要保证对抓取的数据进行数据加工处理，做到对应的数据规范，方便后期检索。
简单的说这个...
分类：
其他好文 时间：
2014-05-26 07:28:45
阅读次数：
225
BI的核心价值是辅助决策，从一个洁净的数据源中自动提取有价值的数据进行分析，从而成为重要商业决定的决策基础。但在国内，洁净的数据源不易得到，很多情况下都需要进行数据清洗，所以BI的应用受到很大程度的抑制，把BI当作报表来使用的企业不在少数。这也是早期BI项目在中国不成功的主要原因之一。诚然BI离不开...
分类：
其他好文 时间：
2014-05-26 07:04:39
阅读次数：
214
目前为止介绍的都是数据的重排。另一类重要操作则是过滤、清理以及其他的转换工作。...
分类：
编程语言 时间：
2014-05-26 04:02:14
阅读次数：
570
Python能够成为流行的数据处理语言，部分原因是其简单易用的字符串和文本处理功能。大部分文本运算都直接做成了字符串对象的内置方法。对于更为复杂的模式匹配和文本操作，则可能需要用到正则表达式。pandas对此进行了加强，它使你能够对数组数据应用字符串表达式和正则表达式，而且能处理烦人的缺失数据。...
分类：
编程语言 时间：
2014-05-26 03:42:44
阅读次数：
443
1. 使用安装文件进行数据读取 2. 进入安装界面 3. 选择语言并进行安装（可以先试用） 4.
选择继续（可以勾选两个选项，意思是安装时候下载更新和安装一部分软件） 5. 选择自定义或者默认的安装（即如何划分磁盘和分区） 6.
提示将会擦除磁盘并进行安装系统（如果只...
分类：
其他好文 时间：
2014-05-26 00:06:24
阅读次数：
607
在已经成功安装Flume的基础上，本文将总结使用Flume进行数据的实时收集处理，具体步骤如下：
第一步，在$FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，具体内容如下：
#agent1表示代理名称
agent1.sources=source1
agent1.sinks=sink1
agent1.channels=channel1...
分类：
其他好文 时间：
2014-05-25 00:49:58
阅读次数：
383
缘由
最近在折腾一个小东西需要抓取网上的页面，然后进行解析，将结果放到数据库中。了解到Python在这方面有优势，便选用之。因为我有台服务器上面安装有mysql，自然使用之。在进行数据库的这个操作过程中遇到了不少问题，这里记录一下，大家共勉。
python中mysql的调用
百度之后可以通过MySQLdb进行数据库操作，查看文档,了解到python中提供了一个mysql时直接实现...
分类：
数据库 时间：
2014-05-25 00:44:49
阅读次数：
372
SGA(SYSTEM Global Area )系统全局区
l 数据高速缓存
在Oracle进行数据处理的过程中，代价最昂贵的就是物理 I/O操作了。同样的数据从内存中得到要比从磁盘上读取快的多。因此，优化Oracle的一个重要的目标就是尽可能的降低物理
I/O操作。
Oracle的 Buffer Cache用于缓存从磁盘中读取的数据，当 Oracle需要查找某些信息的时候，首先会在
...
分类：
数据库 时间：
2014-05-25 00:29:26
阅读次数：
479
