随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏...
分类：
其他好文 时间：
2014-07-10 12:32:08
阅读次数：
237
刚刚因为一个编码问题被大神鄙视了，特地整理一下。 看来自己基础还都带提高。首先说计算机为啥需要编码呢？ 因为计算机只能存储二进制数据，要表示 数字还好说 那表示字母 就会有问题所以需要编码scala中char类型的默认编码是unicode 采用双字节。 ‘1’ 的编码是 49字符，字节和编码[原创....
分类：
其他好文 时间：
2014-07-10 12:07:37
阅读次数：
264
2014年初经过深思熟虑，确定方向数据挖掘，作为今后工作生涯的追随领域。 3月份开始看机器学习的课程，到了4月底，参加阿里巴巴的大数据竞赛，便把课程学习给落下了—— 一大遗憾。 比赛的成绩可想而知，由于知识储备不够，况且还是单干，只能说还行，从七千个队伍到前五百名内，再从三百名到一百多名，然后遇到....
分类：
其他好文 时间：
2014-07-10 00:35:54
阅读次数：
183
主要来自 Scala 语言发明人 Martin Odersky 教授的 Coursera 课程 《Functional Programming Principles in Scala》。2. Higher Order Functions把其他函数作为参数或者作为返回值，就是 higher order...
分类：
其他好文 时间：
2014-07-07 23:27:55
阅读次数：
412
之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套spark repl，这其中的缘由到底何在？...
分类：
其他好文 时间：
2014-07-07 21:40:04
阅读次数：
367
HBase是依赖Hadoop的数据存储系统，可以实现大数据(过亿条记录)的存储，进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz，安装在机器hadoop0的/usr...
分类：
其他好文 时间：
2014-06-28 09:46:59
阅读次数：
266
接着上次的学习，今天学习scala的下面内容咯~~1·使用集（set）和映射（map）学习过java的童鞋们，看见这两个肯定很开心咯，因为很眼熟哦。scala的集合，分为可变类型和不可变类型。array--可变；list保持不变那么set和map呢，他们通过类继承的差别控制可变和不可变~~先看个set..
分类：
其他好文 时间：
2014-06-28 00:41:02
阅读次数：
152
开始学习scala，有一种学习java的感觉。首先，从网站下载scala的包，下载后要安装，安装后把安装目录的bin放到环境变量psth里cmd里，输入scala，如果出现下图，那么恭喜咯，安装成功咯~~1：变量首先我们看下定义变量方法var可以定义变量，可以改变值val定义的变量不可以改变值..
分类：
其他好文 时间：
2014-06-28 00:27:36
阅读次数：
315
学习了scala的基本知识后，发现了scala是集函数式和指令式结合为一体的一种语言，代码更加简洁，但是对于用习惯了java的人来说，还真的不是一件易事~~今天学习scala脚本读取文本文件列子如下：importscala.io.Sourceif(args.length>0){for(line<-Source.fromFile(args(0)..
分类：
其他好文 时间：
2014-06-28 00:09:26
阅读次数：
281
公司的短信平台，数据量越来越大了，需要对数据进行一些优化，下面是拆分后的数据库量参考。新开发的软件模块，必须支持分表，拆表的功能一个数据表里，不适合保存1000万以上的记录新开发的业务模块，能分表的全分表，否则，将来我们无法用其他小型数据库，例如mysql 现在系统的短信已经进行了拆表接着打算把日....
分类：
Web程序 时间：
2014-06-27 23:09:12
阅读次数：
309
