在过去，每个应用都是单个程序，跑在单一CPU的单一服务器上。现在不一样了。在大数据和云计算的世界里，应用都是由许多独立的程序运行在一组不断变化的机器上。 协调这些独立程序的行为比起单一程序来困难的多。这样很容易导致开发人员陷入协调的逻辑而没有时间来实现正确的应用逻辑，或者反过来，花很少的时...
分类：
其他好文 时间：
2014-07-16 21:20:54
阅读次数：
149
记得还没毕业的时候，那时候我还不知道网优是什么，我的目标是做一名改变世界的程序猿，虽然我现在的目标也没有变，但是人毕竟不能两次踏入同一条河流，所以，过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架，回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类：
其他好文 时间：
2014-07-16 21:00:34
阅读次数：
279
由于本人是个足球迷，前段日子Google利用自己云平台预测世界杯八进四的比赛并取得了75%的正确率的事情让我振动不小。虽然这些年一直听说大数据的预测和看趋势能力如何如何强大，但这次的感受更加震撼，因为世界杯是很多人都在关注并尝试去预测的比赛，Google云平台在这个时候站出来预测比赛无疑很让人充满期...
分类：
其他好文 时间：
2014-07-12 00:14:33
阅读次数：
233
wcf webHttpBinding Post 大数据量提交 ios c＃客户端一直在为安卓和苹果写服务，刚开始的时候全用的Get请求用url传所有的参数，由于url长度的限制大的数据量无法传到服务器，提交图片什么的就更不用说了，后来用的POST请求，记录一下，做了一个很简单的小例子：c#源代码提供...
分类：
Web程序 时间：
2014-07-11 19:20:06
阅读次数：
312
将几百万条数据导入到数据库中，怎么样高效率的导入？下面我就介绍一个高效率的方法：1、将数据库文件(DB.csv)导入到DataTable中：/// /// 将CSV文件的数据读取到DataTable中 /// /// CSV文件路径 ///...
分类：
数据库 时间：
2014-07-11 10:33:04
阅读次数：
252
通常，一个类对应一个伴生对象，其方法就跟Java中的静态方法一样，举例：BigInt类的BigInt伴生对象有一个生成指定位数的随机素数的方法probablePrime，在REPL中运行下列代码：
object HelloWorld{
def main(args:Array[String]){
for( i
println(BigInt.probab...
分类：
其他好文 时间：
2014-07-11 00:58:23
阅读次数：
286
在Mysql数据库中，Mysql Merge表有点类似于视图。下面就让我们来一起了解一下Mysql Merge表都有哪些优点，希望对您能有所帮助。
Mysql Merge表的优点：
A： 分离静态的和动态的数据
B：利用结构接近的的数据来优化查询
C: 查询时可以访问更少的数据
D：更容易维护大数据集
E: 可以通过修改.mrg文件来修改Merge表，当然也可以用alter进行修改...
分类：
数据库 时间：
2014-07-10 23:53:04
阅读次数：
313
概述
最近工作上忙死了……广播变量这一块其实早就看过了，一直没有贴出来。
本文基于Spark 1.0源码分析，主要探讨广播变量的初始化、创建、读取以及清除。
类关系
BroadcastManager类中包含一个BroadcastFactory对象的引用。大部分操作通过调用BroadcastFactory中的方法来实现。
BroadcastFactory是一个Trait，有两个直接子...
分类：
其他好文 时间：
2014-07-10 19:43:49
阅读次数：
298
1.使用命令行操作1）4个通用命令行<1>archive归档文件的创建用途：由于hadoop的设计是为了处理大数据，理想的数据应该blocksize的倍数。namenode在启动时会将所有的元数据load到内存中当大量小于blocksize的文件存在的时候，，不仅占用了大量的存储空间，也占用了大量的n..
分类：
其他好文 时间：
2014-07-10 18:56:21
阅读次数：
353
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
