From apacheAdvanced Spark Internals and Tuning – Reynold Xin –SLIDES|VIDEOSpark SQL – Michael Armburst –SLIDES|VIDEOSpark Streaming – Tathagata Das –S...
分类:
其他好文 时间:
2014-12-17 12:33:45
阅读次数:
174
三、你为什么需要Spark;你需要Spark的十大理由:1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上:LogisticregressioninHadoopandSpark可以看出在Spark特别擅长的领域其速度比Hado...
分类:
其他好文 时间:
2014-12-17 00:03:54
阅读次数:
214
三、你为什么需要Spark; 你需要Spark的十大理由: 1,Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上: ? Logistic?regression?in?Hadoop?and?Spark 可...
分类:
其他好文 时间:
2014-12-16 22:48:46
阅读次数:
235
response.sendRedirect("test2.jsp");window.location.reload("test2.jsp");location.href("test2.jsp");Javascript刷新页面的几种方法:1 history.go(0)2 window.location...
分类:
Web程序 时间:
2014-12-16 16:57:55
阅读次数:
149
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this....
分类:
其他好文 时间:
2014-12-16 13:10:13
阅读次数:
503
近期读的几篇关于Cassandra 大数据分析的几篇文章,记录下:Big Analytics with R, Cassandra, and Hive中文翻译:http://www.csdn.net/article/2012-05-20/2805705Cassandra联姻Spark 大数据分析将迎来...
分类:
其他好文 时间:
2014-12-15 17:00:04
阅读次数:
192
使用proxy之后,目录名为proxy之后的用户名目录,但是生成的文件属主是当前登陆用户,导致不能正常写入,日志目录的创建在org.apache.hadoop.hive.ql.history.HiveHistoryImpl类中,更改后的构造方法(增加了proxy之后的代码):publicHiveHistoryImpl(SessionStatess){
try{
c..
分类:
其他好文 时间:
2014-12-15 06:40:26
阅读次数:
186
通过一个实验来看Spark 中 map 与 flatMap 的区别。...
分类:
其他好文 时间:
2014-12-14 21:22:16
阅读次数:
282
http://www.chinahadoop.cn/page/developer什么是大数据开发师?围绕大数据系平台系统级的研发人员, 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提...
分类:
其他好文 时间:
2014-12-14 19:54:40
阅读次数:
280
先来看一下一张技术的全景图,其中涉及内存计算的技术标成红色。 1)事务处理:主要分为Cache(Memcached, Redis, GemFire)、RDBMS、NewSQL(以VoltDB为首的)三部分,缓存和NewSQL数据库是关注的重点。2)流式处理:Storm本身只是计算的框架,而Spark-Streaming才实现了内存计算式的流处理。3)分析阶段的对比:Ø 通用处理:MapReduc...
分类:
其他好文 时间:
2014-12-13 15:11:40
阅读次数:
484