码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume poll    ( 9853个结果
CentOS6.5 Nginx优化编译配置
说到Nginx,它真的算是我在运维工作中的好朋友,它优异的性能和极高的工作效率实在是让人大爱,来自internet的报告称其epoll模型能够支持高达50000个并发连接数。Epoll[维基百科]:epoll是Linux下 多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发...
分类:其他好文   时间:2014-06-09 22:40:31    阅读次数:536
Spark源码系列(一)spark-submit提交作业过程
前言折腾了很久,终于开始学习Spark的源码了,第一篇我打算讲一下Spark作业的提交过程。有不明白Spark的原理的话,有另外一位大牛已经写了一个系列的Spark的源码分析了,大家可以去参考他的,他的过程图画得非常好,他写过的我可能就不写了,实在没办法比人家写得更好。下面给出他的地址: http:...
分类:其他好文   时间:2014-06-09 13:25:12    阅读次数:439
CentOS6.5 Nginx优化编译配置
说到Nginx,它真的算是我在运维工作中的好朋友,它优异的性能和极高的工作效率实在是让人大爱,来自internet的报告称其epoll模型能够支持高达50000个并发连接数。Epoll[维基百科]:epoll是Linux下 多路复用IO接口select/poll的增强版本,它能显著提高程序在大量并发连接中只有少..
分类:其他好文   时间:2014-06-08 02:28:27    阅读次数:327
Spark1.0.0新特性
Spark1.0.0 release于2014-05-30日正式公布,标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性,并提供了更好的API支持;Spark1.0.0添加了Spark SQL这一个新的重要组件,用于载入和操作Spark的结构化数据;Spark1.0....
分类:其他好文   时间:2014-06-06 23:26:39    阅读次数:295
Apache Spark源码走读之13 -- hiveql on spark实现详解
在新近发布的spark 1.0中新加了sql的模块,更为引人注意的是对hive中的hiveql也提供了良好的支持,作为一个源码分析控,了解一下spark是如何完成对hql的支持是一件非常有趣的事情。
分类:其他好文   时间:2014-06-06 08:40:02    阅读次数:348
Geronimo 叛逆者: 使用集成软件包:Codehaus 的 Woodstox(转载)
XML 解析器通常是高性能、健壮应用程序的关键。传统的 XML 解析技术包括文档对象模型(Document Object Model,DOM)和 Simple API for XML (SAX)。现在有一种非常不错的名为 Streaming API for XML (StAX) 的创新型新解析技术,...
分类:其他好文   时间:2014-06-05 14:27:08    阅读次数:383
Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookeeper&Sqoop&Pig&Flume&Project) - 0515
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声:如何从企业级开发的角度,不断动手实际操作,循序...
分类:其他好文   时间:2014-06-05 14:25:48    阅读次数:300
让你系统认识flume及安装和使用flume1.5传输数据到hadoop2.2
问题导读:1.什么是flume?2.如何安装flume?3.flume的配置文件与其它软件有什么不同?一、认识flume1.flume是什么?这里简单介绍一下,它是Cloudera的一个产品2.flume是干什么的?收集日志的3.flume如何搜集日志?我们把flume比作情报人员(1)搜集信息(2...
分类:其他好文   时间:2014-06-02 15:38:43    阅读次数:477
Spark1.0.0新特性
Spark1.0.0 release于2014-05-30日正式发布,标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性,并提供了更好的API支持;Spark1.0.0增加了Spark SQL这一个新的重要组件,用于加载和操作Spark的结构化数据;Spark1.0.0增强了现有的标准库(ML,streaming,GraphX??),同时还增强了Java和Python语言的...
分类:其他好文   时间:2014-06-02 15:11:10    阅读次数:313
Spark1.0新特性-->Spark SQL
Spark1.0出来了,变化还是挺大的,文档比以前齐全了,RDD支持的操作比以前多了一些,Spark on yarn功能我居然跑通了。但是最最重要的就是多了一个Spark SQL的功能,它能对RDD进行Sql操作,目前它只是一个alpha版本,喜欢尝鲜的同志们进来看看吧,下面是它的官网的翻译。Spa...
分类:数据库   时间:2014-06-02 01:27:13    阅读次数:389
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!