码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
通信接口是webservice快还是scoket快解决方案
通信接口是webservice快还是scoket快webservice和scoket都可以做为通信接口,一个走HTTP访问,一个走TCP协议访问问1:通讯速度是webservice快还是scoket快问2:并发数量是webservice大还是scoket大问3:大数据包是webservice合适还是...
分类:Web程序   时间:2014-07-07 13:35:21    阅读次数:212
20140630 科技脉搏-互联网精神之“我不是为了输赢,我就是认真”
◎新媒体品读,一个人人都是主编的移动阅读产品关键点:收集阅读。◎大数据华云数据许广彬:2014年初获5000万美金融资,底气是什么?京东与汽车之家联姻的背后 谁借谁的势?易观数据发布手机地图市场前三:高德、百度、图吧文化中国变身阿里影业后“第一发”:网罗编剧?入股Peel,阿里在硅谷买了个“梨”阿里...
分类:其他好文   时间:2014-07-01 21:42:14    阅读次数:240
Spark分析之Master
override def preStart() { logInfo("Starting Spark master at " + masterUrl) webUi.bind() //绑定WEBUI masterWebUiUrl = "http://" + masterPubli...
分类:其他好文   时间:2014-07-01 20:21:15    阅读次数:251
Hadoop技术内幕HDFS-笔记4之压缩
1.1. 压缩减少存储空间,加快传输速率在hadoop中,压缩应用于文件存储、Map端到Reduce端的数据交换等情景。hadoop,主要考虑压缩速率和压缩文件的可分割性压缩算法:时间和空间的权衡 更快的压缩和解压缩效率通常压缩比较低。hadoop提供了对压缩算法的编码和解码器类编码和解码示例(采用...
分类:其他好文   时间:2014-07-01 12:13:27    阅读次数:222
Hadoop技术内幕HDFS-笔记4之远程调用
1. hadoop远程过程调用RPC:XML-RPC,JSON-RPC,CORBA,RMI(Remote Method Invocation),Haoop IPC(进程间通信)RPC原理:允许本地程序(客户端)调用其他机器(服务器)上的过程,客户端使用参数将信息传送给调用方,通过返回值得到消息。RP...
分类:其他好文   时间:2014-07-01 12:01:22    阅读次数:316
PL/SQL简介
(Procedure Language,过程化语言)SQL 1999各大数据库厂商通用的一种结构化语言 PL/SQL只支持Oracle数据库 基本语法 多行注释 /* */ 单行注释 -- PLSQL程序块 结构 [declare] 定义变量 begin 过程语句 [exception] 处理 异常 end; 例子 输出helloworld begin dbms_output.put_line('hello'); end; --如果...
分类:数据库   时间:2014-07-01 11:23:51    阅读次数:313
Hadoop Yarn 安装
为了构建基于Yarn体系的Spark集群,先要安装Hadoop集群,为了以后查阅方便记录了我本次安装的具体步骤。...
分类:其他好文   时间:2014-07-01 08:17:24    阅读次数:576
Spark技术内幕:一个图搞定Spark到底有多少行代码
Spark1.0.0发布一个多月了,那么它有多少行代码(Line of Code, LOC)?...
分类:其他好文   时间:2014-07-01 08:08:16    阅读次数:192
Google抛弃MapReduce使用Cloud Dataflow
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架,该框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。时至今日,MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型,它是Apache Hadoop的基...
分类:其他好文   时间:2014-07-01 00:21:41    阅读次数:320
PL/SQL简介
(Procedure Language,过程化语言)SQL 1999各大数据库厂商通用的一种结构化语言 PL/SQL只支持Oracle数据库 基本语法 多行注释 /* */ 单行注释 -- PLSQL程序块 结构 [declare] 定义变量 begin 过程语句 [exception] 处理 异常 end; 例子 输出helloworld begin dbms_output.put_line('hello'); end; --如果...
分类:数据库   时间:2014-06-30 18:55:36    阅读次数:337
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!