码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
[WP8.1UI控件编程]Windows Phone大数据量网络图片列表的异步加载和内存优化
11.2.4 大数据量网络图片列表的异步加载和内存优化 虚拟化技术可以让Windows Phone上的大数据量列表不必担心会一次性加载所有的数据,保证了UI的流程性。对于虚拟化的技术,我们不仅仅只是依赖其来给列表加载数据,还可以利用虚拟化的特性去做更多的事情。虚拟化技术有一个很重要的特性就是,它可以...
分类:Windows程序   时间:2014-06-02 19:51:35    阅读次数:266
拨云见日,任重道远 ——第六届云计算大会感悟
在本月20—23日我代表山东大学(威海)参加了在北京国家会议中心隆重召开的第六届云计算大会。在本次汇集了国内外众多专家学者的高端峰会中感触良多,也收获颇丰!   当下,在IT学术界和产业界以及广大普通用户的共同努力下,云计算在中国已经有了显著的进步和提高,业内对云计算的认识更加的准确到位,云计算的运用规模也在不断的加大和扩展,专用云也在各个领域得到广泛应用和拓展。与其相辅相成的大数据也带给了大...
分类:其他好文   时间:2014-06-02 15:33:28    阅读次数:234
Spark1.0.0新特性
Spark1.0.0 release于2014-05-30日正式发布,标志Spark正式进入1.X的时代。Spark1.0.0带来了各种新的特性,并提供了更好的API支持;Spark1.0.0增加了Spark SQL这一个新的重要组件,用于加载和操作Spark的结构化数据;Spark1.0.0增强了现有的标准库(ML,streaming,GraphX??),同时还增强了Java和Python语言的...
分类:其他好文   时间:2014-06-02 15:11:10    阅读次数:313
Hadoop Hive与Hbase关系 整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase...
分类:其他好文   时间:2014-06-02 10:33:40    阅读次数:277
Win7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4<3>
经过前几天的学习,基本上能够小试牛刀编写一些小程序玩一玩了,在此之前做几项准备工作明白我要用hadoop干什么大体学习一下mapreduceubuntu重新启动后,再启动hadoop会报连接异常的问题答:数据提炼、探索数据、挖掘数据map=切碎,reduce=合并重新启动后会清空tmp目录,默认na...
分类:Windows程序   时间:2014-06-02 10:13:11    阅读次数:394
什么是互联网思维?给你最全面的解释
http://zhangsa.net/baike/hulianwangsiwei.html互联网思维精髓大总结:1、用户思维;2、简约思维;3、极致思维;4、迭代思维;5、流量思维;6、社会化思维;7、大数据思维;8、平台思维;9、跨界思维。课前秀:三个段子第一个段子:一个毫无餐饮行业经验的人开了一...
分类:其他好文   时间:2014-06-02 07:55:24    阅读次数:278
hadoop备战:yarn框架的简介(mapreduce2)
hadoop yarn的重构,根本的思想是将 JobTracker 两个主要的功能分离成单独的组件,这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配,每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类:其他好文   时间:2014-06-02 02:27:16    阅读次数:332
hadoop备战:yarn框架的搭建(mapreduce2)
x86台式机,window7 64位系统 wmware虚拟机(x86的台式机至少是4G内存,才能开2台虚机) centos6.4操作系统 hadoop-2.2.0.tar.gz jdk-6u24-linux-i586.bin WinScp 远程文件传输工具,很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类:其他好文   时间:2014-06-02 02:23:23    阅读次数:315
使用java api操作Hadoop文件 Robbin
1 package cn.hadoop.fs; 2 3 import java.io.IOException; 4 import java.io.InputStream; 5 import java.net.URI; 6 import java.net.URISyntaxExcept...
分类:编程语言   时间:2014-06-02 01:40:57    阅读次数:398
Spark1.0新特性-->Spark SQL
Spark1.0出来了,变化还是挺大的,文档比以前齐全了,RDD支持的操作比以前多了一些,Spark on yarn功能我居然跑通了。但是最最重要的就是多了一个Spark SQL的功能,它能对RDD进行Sql操作,目前它只是一个alpha版本,喜欢尝鲜的同志们进来看看吧,下面是它的官网的翻译。Spa...
分类:数据库   时间:2014-06-02 01:27:13    阅读次数:389
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!