码迷,mamicode.com
首页 >  
搜索关键字:spark 大数据 hadoop spark-sql    ( 29965个结果
瑞柏匡丞:数据科学可视化之要途
大数据的概念越来越多的被人们提及的今天,数据可视化也同样被提上了日程。
分类:其他好文   时间:2014-07-03 09:56:04    阅读次数:153
java连接Hive的几种方式
测试环境 Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.61、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应...
分类:编程语言   时间:2014-07-03 00:39:24    阅读次数:316
安装 hadoop 1.1.2
主要参考:http://blog.fens.me/hadoop-history-source-install/其次参考:http://blog.csdn.net/adermxl/article/details/24327057环境:Windows 7 Home Premium SP1 + Virtu...
分类:其他好文   时间:2014-07-02 21:09:14    阅读次数:144
Hadoop技术内幕HDFS-笔记9之hadoop抽象文件系统
1.1. hadoop抽象文件系统 因java.io.FileSystem为私有抽象包,不可被外界包引用,因此hadoop特别提供了一个抽象的文件系统, HDFS只是一个具体实现,org.apache.hadoop.fs.FileSystem hadoop通过getFi...
分类:其他好文   时间:2014-07-02 21:01:32    阅读次数:284
Hadoop技术内幕HDFS-笔记8之java文件系统
1.1. java文件系统 1.1.1. URI和URL 1.1.2. java IO(自行研究)
分类:编程语言   时间:2014-07-02 20:51:44    阅读次数:242
Hadoop技术内幕HDFS-笔记10之hadoop IO
1.1.1. hadoop IO 对比Java IO即可 FSDataInputStream,FSDataOutputStream 为抽象类, FSInputStream抽象类 1.1.2. hadoop文件系统中的权限 枚举类FsAction定义了rwx权限,常量 ...
分类:其他好文   时间:2014-07-02 20:46:22    阅读次数:308
虚拟化、大数据、云计算、物联网、移动互联网与传统互联网关系
网络将物联网、传统互联网和移动互联网的数据连接、汇聚在一起形成“大数据”,这些数据经过人类刻意的、针对特意用途的分析产生价值用于决策分析等,计算和分析的平台则是“云计算”,机器学习应该算是“大数据”的获取和分析吧。云计算平台的搭建则借助于虚拟化技术。...
分类:移动开发   时间:2014-07-02 09:54:11    阅读次数:222
UVa 10245 - The Closest Pair Problem
题目:最近点对(大数据)。 分析:分治法。首先,将所有点按很坐标排序;然后,利用分治求解。             1.将问题转化为两个相同大小的子区间分别求解;             2.中位点为中心,当前最小距离为半径的区间直接枚举求解;             3.求出上两中情况的最小值返回。 说明:这么经典的题目,今天第一次做。 #include #include #in...
分类:其他好文   时间:2014-07-02 09:41:14    阅读次数:202
高效使用hive
高效使用hive...
分类:其他好文   时间:2014-07-02 07:26:37    阅读次数:198
通过Bigtop编译Hadoop组件的rpm包
我安装所使用的系统是CentOS6,也可以是red5、6都可以。Bigtop官方网上有Ubuntu系统安装的具体过程。1.安装系统依赖1.1系统更新并安装新的包BuildingBigtoprequiresthefollowingtools:·JavaJDK1.6·ApacheAnt(可以通过yum安装)·ApacheMaven·wget·tar·git·subversion·g..
分类:其他好文   时间:2014-07-02 06:01:45    阅读次数:844
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!