码迷,mamicode.com
首页 >  
搜索关键字:hdfs architecture    ( 6541个结果
Alex 的 Hadoop 菜鸟教程: 第18课 用Http的方式访问HDFS - HttpFs 教程
HttpFs 有啥用? HttpFs可以干这两件事情: 1.通过HttpFs你可以在浏览器里面管理HDFS上的文件 2.HttpFs还提供了一套REST 风格的API可以用来管理HDFS。其实很简单的一个东西嘛,但是很实用。...
分类:Web程序   时间:2015-02-10 13:30:15    阅读次数:262
安装使用Cloudera Impala
安装与使用Cloudera ImpalaCloudera Impala提供快速的、交互式的SQL查询方式,直接基于Apache Hadoop存储在HDFS或HBase中的数据进行查询。除了使用与Apache Hive相同的统一存储平台外,Impala也使用了与Hive相同的元数据、SQL语法(Hiv...
分类:其他好文   时间:2015-02-10 13:06:32    阅读次数:192
Overview of iOS Crash Reporting Tools: Part 2/2
Thanks for joining me for the second part of this two-part series on crash reporting services!Thefirst partintroduced you to the architecture of crash...
分类:移动开发   时间:2015-02-09 23:01:45    阅读次数:416
Alex 的 Hadoop 菜鸟教程: 第16课 Pig 安装使用教程
本教程介绍Pig的安装和使用。hdfs虽说是一个文件空间,但是我们每次要查看hdfs上的文件的时候都要输入一大串命令,比如一个简单的ls都需要输入 : hdfs dfs -ls / ,而且还不能cd到某个目录,这样就造成了每次ls都要带上全路径的麻烦,能不能有一个工具可以模拟linux下的shell呢?Pig就实现了这样的需求,可以直接ls,可以cd到某个目录。并且Pig还创造了 Pig Latin语言,可以通过Pig写一个类似存储过程的MapReduce的Job,pig会自动帮你把这个job翻译成MapR...
分类:其他好文   时间:2015-02-09 20:21:09    阅读次数:172
Alex 的 Hadoop 菜鸟教程: 第15课 Impala 安装使用教程
本教程介绍Impala的安装,使用和JDBC调用。为什么用 Impala? 因为Hive 太慢了!Impala 也可以执行SQL,但是比Hive的速度快很多。为什么Impala可以比Hive快呢?因为Hive采用的是把你的sql转化成hadoop 的 MapReduce任务的代码,然后编译,打包成jar包,并分发到各个server上执行,这是一个相当慢的过程。而Impala根本就不用Hadoop的MapReduce机制,直接调用HDFS的API获取文件,在自己的内存中进行计算。...
分类:其他好文   时间:2015-02-09 20:20:39    阅读次数:395
HDFS客户端的权限错误:Permission denied
搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在客户端运行时出现了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。(如果想看最终解决问题的方法拉到最后,如果想看我的问题...
分类:其他好文   时间:2015-02-09 18:08:59    阅读次数:123
通过Spark SQL关联查询两个HDFS上的文件操作
order_created.txt 订单编号 订单创建时间10703007267488 2014-05-01 06:01:12.334+0110101043505096 2014-05-01 07:28:12.342+0110103043509747 2014-05-01 07:50:12....
分类:数据库   时间:2015-02-09 15:55:23    阅读次数:225
ZBarSDK扫描二维码
1:如果报引用文件错误的话需要在设置一下:project->Build settings->build active architecture only选项设置为No。Valid Architecture 选项设置为armv7.#import "ViewController.h"#import "Z...
分类:其他好文   时间:2015-02-09 15:55:22    阅读次数:135
Cheatsheet: 2015 01.01~ 01.31
JAVA JVM Architecture Improving Lock Performance in Java 10 Best Java Tools That Every Java Programmers Should Know Web Performance Optimization in AS...
分类:其他好文   时间:2015-02-09 10:43:15    阅读次数:146
hive0.13 mapjoin hashtable找不到的bug
线上job报错:Error:java.lang.RuntimeException:org.apache.hadoop.hive.ql.metadata.HiveException:java.io.FileNotFoundException:/home/vipshop/hard_disk/1/yarn/local/usercache/hdfs/appcache/application_1420458339569_0548/container_1420458339569_0548_01_000005/S..
分类:其他好文   时间:2015-02-07 19:07:34    阅读次数:234
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!