动态分区数太大的问题：[Fatal Error] Operator FS_2 (id=2): Number of dynamic partitions exceeded hive.exec.max.dynamic.partitions.pernode. hive> insert into table ...
分类：
其他好文 时间：
2017-08-19 17:04:51
阅读次数：
113
js中的es6 中提出 map reduce filter 等方法； 那么我们在c#中似乎没看到呢，真的吗？ are you kiding me? 先看map 回家健身了，明天继续搞； 好文 推荐：http://www.justinshield.com/2011/06/mapreduce-in-c/ ...
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的HiveQL 语言实现数据查询，所有Hive 的数据 ...
分类：
其他好文 时间：
2017-08-14 20:04:27
阅读次数：
161
该视频教程共22讲，由王家林老师主讲。 第01讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？ 第02讲：10分钟从技术角度理解Hadoop 第03讲：Hadoop集群安装解析 第04讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等 第05讲：Hadoop集群 ...
分类：
其他好文 时间：
2017-08-14 10:12:38
阅读次数：
190
A curated list of awesome Python frameworks, libraries, software and resources. Inspired by awesome-php. Admin Panels Libraries for administrative int ...
分类：
编程语言 时间：
2017-08-09 14:26:36
阅读次数：
390
概述 全部的Hadoop命令都通过bin/mapred脚本调用。在没有不论什么參数的情况下。执行mapred脚本将打印该命令描写叙述。 使用：mapred [--config confdir] COMMAND [hadoop@hadoopcluster78 bin]$ mapred Usage: m ...
分类：
其他好文 时间：
2017-08-07 20:35:32
阅读次数：
246
Hive产生背景 1）MapReduce的编程不便，需通过Java语言等编写程序 2） HDFS上的文缺失Schema(在数据库中的表名列名等)，方便开发者通过SQL的方式处理结构化的数据，而不需要Java等编写程序 Hive是什么 1）facebook开源，最初为解决海量的结构化日志数据统计问题 ...
分类：
其他好文 时间：
2017-08-06 14:15:00
阅读次数：
238
大家都知道hadoop中自带了非常多样例。那么怎么用呢，今天主要測试下hadoop中的wordcount程序jar包： 1、首先启动hadoop 2、准备数据：vim words， 写入 hello tom hello jerry hello kitty hello tom hello bbb 3、 ...
分类：
其他好文 时间：
2017-07-28 09:45:30
阅读次数：
172
mapreduce RDD 流程示意 Yarn ...
分类：
其他好文 时间：
2017-07-28 09:42:23
阅读次数：
123
Hadoop YARN架构解读 原Mapreduce架构 原理架构图如下： 图 1.Hadoop 原 MapReduce 架构 原 MapReduce 程序的流程：首先用户程序 (JobClient) 提交了一个 job，job 的信息会发送到 Job Tracker 中，Job Tracker需要 ...
分类：
其他好文 时间：
2017-07-27 21:18:44
阅读次数：
171
