找到hadoop安装目录下$HADOOP_HOME/etc/mapred-site.xml,增加以下代码 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value ...
分类：
移动开发 时间：
2020-05-28 16:35:18
阅读次数：
115
原文链接：java8 中的常用函数式接口 函数式接口 表达式 拓展 备注 Predicate T → boolean DoublePredicate IntPredicate LongPredicate 谓词 Consumer T → void DoubleConsumer IntConsumer ...
分类：
编程语言 时间：
2020-05-28 16:11:09
阅读次数：
110
create table toys.test (id int, x0 double, x1 double, x2 double, x3 double) row format delimited fields terminated by ',' stored as textfile; 先在hive 数 ...
分类：
其他好文 时间：
2020-05-28 16:09:46
阅读次数：
82
###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
1. Hive数据类型 Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括数组，map，struct。下面是Hive数据类型的一个总结： 分类类型描述字面量示例 原始类型 BOOLEAN true/false TRUE TINYINT 1字节的有符号 ...
分类：
其他好文 时间：
2020-05-28 01:02:27
阅读次数：
73
第一步环境准备： jdk安装，用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. ...
分类：
其他好文 时间：
2020-05-27 20:47:07
阅读次数：
90
注意：impyla 既可以连接impala， 也可以连接hive 环境 ： windows10 python版本：3.6 hive版本：1.1 亲测可用！ impyla安装过程 安装依赖 pip install bit_array pip install thrift pip install thr ...
分类：
编程语言 时间：
2020-05-27 18:25:56
阅读次数：
148
问题导读：spark缓存是如何实现的？BlockManager与BlockManagerMaster的关系是什么？ 这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 defpersist（newLevel：StorageLevel）：this.type = { // Stora ...
分类：
其他好文 时间：
2020-05-27 15:59:00
阅读次数：
71
Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, d ...
分类：
其他好文 时间：
2020-05-27 15:57:13
阅读次数：
104
