概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行 ...
分类：
编程语言 时间：
2021-01-08 10:56:23
阅读次数：
0
错误提示： ERROR dns.PrivilegedRegistryDNSStarter (PrivilegedRegistryDNSStarter.java:init(61)) - Error initializing Registry DNSjava.net.BindException: Pro ...
分类：
其他好文 时间：
2021-01-07 12:31:59
阅读次数：
0
* 如果是非Ubuntu系统，下面的apt-get命令要换成yum命令。apt-cache search all | grep -> yum list installed | grepapt-get purge -y -> yum remove -y其中的参数-y是过程中所有提示都自动选yes的作用 ...
分类：
其他好文 时间：
2021-01-07 12:30:42
阅读次数：
0
Atlas 作用： 记录并展示Hive表字段含义，以及表和字段之间的数据血缘关系。 局限： 依赖HBase和solr。 Azkaban 作用： 实现任务流执行，满足任务间依赖关系。 局限： 任务能添加依赖的任务，但是不能传参数，任务流中任意一条路线断了，不能这条路线重启执行。 ...
分类：
其他好文 时间：
2021-01-07 12:23:38
阅读次数：
0
1.为什么安装Impala一定要先安装Hive？ Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。 2.Impala与Hive的关系？ Impala 与Hive都是构建在Hadoop之上的 ...
分类：
其他好文 时间：
2021-01-06 11:58:32
阅读次数：
0
网站用户行为分析 步骤 1.1 本地数据集上传到数据仓库Hive 数据集下载与查看 数据集预处理 把数据集导入HDFS中 在Hive上创建数据库 1.2 Hive数据分析 给出数据分析需求 用select语句实现数据分析 数据分析结果查看与保存 1.3 Hive、MySQL、HBase数据互导 操作 ...
分类：
Web程序 时间：
2021-01-02 11:41:47
阅读次数：
0
前言 登录页面会遇到滑动解锁，滑动解锁的目的就是为了防止别人用代码登录（也就是为了防止你自动化登录），有些滑动解锁是需要去拼图这种会难一点。 有些直接拖到最最右侧就可以了，本篇讲下使用 selenium web 自动化的时候如何滑动解锁。 滑动解锁场景 看下图，是我本地写的一个 slider.htm ...
分类：
编程语言 时间：
2021-01-02 10:38:49
阅读次数：
0
将hive/lib下面的jline-2.12.jar 复制到hadoop目录下 cp /usr/local/src/hive-1.2.2/jline-2.12.jar /usr/local/src/hadoop-2.6.1/share/hadoop/yarn/lib/ ...
分类：
其他好文 时间：
2021-01-01 12:54:42
阅读次数：
0
由于之前已经搭建好了，今天是看视频回顾下，然后做下记录。 之前已经搭建好了Yarn集群，现在在Yarn集群上搭建spark。 1、安装spark 下载源码包：wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.0/spark-1.3.0.tgz ...
分类：
其他好文 时间：
2021-01-01 12:18:40
阅读次数：
0
网站用户行为分析 步骤 1.1 本地数据集上传到数据仓库Hive 数据集下载与查看 数据集预处理 把数据集导入HDFS中 在Hive上创建数据库 1.2 Hive数据分析 给出数据分析需求 用select语句实现数据分析 数据分析结果查看与保存 1.3 Hive、MySQL、HBase数据互导 操作 ...
分类：
Web程序 时间：
2020-12-31 12:08:34
阅读次数：
0
