概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行 ...
分类：
编程语言 时间：
2021-01-08 10:56:23
阅读次数：
0
参考网址：https://blog.csdn.net/qq_35833147/article/details/95211261 因为最近自己要测试rabbitMQ,所以要搭建自己搭建虚拟环境，在网上找了各种的安装方式，然后自己就总结了一个mac 下用 VMware Fusion 11 安装 ubun ...
分类：
系统相关 时间：
2021-01-08 10:49:19
阅读次数：
0
什么是druid druid是一个为OLAP查询需求而设计的开源大数据系统，druid提供低延时的数据插入，实时的数据查询 druid使用Java开发，基于Jetty提供http rest服务，也提供了Java/Python等语言的工具包 druid是一个集群系统，使用zookeeper做节点管理和 ...
分类：
其他好文 时间：
2021-01-08 10:28:10
阅读次数：
0
Atlas 作用： 记录并展示Hive表字段含义，以及表和字段之间的数据血缘关系。 局限： 依赖HBase和solr。 Azkaban 作用： 实现任务流执行，满足任务间依赖关系。 局限： 任务能添加依赖的任务，但是不能传参数，任务流中任意一条路线断了，不能这条路线重启执行。 ...
分类：
其他好文 时间：
2021-01-07 12:23:38
阅读次数：
0
1.为什么安装Impala一定要先安装Hive？ Impala是基于Hive的大数据实时分析查询引擎，直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。 2.Impala与Hive的关系？ Impala 与Hive都是构建在Hadoop之上的 ...
分类：
其他好文 时间：
2021-01-06 11:58:32
阅读次数：
0
Harbor 概述 Harbor是由VMWare公司开源的容器镜像仓库。除了harbor vmware公司还开源了很多k8s周边产品（网络 备份 监控）确实是一个很理想的公司事实上，Harbor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包 ...
分类：
其他好文 时间：
2021-01-05 11:15:45
阅读次数：
0
0.创建用户并付权限 sudo useradd iwbdsudo passwd iwbd 配置iwbd用户具有root权限 修改/etc/sudoers文件，找到下面一行（91行），在root下面添加一行，如下所示：## Allow root to run any commands anywhere ...
分类：
其他好文 时间：
2021-01-04 11:30:50
阅读次数：
0
所学时间（包括上课） 9个小时 代码量（行） 1300 博客量 1篇 了解到的知识点 centos虚拟机的安装以及 大数据相应所用的软件安装 以及环境的配置 ...
分类：
其他好文 时间：
2021-01-02 11:40:57
阅读次数：
0
#一、linux 虚拟机最小化安装 模板 ###1.准备好虚拟机（安装最小化的linux模板机） 1）准备一台模板虚拟机hadoop100，虚拟机配置要求如下： 注：本文Linux系统环境全部以CentOS-7.5-x86-1804为例说明 模板虚拟机：内存4G，硬盘50G，安装必要环境，为安装ha ...
分类：
其他好文 时间：
2021-01-02 11:30:35
阅读次数：
0
根据前面的卷积过程，我们可以达到特征提取的作用。基本上已经判断出谁是C谁是D。底下可以再进一步做一次池化。数据库连接池记得吧？把很多数据库连接放在一个池子里，想用时挑一个来用。这里做完卷积得到这么多数据，就像池子一样，对于这池子里的数据，我们可以继续做各种各样的操作，比如最大池化或平均池化。最大池化 ...
分类：
其他好文 时间：
2021-01-02 11:29:48
阅读次数：
0
