前言 prometheus 和 loki的基础概念就不赘述了，如需查看请先移步到官网 prometheus → https://prometheus.io/ loki → https://grafana.com/oss/loki/ 要解决的问题 之前测试环境搭建Loki采集日志没有设置ERROR级别 ...
分类：
其他好文 时间：
2020-12-07 12:42:03
阅读次数：
9
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
开发工具Python版本：3.6.4相关模块：numpy模块；argparse模块；pygame模块；以及一些python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。原理简介遗传算法，即：GeneticAlgorithm,GA是一种元启发式算法，其核心思想与达尔文的进化理论很相似。简单而言就是物种在进化过程中，好的基因将得到保留，不好的基因将被淘汰。经过很多
分类：
编程语言 时间：
2020-12-05 10:37:51
阅读次数：
20
开发工具Python版本：3.6.4相关模块：numpy模块；argparse模块；pygame模块；以及一些python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。原理简介遗传算法，即：GeneticAlgorithm,GA是一种元启发式算法，其核心思想与达尔文的进化理论很相似。简单而言就是物种在进化过程中，好的基因将得到保留，不好的基因将被淘汰。经过很多
分类：
编程语言 时间：
2020-12-05 10:37:35
阅读次数：
7
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
1、下载linux安装包：http://maven.apache.org/download.cgi 2、设置目录，把apache-maven-3.6.3-bin.tar.gz放在/usr/local目录下 3、解压 tar -zxvf apache-maven-3.6.3-bin.tar.gz 4、 ...
分类：
系统相关 时间：
2020-12-02 12:49:32
阅读次数：
15
1、安信可官方方法 ：http://aiclouds3.0-docs.aithinker.com/#/2.device/configuration_linux 一堆必安的依赖包 ：sudo apt-get install git wget flex bison gperf python python ...
分类：
其他好文 时间：
2020-12-02 12:26:38
阅读次数：
4
zookeeper技术介绍[python书籍福利]Zookeeper技术介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和
分类：
编程语言 时间：
2020-12-02 11:57:17
阅读次数：
3
>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类：
其他好文 时间：
2020-12-01 11:54:36
阅读次数：
3
MapReduce既是一个编程模型，也是一个计算组件，处理的过程分为两个阶段，Map阶段：负责把任务分解为多个小任务，Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value，经过map计算后输出一对Key-Value值；然后将相同Key合并，形成Key-Value集合；再将这个Key-Value集合转入Reduce阶段，经过计算输出最终Key-Value结果集。
分类：
其他好文 时间：
2020-11-26 14:53:23
阅读次数：
6
