一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 ...
分类：
其他好文 时间：
2020-12-09 12:15:14
阅读次数：
5
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
本文介绍了如何下载鸿蒙系统源码，如何一次性配置可以编译三个目标平台（Hi3516，Hi3518和Hi3861）的编译环境，以及如何将源码编译为三个目标平台的二进制文件。坑点总结：下载源码基本上没有太多坑，可以很顺利的进行编译源码主要的一个大坑是，默认版本的scons依赖python3.7+，鸿蒙基础编译代码依赖python3，需要安装python3.7+，并和当前系统上的python2.7/pyt
分类：
其他好文 时间：
2020-12-03 11:57:55
阅读次数：
5
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
zookeeper技术介绍[python书籍福利]Zookeeper技术介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和
分类：
编程语言 时间：
2020-12-02 11:57:17
阅读次数：
3
>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类：
其他好文 时间：
2020-12-01 11:54:36
阅读次数：
3
简介：实战演练php服务的搭建 PHP是一种脚本语言，常用于做动态网站的。 源码编译安装： 安装依赖组件： yum -y install gcc gcc-c++ bzip2 bzip2-devel bzip2-libs python-devel ncurses ncurses- devel open ...
分类：
Web程序 时间：
2020-11-30 16:11:16
阅读次数：
15
MapReduce既是一个编程模型，也是一个计算组件，处理的过程分为两个阶段，Map阶段：负责把任务分解为多个小任务，Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value，经过map计算后输出一对Key-Value值；然后将相同Key合并，形成Key-Value集合；再将这个Key-Value集合转入Reduce阶段，经过计算输出最终Key-Value结果集。
分类：
其他好文 时间：
2020-11-26 14:53:23
阅读次数：
6
虽然说的是正向代理，本文主要实现的就是nginx代理ssh服务！ 1. nginx stream 模块 nginx从1.9.0版本以后，便新增了一个stream模块，用来实现四层协议的转发、代理或者负载均衡等； stream模块默认并没有编译到nginx中，源码编译安装nginx时， ./confi ...
分类：
其他好文 时间：
2020-11-26 14:40:33
阅读次数：
4
package com.atguigu.etl; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; impo ...
分类：
其他好文 时间：
2020-11-25 13:04:03
阅读次数：
26
