>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类：
其他好文 时间：
2020-12-01 11:54:36
阅读次数：
3
点击上方蓝字关注我们 Paper Pal：一个中英文论文及其代码大数据搜索平台 余万, 付聿炜, 熊贇, 朱扬勇 1 引言 在开展科研工作的过程中，科研人员需要从大量实时更新的论文中持续地跟踪学术界前沿的发展情况，学习最新研究成果。近年来，人工智能（artificial intelligence， ...
分类：
其他好文 时间：
2020-11-30 15:52:07
阅读次数：
8
MySQL高可用架构 MMM (Multi Master Replication Manager) 资源数量说明 主DB 2 用于主备模式的主主复制 从DB 0~N台 可以根据需要配置N台从服务器 IP地址 2n+1 N为MySQL服务器的数量 监控用户 1 用户监控数据库状态的MySQL用户(re ...
分类：
数据库 时间：
2020-11-30 15:24:02
阅读次数：
7
Python里面有3大数据结构：列表，字典和集合.字典是常用的数据结构，里面有一些重要的技巧用法，我把这些都整理到一起,熟练掌握这些技巧之后，对自己的功力大有帮助.1.字典的排序:用万金油sorted()函数举一个简单的例子my_dict={"cc":100,"aa":200,"bb":10}print(sorted(my_dict.it
分类：
编程语言 时间：
2020-11-27 11:11:14
阅读次数：
8
Python有3大数据类型，列表，字典和集合，列表和字典前面我都讲过了，今天我们来聊聊Python中的集合.Python的书里面完整全面讲集合的不多，即使有的也只是简单带过，笔墨不多。大部分介绍Python数据结构都是被列表，字典两大网红遮盖了锋芒.貌似集合在Python的世界里很冷门,其实集合里面的东西很有用，有它特定的适用的场景,特别是在数据处理的时候.大显身手.那么说起集合，很多人一定想到了
分类：
编程语言 时间：
2020-11-27 11:10:27
阅读次数：
8
MapReduce既是一个编程模型，也是一个计算组件，处理的过程分为两个阶段，Map阶段：负责把任务分解为多个小任务，Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value，经过map计算后输出一对Key-Value值；然后将相同Key合并，形成Key-Value集合；再将这个Key-Value集合转入Reduce阶段，经过计算输出最终Key-Value结果集。
分类：
其他好文 时间：
2020-11-26 14:53:23
阅读次数：
6
package com.atguigu.etl; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; impo ...
分类：
其他好文 时间：
2020-11-25 13:04:03
阅读次数：
26
01 我们一起学大数据 今天老刘分享的是MapReduce知识点的第二部分，在第一部分中基本把MapReduce的工作流程讲述清楚了，现在就是对MapReduce零零散散的知识点进行总结，这次的内容大纲如下图： 02 需要谨记的知识点 第6点：自定义分区 在上篇文章里的第五点提到过这句话：分区用到了 ...
分类：
其他好文 时间：
2020-11-25 12:39:39
阅读次数：
6
1.大数据架构图谱 文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统 ...
分类：
其他好文 时间：
2020-11-25 12:06:50
阅读次数：
8
一、 初始化工作： 1. 准备三台机器 hostanme IP 用途 master 192.168.0.10 namenode node1 192.168.0.11 datenode node2 192.168.0.12 datenode 在三台机器上做下面的动作 2. 编辑/etc/hosts 1 ...
分类：
其他好文 时间：
2020-11-23 12:38:36
阅读次数：
12
