认知和学习Hadoop，我们必须得了解Hadoop的构成，我根据自己的经验通过Hadoop构件、大数据处理流程，Hadoop核心三个方面进行一下介绍： 一、 Hadoop组件 由图我们可以看到Hadoop组件由底层的Hadoop核心构件以及上层的Hadoop生态系统共同集成，而上层的生态系统都是基于 ...
分类：
其他好文 时间：
2020-10-29 10:11:31
阅读次数：
19
这是一篇民间故事。 教师的要求是引导学生正确评价故事中的角色。从寒号鸟的下场，我们可以懂得，得过且过，不听劝告是不行的。我们应该像喜鹊一样，着眼于未来，有着长远的打算。其次，要按顺序理清文章的层次，能创造性地复述课文，续编写课文，改编故事。再次，要培养学生的自学能力，能积极参与分角色朗读课文。 我在 ...
分类：
其他好文 时间：
2020-10-29 09:57:06
阅读次数：
82
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
从2020年10月6日开始，亚马逊不在提供MWS API申请了，以后所有的开发都要转到销售伙伴api了，也就是SP-API。之前的mws api还可以继续使用，但是最终亚马逊还是会要求你迁移到SP-API的，这是趋势。 SP-API据我研究，应该是不在分北美、欧洲、亚洲等区域分开申请了，现在不需要填 ...
在上篇文章《消息系统概述》中对消息系统进行了介绍，本次将学习Kafka中的基本概念。首先我们回顾下在消息系统的使用场景中有三种角色分别是生产者、消息系统和消费者，其中生产者负责产生消息和发送消息到消息系统，而消息系统将为消费者提供消息用于处理，如下图。Kafka是基于发布/订阅模式的消息系统，如下图。生产者会将消息推送到Kafka中的某个Topic上。引入Topic的目的则是为了对消息进行分类，这
分类：
其他好文 时间：
2020-10-27 11:52:37
阅读次数：
24
配置集群 配置yarn-env.sh Linux系统中获取JDK的安装路径 [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME /opt/module/jdk1.8.0_144 修改JAVA_HOME路径 [xiaoran@hadoop101 hado ...
分类：
其他好文 时间：
2020-10-27 11:36:17
阅读次数：
28
阿里开源的那个牛X的问题排查工具——Arthas，推出IDEA插件了！|文末福利△Hollis,一个对Coding有着独特追求的人△这是Hollis的第264篇原创分享作者l汪小哥来源lHollis（ID：hollischuang）Arthas对于很多Java开发者来说，已经不可分割了，在我们日常开发、线上问题排查中扮演了非常重要的角色。作为小开发的我，日常需要排查线上运营同学提的各种bug、各种
分类：
其他好文 时间：
2020-10-27 11:22:13
阅读次数：
19
Hadoop基础之环境搭建 环境搭建 本地环境 可以用于开发的单节点模式，没有分布式的概念 伪分布式环境 一个节点表示一整个集群，但是分布式的概念，一个节点充当分布式里的所有角色 完全分布式 一个集群中有N个节点，他们分别充当分布式中不同的角色，完成不同的任务 伪分布式环境搭建 下载安装包 Hado ...
分类：
其他好文 时间：
2020-10-26 11:17:07
阅读次数：
16
数据仓库及管理——星环
Transwarp - 首页星环主要从事大数据时代核心平台数据库软件的研发与服务，是唯一被Gartner列为国际主流Hadoop发行版厂商。其产品Transwarp Data Hub提供高速SQL引擎Transwarp Inceptor, No...
分类：
其他好文 时间：
2020-10-24 11:51:18
阅读次数：
41
众所周知，工作流设计是企业应用开发过程中非常重要的一Part。而所谓工作流引擎，是指将工作流（Workflow）作为应用系统的一部分，并为之提供对各应用系统有决定作用的，根据角色、分工和条件的不同，来解决信息传递路由、内容等级问题的核心解决方案。工作流引擎包括了流程的节点管理、流向管理、流程样例管理在内的重要功能。美观实用的系统界面设计，是优秀企业应用开发工作中最基础的部分；数据库之间的信息交换是
分类：
其他好文 时间：
2020-10-21 21:31:13
阅读次数：
36
