node1192.168.1.11node2192.168.1.12node3192.168.1.13备注NameNodeHadoopYY高可用DateNode YYYResourceManager YY高可用NodeManagerYYYJournalNodes YYY奇数个,至少3个节点ZKFC（... ...
分类：
其他好文 时间：
2017-06-28 14:26:14
阅读次数：
674
错误分析: 今天在A程序中生成了数据,然后将A结果数据作为B的输入数据,在查看A结果数据时候,发现有一条数据不符合规则,遂将其删除,删除后执行B程序则报错.尝试打断点,发现程序连map过程都不执行,到了 job.waitForCompletion(true);这一步之后直接就报错了,错误信息为: o ...
分类：
其他好文 时间：
2017-06-21 22:03:32
阅读次数：
459
Warning：有些句子，我以自己的理解意译。也有些话很拗口，完结后再做优化。 数据驱动 定义：一个数据驱动的组织会以一种及时的方式获取、处理和使用数据来创造效益，不断迭代并开发新产品，以及在数据中探索（navigate）。 有很多方式可以评估一个组织是否为数据驱动的，如：1. 产生的数据量2. 使 ...
分类：
其他好文 时间：
2017-06-21 21:03:32
阅读次数：
154
Hadoop示例程序WordCount详解及实例http://blog.csdn.net/xw13106209/article/details/6116323 hadoop中使用MapReduce编程实例（转）http://eric-gcm.iteye.com/blog/1807468 【mapre ...
分类：
其他好文 时间：
2017-06-13 22:40:05
阅读次数：
148
Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。 随后在2003年Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS也就是google File Sy ...
分类：
其他好文 时间：
2017-06-12 12:58:12
阅读次数：
175
Hive的官方网站： https://hive.apache.org/ Hive简介： Hive 是基于Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能。 Hive在企业中作为一种工作，可以很容易的对数据进行ETL。 Hive可以对各种各样的数据进行一种结 ...
分类：
其他好文 时间：
2017-06-10 19:28:00
阅读次数：
122
『转载』hadoop2.x常用端口、定义方法及默认端口 1.问题导读 1.问题导读 DataNode的http服务的端口、ipc服务的端口分别是哪个？ DataNode的http服务的端口、ipc服务的端口分别是哪个？ NameNode的http服务的端口、ipc服务的端口分别是哪个？ NameNo ...
分类：
其他好文 时间：
2017-06-07 14:34:32
阅读次数：
285
小实例说明： a）实现一个由JSP负责前台显示，Servlet负责后台处理的交互小实例 b）JSP页面由表单获取一个开始数字，一个结束数字，交给Servlet打印响应的乘法表。 未解决的问题： a）跳转貌似不能识别目录中的HTML文件，所以我把源码复制到JSP中，结果能找到。 b）Servlet获取 ...
分类：
Web程序 时间：
2017-06-05 23:32:36
阅读次数：
247
1.分布式系统的架构体系 基于对象的体系机构 面向服务的架构（SOA） REST风格的架构 微服务架构（MSA） 容器技术 Serverless架构 2.分布式消息服务 Apache ActiveMQ RabbitMQ RocketMQ Apache Kafka 3.分布式计算 MapReduce ...
分类：
其他好文 时间：
2017-06-04 23:04:45
阅读次数：
407
使用Hadoop ACL 控制訪问权限 一、HDFS訪问控制 hdfs-site.xml设置启动acl <property> <name>dfs.permissions.enabled</name> <value>true</value> </property> <property> <name>d ...
分类：
其他好文 时间：
2017-06-04 22:53:05
阅读次数：
310
