Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要 ...
分类：
其他好文 时间：
2018-04-14 15:33:06
阅读次数：
197
分布式系统（也是分布式软件系统）是指在通信网络互联的多处理机体系结构上执行任务的系统，包括：分布式操作系统、分布式程序设计语言及其编译（解释）系统、分布式文件系统和分布式数据库系统等。Hadoop是分布式软件系统中文件系统层的软件，它实现了分布式文件系统和部分分布式数据库系统的功能。Hadoop中的 ...
分类：
其他好文 时间：
2018-03-13 12:12:19
阅读次数：
176
概念了解 主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master ...
分类：
其他好文 时间：
2018-03-07 20:15:38
阅读次数：
237
这个异常的出现是因为hive-site-xml中的hive.server2.logging.operation.log.location属性未配置正确： 修改为： D:/apache-hive-2.1.1-bin/hive/iotmp需要在hadoop中进行创建配置。 ...
分类：
其他好文 时间：
2018-03-07 19:04:41
阅读次数：
244
在Hadoop中，一个MapReduce作业会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式处理。框架会对Map的输出先进行排序，然后把结果输入给Reduce任务。作业的输入和输出都会被存储在文件系统中，整个框架负责任务的调度和监控，以及重新执行已关闭的任务。MapReduce框 ...
分类：
其他好文 时间：
2018-01-27 21:19:10
阅读次数：
194
在Hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。HDFS集群有两类节点以管理者和工作者的工作模式运行，namenode就是其中的管理者。它管理着文件系统的命名空间，维护着文件系统树及整 ...
分类：
其他好文 时间：
2018-01-26 00:25:14
阅读次数：
207
1.本地检查C:\Windows\System32\drivers\etc\host 2.su root,检查/etc/hosts文件 ...
分类：
编程语言 时间：
2018-01-17 18:28:43
阅读次数：
116
操作系统：Win7 64位 Hadoop：2.7.4 中文分词工具包IKAnalyzer: 5.1.0 开发工具：Intellij IDEA 2017 Community 准备中文分词工具包 项目需要引入中文分词工具包IKAnalyzer，故第一步是对中文分词工具包的打包并安装到本地库，在这过程中参 ...
分类：
其他好文 时间：
2018-01-17 16:01:58
阅读次数：
248
大家都知道namenode是hadoop中的一个很重要的节点，因为他存在着跟datanode的交互跟客户端的交互，存储着dotanode中的元数据，所以就很想学习他们是如何沟通并能保证数据在任何情况下都不会丢失那？ namenode的作用： 1.维护元数据信息。 2.维护hdfs的目录树。 3.相应 ...
分类：
其他好文 时间：
2018-01-05 12:34:24
阅读次数：
130
折腾了两天，抱着不放弃的精神，我终于编译出我自己所需的hadoop中在eclipse中的插件 在网上下载的可能因为版本不一致，在编译的时候出现各种各样的问题，包括你的eclipse版本和hadoop版本 ，jdk版本，ant版本 所以下载好多个，最少十九个吧，但是一直没有成功，一直出现找不到包的异常 ...
分类：
系统相关 时间：
2017-12-18 14:24:17
阅读次数：
335
