简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失 ...
分类：
其他好文 时间：
2017-08-10 13:22:28
阅读次数：
185
Hadoop 2.x 部署 * Local Mode * Distributed Mode * 伪分布式 一台机器，运行所有的守护进程， 从节点DataNode、NodeManager * 完全分布式 有多个从节点 DataNodes NodeManagers 配置文件 $HADOOP_HOME/e ...
分类：
其他好文 时间：
2017-08-08 09:27:17
阅读次数：
171
简介 HDFS（Hadoop Distributed File System ）hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。 HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失 ...
分类：
其他好文 时间：
2017-08-06 22:57:04
阅读次数：
150
一 原理阐述 1' DFS 分布式文件系统（即DFS，Distributed File System），指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。 2' HDF ...
分类：
系统相关 时间：
2017-08-05 19:43:33
阅读次数：
1417
Filesystems that manage the storage across a network of machines are called distributed filesystems. Since they are network based, all the complicatio ...
分类：
其他好文 时间：
2017-08-03 22:02:47
阅读次数：
196
Hadoop框架中，有很多优秀的工具，帮助我们解决工作中的问题。 Hadoop的位置 从上图可以看出，越往右，实时性越高，越往上，涉及到算法等越多。 越往上，越往右就越火…… Hadoop框架中一些简介 HDFS HDFS，（Hadoop Distributed File System） hadoo ...
分类：
其他好文 时间：
2017-08-02 14:24:01
阅读次数：
123
在两个server都须要启用Ad Hoc Distributed Queries： EXEC sp_configure 'show advanced options', 1 RECONFIGURE EXEC sp_configure 'Ad Hoc Distributed Queries', 1 R ...
分类：
数据库 时间：
2017-08-01 14:34:28
阅读次数：
160
在程序计算机上设置MSDTC: 控制面板->管理工具->组件服务->我的电脑->Distributed Transaction Coo->本地DTC->右键->属性->MSDTC->安全配置->选上网络DTC访问、允许远程客户端和管理、允许入站和出站、不需要验证。 看到网上还有更具体的解决方法，如： ...
分类：
其他好文 时间：
2017-08-01 11:11:30
阅读次数：
173
目录： 一：下载FastDFS 二：安装FastDFS 三：配置 四：整合Nginx和FastDFS FastDFS is an open source high performance distributed file system (DFS). It's major functions incl ...
分类：
其他好文 时间：
2017-07-29 21:25:04
阅读次数：
2184
摘要：RDD是Spark中极为重要的数据抽象，这里总结RDD的概念，基本操作Transformation(转换)与Action，RDDs的特性，KeyValue对RDDs的Transformation(转换)。 1.RDDs是什么 Resilient distributed datasets(弹性分 ...
分类：
其他好文 时间：
2017-07-28 20:51:04
阅读次数：
271
