前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集....
分类：
其他好文 时间：
2014-11-11 14:00:31
阅读次数：
305
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析
低成本的Blob存储是一个强大的，通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight。通过Hadoop分布式文件系统（HDFS）接口，完整的组件集合在HDInsight可以在Blob存储数据的直接操作。在本教程中，学习如何建立一个容器的Blob存储，然后在里面处理的数据。在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除，而不会丢失用户数据。...
分类：
其他好文 时间：
2014-11-11 10:53:41
阅读次数：
194
Ceph发展至今，参与者众，资料已多。本文从实际操作角度写下个人对Ceph架构、原理和实现的理解，不当不全之处，请大家指出。本文应贵神邀而作，将持续更新。转载请注明作者(@xanpeng)和出处。Ceph的使用场景Ceph提供了3种使用场景：1、分布式文件系统CephFS。多个客户端mount Ce...
分类：
其他好文 时间：
2014-11-09 20:44:43
阅读次数：
883
TFS（TaobaoFileSystem）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据的存储；TFS使用C++语言开发，需要运行在64bitLinuxOS上，本文介绍如何在Linux环境编译安装TFS。安装依赖的软件包automakeTFS基于automake工具构..
分类：
Web程序 时间：
2014-11-06 17:52:41
阅读次数：
309
在分布式文件系统HDFS中，DataNode节点被用来存储文件的数据，确切的来说就是HDFS中的每一个文件是分块来存储的，一个文件可能有多个数据块，每一个数据块有多个副本，而且数据块的不同副本存储在不同的DataNode节点上，所以如果把整个HDFS集群看做一台机器的话，那么每一个DataNode节...
分类：
其他好文 时间：
2014-11-03 19:15:01
阅读次数：
229
??
1、错误信息
qemu-kvm: Migrate: socket bind failed
2、原因：
其原因是qemu迁移端口与glusterfs端口冲突导致的
3、解决方法：
这种问题有两种解决办法：
第一：
解决办法，在所有安装glusterfs的机器上执行：
# vi /etc/glusterfs/glusterd.vol
在“end-volume”之前加入一行：
...
分类：
其他好文 时间：
2014-10-31 15:45:52
阅读次数：
282
大数据日知录：架构与算法
跳转至：
导航、
搜索
目录
1
当谈论大数据时我们在谈论什么2
数据分片与路由3
数据复制与一致性4
大数据常用算法与数据结构5
集群资源管理与调度6
分布式协调系统7
分布式通信8
数据通道9
分布式文件系统10
内存KV11
列式数据库12
大规模批处理13
流式计算14
交互式数据分...
分类：
编程语言 时间：
2014-10-27 21:24:29
阅读次数：
341
文件系统中metadata是一个关键元素，每一个分布式文件系统的核心所在就是mds的设计。类似HDFS，Clustre，FastDFS等等分布式文件系统采用的是独立的mds架构，Ceph采用的是讲mds也分布开的设计架构，Gluster的设计是将metadata跟数据文件结合方式来存储，基本上只存跟本地文件有..
分类：
其他好文 时间：
2014-10-24 16:48:38
阅读次数：
1220
sqoop是hadoop项目中一个插件，可以把分布式文件系统hdfs中内容导入到mysql指定表里面，也可以把mysql中内容导入到hdfs文件系统中进行后续操作。测试环境说明：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65特别说明：因为我..
分类：
其他好文 时间：
2014-10-22 18:31:34
阅读次数：
345
