柯南君的公司最近产品即将上线，由于产品业务对图片的需求与日俱增，花样百出，与此同时，在大数据时代，大流量的冲击下，对图片服务器的压力可想而知，那么今天，柯南君结合互联网的相关热文，加上自己的一点实践经验，与君探讨，与君共勉！
一、图片服务器的重要性
当前，不管哪一家网站（包括 电商行业、O2O行业、互联网行业等），不管哪一种渠道 （包括 web端，APP端甚至一些SNS应用），在大数据时代下，...
分类：
其他好文 时间：
2014-12-20 18:19:57
阅读次数：
136
本文发表于本人博客。 我们知道HDFS是Hadoop的分布式文件系统，那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧，这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。 先输入hadoop ...
分类：
系统相关 时间：
2014-12-16 13:22:12
阅读次数：
241
HBase配置和使用文档
HBase配置和使用文档......................................................................................................
1
一、 HBase原理和结构说明...................................................
分类：
其他好文 时间：
2014-12-14 21:24:13
阅读次数：
261
1）NameNode、DataNode和Client NameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文.....
分类：
其他好文 时间：
2014-12-13 16:28:52
阅读次数：
148
这里先写下自己学习RPC的笔记总结，下面将详细介绍学习过程：
RPC(remote procedure call)
不同java进程间的对象方法的调用。
一方称作服务端(server)，一方称作客户端(client)。
server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。
RPC是hadoop框架运行的基础。
通...
分类：
其他好文 时间：
2014-12-13 13:33:29
阅读次数：
223
淘宝技术发展（个人网站）淘宝技术发展（Oracle/支付宝/旺旺）淘宝技术发展（Java时代：脱胎换骨）淘宝技术发展（Java时代：坚若磐石）创造技术 分布式文件系统TFS、分布式kv缓存tair、搜索引擎升级淘宝技术发展（Java时代：创造技术-Tair）淘宝技术发展（分布式时代：服务化）
分类：
其他好文 时间：
2014-12-13 12:01:43
阅读次数：
237
在学习Hadoop FileSystem模块之前，最好的建议就是先去学习一下Linux本地文件系统的设计实现，这将会大大的帮助你了解Hadoop FileSystem，至少很多思想都是共通的。其实老实说，Hadoop FileSystem的确是集成了很多文件系统的诸多优点，在设计上还是有非常多值得学习的地方的。这里说的FileSystem可不是就仅仅的是HDFS，HDFS只是他的一个实现。也就是F...
分类：
其他好文 时间：
2014-12-11 12:31:42
阅读次数：
312
Tachyon是以内存为中心的分布式文件系统，拥有高性能和容错能力，能够为集群框架（如Spark、MapReduce）提供可靠的内存级速度的文件共享服务。从软件栈的层次来看，Tachyon是位于现有大数据计算框架和大数据存储系统之间的独立的一层。它利用底层文件系统作为备份，对于上层应用来说，Tachyon就是一个分布式文件系统。本文讲述了Tachyon的重要概念、使用方法以及基本原理。...
分类：
其他好文 时间：
2014-12-09 09:26:53
阅读次数：
243
Hadoop下HDFS文件系统在这里我们对Hadoop的基本概念，历史功能就不做过多的阐述，重点在对于他的文件系统做一些了解和阐述。HDFS（Hadoopdistributedfilesystem）是一个分布式文件系统。具有高容错性（fault-tolerant），使得他能够部署在低廉的硬件上。他可以提供高吞吐率来访..
分类：
其他好文 时间：
2014-12-09 02:03:50
阅读次数：
269
1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错...
分类：
其他好文 时间：
2014-12-08 21:12:24
阅读次数：
268
