1 定义hadoop是一个分布式系统架构。2 基本模块HDFS为海量数据提供了存储。Map/Reduce为海量数据提供了计算。3 子项目Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的...
分类：
其他好文 时间：
2014-08-07 15:40:30
阅读次数：
239
微淘-大家来找茬-概要设计说明书一．引言1．编写目的能够快速进入项目，实施项目开发工作，为后续的编码和测试提供技术参考依据。本书的读者包括：开发人员、界面开发人员、系统架构人员、产品部门所有人员2．项目背景项目参与人员包括开发人员、界面开发人员、系统架构人员、产品部门所有人员开发人员负责具体开发工作...
分类：
其他好文 时间：
2014-08-06 11:37:41
阅读次数：
535
前言 根据NandFlash的一些特性，读写速度快，生产工艺问题或多或少存在坏块，最小擦除单位为块，最小读取单位为字节，并且不能频繁对其进行擦写操作，最先对NandFlash支持最好的就是Yaffs文件系统，但Yaffs文件系统最大支持的页大小为512Byte，Yaffs2支持页大小可以达到2048Byte 但针对那些像linux的大型操作系统不管是Rom和Ram的开销确实不算什么，但如果只是把...
分类：
其他好文 时间：
2014-08-05 19:21:50
阅读次数：
739
进程的创建：
Linux通过两个步骤创建新的进程：fork()和exec().其中fork可以创建当前进程（父进程）的一个副本，即子进程。父进程和子进程只有PID不同。在这之后，系统中有两个进程，执行同样的操作。父进程的内容将被复制，但是在Linux中运用了一种写时复写（copy on write）技术，使进程的创建更为高效。接下来exec将读取可执行文件载入地址空间中运行。这样一个进程就创建好...
分类：
系统相关 时间：
2014-08-04 21:29:58
阅读次数：
334
但是中高端的项目经理，系统架构师和既精通外语又精通外国语言文化的复合型人才还是比较少。
分类：
其他好文 时间：
2014-08-04 17:32:57
阅读次数：
194
程序员(英文Programmer)是从事程序开发、维护的专业人员。一般将程序员分为程序设计人员和程序编码人员，但两者的界限并不非常清楚，特别是在中国。软件从业人员分为初级程序员、高级程序员、系统分析员，系统架构师，测试工程师五大类。
分类：
其他好文 时间：
2014-08-04 14:01:57
阅读次数：
179
千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？
首先讨论一下大型网站需要注意和考虑的问题。
数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下，更新一个...
分类：
Web程序 时间：
2014-08-03 15:21:45
阅读次数：
1007
最近我在做流式实时分布式计算系统的架构设计，而正好又要参见CSDN博文大赛的决赛。本来想就写Spark源码分析的文章吧。但是又想毕竟是决赛，要拿出一些自己的干货出来，仅仅是源码分析貌似分量不够。因此，我将最近一直在做的系统架构的思路整理出来，形成此文。为什么要参考Storm和Spark，因为没有参照效果可能不会太好，尤其是对于Storm和Spark由了解的同学来说，可能通过对比，更能体会到每个具体实现背后的意义。
本文对流式系统出现的背景，特点，数据HA，服务HA，节点间和计算逻辑间的消息传递，存储模型，...
分类：
其他好文 时间：
2014-08-02 18:25:23
阅读次数：
489
Hadoop2/cdh4集群安装CDH是Cloudera完全开源的Hadoop分布式系统架构，为了满足企业的需求而特别构建的系统。即一个开源的企业级分布式存储系统。全称：ClouderaHadoop。它是在ApacheHadoop基础上打入了很多patch。使之性能更好，更加满足生产环境。Hadoop介绍Hadoop是apache的..
分类：
其他好文 时间：
2014-08-02 07:45:03
阅读次数：
366
假设你对项目管理、系统架构有兴趣，请加微信订阅号“softjg”，增加这个PM、架构师的大家庭在解说系统架构设计之前，有必要补充一下架构相关的概念，因此本博文主要讲述架构、架构师和架构设计等相关的概念以及关系。这是系统架构设计的基础，仅仅有具备了此方面的知识之后，我们才干进一步了解架构师在软件开发过...
分类：
其他好文 时间：
2014-08-01 22:56:42
阅读次数：
260
