Hadoop是什么？ 1. Hadoop是由Apache基金会所开发的分布式系统基础架构 2. 主要解决，海量数据的存储和海量数据的分析计算问题 3. 广义上来说，Hadoop通常是指一个更广泛的概念— Hadoop生态圈 Hadoop发展历史 1. Lucene框架是Doug Cutting开创的 ...
分类：
其他好文 时间：
2020-02-07 01:25:12
阅读次数：
79
今天完成了实验六 安装了Flume，Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2. 使用 Avro 数据 ...
分类：
其他好文 时间：
2020-02-05 23:06:48
阅读次数：
83
高并发高并发 它是互联网分布式系统架构设计中必须考虑的因素之一，通常是指，保证系统能够同时并行化处理海量请求 同步和异步 同步：发送一个请求，等待返回，然后再发送下一个请求。提交请求 -> 等待服务器处理 -> 处理完返回，此期间客户端浏览器不能干任何事 异步：发送一个请求，不等待返回，随时可以再发 ...
分类：
编程语言 时间：
2020-02-04 10:53:10
阅读次数：
73
一、Hbase 简介 hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改（需要把文件下载下来，改完，再上传上去）、查 hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据（改指定的某一条数据） hbase 查询数据只能根据rowkey进 ...
分类：
其他好文 时间：
2020-01-30 19:24:15
阅读次数：
78
hadoop是什么？ 是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。 hadoop三大发行版本？ Apache、clourdera、Hortonworks hadoop优势？ 高可靠、高扩展、高效、高容错 hadoop1.x和2.x的区别？ HDFS（hadoop distribu ...
分类：
其他好文 时间：
2020-01-30 14:29:07
阅读次数：
79
SMP、NUMA、MPP体系结构介绍 从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ...
分类：
其他好文 时间：
2020-01-29 22:01:08
阅读次数：
67
上篇介绍了一个简单的UDP服务框架，但是面对海量的请求，同步框架显然有点力不从心。于是在我接手好友系统的接口服务的时候，就采用了一个强大的异步框架——MCP框架。MCP框架是一个多进程异步框架，支持UDP、TCP和http，结构很灵活，可以根据需要将各组件像搭积木一样组装。下面是MCP最基础的进程结构。分为3种进程：CCD、MCD和DCC。CCD是面向客户端的进程，是服务的入口，负责处理前端的请求
分类：
其他好文 时间：
2020-01-28 21:20:49
阅读次数：
101
本篇介绍笔者接触的第一个后台系统，从自身见闻出发，因此涉及的内容相对比较基础，后台大牛请自觉略过。什么是好友系统？简单的说，好友系统是维护用户好友关系的系统。我们最熟悉的好友系统案例当属QQ，实际上QQ是一款即时通讯工具，凭着好友系统沉淀了海量的好友关系链，从而铸就了一个坚不可摧的商业帝国。好友系统的重要性可见一斑。熟悉互联网产品的人都知道，当产品有了一定的用户量，往往会开发一个好友系统。其主要目
分类：
其他好文 时间：
2020-01-28 20:50:58
阅读次数：
61
一、FastDFS介绍 简介 FastDFS是一个开源的高性能分布式文件系统（DFS）。它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。 FastDFS系统 ...
分类：
其他好文 时间：
2020-01-28 20:45:05
阅读次数：
101
