官方讲解： Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集（海量的数据）。 个人理解： Hadoop就是一些模块的相对简称!! 那Hadoop到底指的哪些模块？？以及他们是干嘛 ...
分类：
其他好文 时间：
2020-02-15 00:12:46
阅读次数：
135
数据结构与算法介绍 数据结构与算法的重要性 算法是程序的灵魂，优秀的程序可以在海量数据计算时，任然保持高速运算 框架和缓存技术的核心时算法 高薪 数据结构与算法的关系 数据(data)结构(Structure)是一门研究组织数据方式的学科，有了编程语言也就有了数据结构 程序 = 数据结构 + 算法 ...
分类：
编程语言 时间：
2020-02-14 20:53:40
阅读次数：
69
1、定义 Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2、架构图 3、常见概念理解 ①client：客户端，运行agent的地方，每台机器只运行一个agent ...
分类：
Web程序 时间：
2020-02-14 11:00:40
阅读次数：
89
参考原文：http://blog.csdn.net/xlgen157387/article/details/53230138 一、网站应用背景 开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬 ...
分类：
其他好文 时间：
2020-02-13 21:21:26
阅读次数：
84
1、Flume简单介绍 Apache Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 2、Flume体系结构 ...
分类：
Web程序 时间：
2020-02-13 12:37:38
阅读次数：
78
摘要：Hadoop是一个由Apache基金会所开发的分布式基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算，特点是：高可靠性，高扩展性，高效性，高容错性。l ...
分类：
其他好文 时间：
2020-02-13 10:12:16
阅读次数：
64
一：Hadoop基本概念 一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。 充分利用集群的威力进行高速运算和存储。 Hadoop的框架最核心的设计就是：HDFS和MapReduce 二：Hadoop解决问题 1.海量数据的存储（HDFS） ...
分类：
其他好文 时间：
2020-02-12 13:07:41
阅读次数：
128
mormot接口封装 mormot基于http.sys通讯，支持海量并发，用mormot开发的服务端，长时间运行非常稳定。 经常有人说mormot晦涩难懂，但经过封装以后的MORMOT接口，调用异常简单。支持DELPHI7及以上版本调用哦！ procedure TForm1.DownFile(fil ...
分类：
其他好文 时间：
2020-02-12 10:32:20
阅读次数：
90
1. 大数据处理流程 大数据处理的根本目的是从海量 异质 数据中 挖掘知识 ，包含了数据源收集、数据存储管理、数据分析与挖掘以及数据展现与获取等几个 序列进行 的步骤，如图1: 图1 大数据处理流程的整体架构 1.1 数据源 原始数据来源各异，很多数据形式不规整，包含噪音，因此首先需要从原始数据中进 ...
分类：
其他好文 时间：
2020-02-08 17:48:25
阅读次数：
68
首先我们要知道Swoole是一个网络应用的开发工具，它支持 Http、TCP、UDP、WebSocket。 使用理由如下： 1、常驻内存，避免重复加载带来的性能损耗，提升海量性能。 2、协程异步，提高对 I/O 密集型场景并发处理能力(如：微信开发、支付、登录等)。 3、方便地开发 Http、Web ...
分类：
Web程序 时间：
2020-02-08 15:32:05
阅读次数：
85
