一个完整的mapreduce程序在分布式运行时有三类实例进程 MRAppMaster:负责整个程序的过程调度及状态协调！<!--more--> MapTask：负责map阶段的整个数据处理流程！ ReductTask:负责reduce阶段的整个数据处理流程！ MRAppMaster:负责整个程序的过 ...
分类：
其他好文 时间：
2019-09-14 21:03:34
阅读次数：
97
kafka是基于构建实时数据管道和数据流的应用。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点： 发布和订阅功能，类似于消息系统 以容错的方式记录流 处理流 OpdenDJ 为企业提供了一个高性能，高可靠性的身份 ...
分类：
其他好文 时间：
2019-09-05 23:09:30
阅读次数：
100
典型的文件处理流程如下： 利用命令行参数 sys.argv 命令行参数是读取文件时常用的方式。 命令行参数保存在 sys.argv 的列表中，列表的第一个元素是脚本名称，后面的元素是命令行参数： 通过以下脚本 sys_argv.py 可以熟悉命令行参数的获取： 运行命令 python sys_arg ...
分类：
编程语言 时间：
2019-09-02 19:13:03
阅读次数：
118
一、事务理论学习 利用数据库事务实现应用事务控制 1.要求：同一个事务需要同一个库的同一个连接。 2. 3.分布式事务 JTA 二、spring事务处理建模 1. 2. 三、spring事务处理流程 ...
分类：
编程语言 时间：
2019-09-02 00:12:12
阅读次数：
146
博文目录一、什么是NAT?二、如何解决源地址转换环境下的环路和无效ARP问题？三、什么是Server-map表？四、NAT对报文的处理流程五、开始配置NAT一、什么是NAT？NAT技术是用来解决当今IP地址资源枯竭的一种技术，同时也是IPv4到IPv6的过渡技术，绝大多数网络环境中在使用NAT技术。此博文重点是华为相关的NAT知识上。
分类：
其他好文 时间：
2019-09-01 12:57:34
阅读次数：
143
一、引子 过去这么多讲，我们的程序都是自动运行且正常运行的。自动运行的意思是说，我们的程序和指令都是一条条顺序执行，你不需要通过键盘或者网络给这个程序任何输入。正常运行是说，我们的程序都是能够正常执行下去的，没有遇到计算溢出之类的程序错误。 不过，现实的软件世界可没有这么简单。一方面，程序不仅是简单 ...
分类：
其他好文 时间：
2019-08-28 18:33:18
阅读次数：
104
Nginx升级处理流程：1.我们要准备好升级的Nginx软件包，解压；2.备份好原先的Nginx数据；[root@sxb-1 Nginx]# mv /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.bak3.对解压Nginx目录进行配置， ...
分类：
其他好文 时间：
2019-08-24 17:04:33
阅读次数：
183
1.横切性的关注点（Cross Cutting Concern）：是一种独立的服务，它会遍布系统的处理流程之中。 2.方面（Aspect）：对横切性关注点的模块化。 3.通知（Advice）：对横切性关注点的具体实现。有多种类型。 4.切点（Pointcut）：定义了Advice应用到哪些Joint ...
分类：
其他好文 时间：
2019-08-24 09:50:00
阅读次数：
69
背景 Hadoop业务的整体开发流程： ? 从Hadoop的业务开发流程中可以看出，在大数据的业务处理流程中，对于数据的采集是十分重要的一步，也是不可避免的一步。 ? 许多公司的平台每天会产生大量的日志（一般为流式数据，如搜索引擎的pv,查询等），处理这些日志需要特定的日志系统。一般而言，这些系统需 ...
分类：
Web程序 时间：
2019-08-20 21:59:27
阅读次数：
152
前言 前两篇已经基本实现了spring的核心功能,下面讲到的参数绑定是属于springMvc的范畴了。本篇主要将请求到servlet后怎么去做映射和处理。首先来看一看dispatherServlet的基本流程，这我在以前的博客里面也讲过，传送门 这里先给个我们的简易处理流程 准备工作 为了能将请求传 ...
分类：
编程语言 时间：
2019-08-19 19:28:04
阅读次数：
113
