预备知识：什么是hadoop，HDFS? Hadoop是一个开源框架，它允许在整个集群使用简单编程模型计算机的分布式环境存储并处理大数据。它的目的是从单一的服务器到上千台机器的扩展，每一个台机都可以提供本地计算和存储。 HDFS全称为Hadoop Distributed File System（分布 ...
分类：
其他好文 时间：
2018-11-09 17:44:45
阅读次数：
211
先来介绍zabbix中几个常用的术语： 一、脚本监控 1、创建监控用户 2、编写监控脚本 执行以上脚本，如果主从复制正常，返回状态0，否则返回状态2。 3、Agentd配置文件中声明key 4、重启agentd服务并进行测试 然后到zabbix server上看看能否获取到key的监控值： okay ...
分类：
数据库 时间：
2018-11-08 00:12:48
阅读次数：
216
1、 什么是Mapreduce Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序， 并发运行在一个hadoop集群上； 2、Mapreduce框 ...
分类：
其他好文 时间：
2018-11-04 19:42:44
阅读次数：
196
SparkContext将应用程序代码分发到各Executors，最后将任务（Task）分配给executors执行 Application: Appliction都是指用户编写的Spark应用程序，其中包括一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码 Driver: ...
分类：
其他好文 时间：
2018-10-15 14:26:20
阅读次数：
161
java在编写多线程程序时，为了保证线程安全，需要对数据同步，经常用到两种同步方式就是Synchronized和重入锁ReentrantLock。 相似点： 这两种同步方式有很多相似之处，它们都是加锁方式同步，而且都是阻塞式的同步，也就是说当如果一个线程获得了对象锁，进入了同步块，其他访问该同步块的 ...
分类：
编程语言 时间：
2018-08-09 00:30:44
阅读次数：
152
用户输入的命令并且把它们送到内核。不仅如此，Shell有自己的编程语言用于对命令的编辑，它允许用户编写由shell命令组成的程序。 Shell编程语言具有普通编程语言的很多特点 无图形化界面时与linux平台发送shell命令，批量执行命令进行操作 Linux提供了像MicrosoftWindows ...
分类：
系统相关 时间：
2018-07-23 12:48:02
阅读次数：
204
（1）shell到底是个什么东东？ Shell是系统的用户界面，提供了用户与内核进行交互操作的一种接口。它接收用户输入的命令并把它送入内核去执行。实际上Shell是一个命令解释器,它解释由用户输入的命令并且把它们送到内核。不仅如此，Shell有自己的编程语言用于对命令的编辑，它允许用户编写由shel ...
分类：
系统相关 时间：
2018-07-18 19:08:24
阅读次数：
207
1、挂载镜像文件（安装centos5.4的系统文件） a、打开虚拟机的“设置”页面 b、在虚拟机设置中，添加需要关联镜像文件 2、使用root用户，编写shell文件。vi Mountcdrom.sh，并将以下代码复制到shell文件中。 并执行该shell文件：sh Mountcdrom.sh 3 ...
分类：
系统相关 时间：
2018-07-08 23:11:14
阅读次数：
252
一 MapReduce入门 1.1 MapReduce定义 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。 ...
分类：
其他好文 时间：
2018-07-03 00:58:19
阅读次数：
273
1、MapTask机制： （1）Read 阶段：客户端获取输入数据信息，根据配置文件形成一个任务分配规划（形成InputSplit），然后submit()方法提交job。AppMaster通过用户编写的 RecordReader，从InputSplit中用InputFormat（分为TextInpu ...
分类：
其他好文 时间：
2018-06-22 16:33:34
阅读次数：
226
