搭建在单一服务器 基于官方文档 http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation 1、配置:hadoop-env ...
分类:
其他好文 时间:
2021-01-11 11:23:14
阅读次数:
0
一、案例: 1、明确需求: 在访问日志中,统计独立ip数量TOP10 2、查看数据结构: ip:是时间戳Http Method Url..... 3、明确编码步骤: 3.1 取出ip,生成一个只有ip的数据集 3.2简单清晰 3.3统计ip出现的次数 3.4排序按照ip出现的次数 3.5取出前十 4 ...
分类:
其他好文 时间:
2021-01-11 11:19:54
阅读次数:
0
①最核心的区别Git是分布式的,而Svn不是分布的。 上手会很容易,声明一点Git并不是目前唯一的分布式版本控制系统,还有比如Mercurial等,所以说它们差不许多。 Git跟Svn一样有自己的集中式版本库和Server端,但Git更倾向于分布式开发,因为每一个开发人员的电脑上都有一个Local ...
分类:
其他好文 时间:
2021-01-08 10:30:15
阅读次数:
0
ZeroMQ是云计算时代最好的通讯库 为什么一个通讯的库不提供socket的风格,反而看起来像是一个并行的库? 云计算不就是分布式计算嘛! 并行、多核、分布式,让计算能力不断的被扩展扩展,让数据不断地被分区分区,强大的计算能力就是这样堆出来的。 并发是目前云计算这个世界的主题,所以ZMQ提供了一个并 ...
分类:
其他好文 时间:
2021-01-07 12:23:26
阅读次数:
0
这次和大家讲讲分布式事务的 BASE 理论,保证通俗易懂。为了阅读顺畅,开始之前先请大家记住几个名词: BASE——Basically Available(基本可用),Soft state(软状态),Eventually consistent(最终一致性) 2PC——两阶段提交 不用懂,先记住就好了 ...
分类:
其他好文 时间:
2021-01-07 11:44:51
阅读次数:
0
Java版本,分为Java SE、Java EE、Java ME。 Java SE是Java的标准版,主要用于桌面应用程序的开发,同时也是Java的基础,包括Java语言基础、JDBC、IO、网络通信、多线程等。 Java EE是Java企业版,用于开发企业级分布式网络程序,核心为EJB。 Java ...
分类:
编程语言 时间:
2021-01-06 12:37:56
阅读次数:
0
我们有时候将一个java对象变成字节流的形式传出去或者从一个字节流中恢复成一个java对象,例如,要将java对象存储到硬盘或者传送给网络上的其他计算机,这个过程我们可以自己写代码去把一个java对象变成某个格式的字节流再传输,但是,jre本身就提供了这种支持,我们可以调用OutputStream的 ...
分类:
编程语言 时间:
2021-01-06 12:32:54
阅读次数:
0
Java特性和优势 简单性 面向对象 可移植性(Write Once,Run Anywhere) 高性能 分布式 动态性(反射机制) 多线程 安全性 健壮性 Java三大版本 Java SE:标准版(桌面程序,控制台开发......) Java ME:嵌入式开发 (手机,小家电......已经凉了) ...
分类:
编程语言 时间:
2021-01-06 12:28:00
阅读次数:
0
keys * //查看当前库里的所有key值\ set key value //存值 get key //取值 exists key//判断当前值是否存在 move key 1 //移除当前的key expire key10 //设置key的过期时间 单位是秒 ttl key //查看key的剩余时 ...
分类:
其他好文 时间:
2021-01-06 12:24:45
阅读次数:
0
一、什么是消息中间件 消息队列中间件是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布式系统的集成。它一般有两种传递模式:点对点模式和发布/订阅模式。 消息中间件能够在不同平台之间进行通信,它常用来屏蔽各种平台及协议之间的特性,实现应用程序之间的协同,其优点在于能够在客 ...
分类:
其他好文 时间:
2021-01-06 12:05:00
阅读次数:
0