深入理解hadoop之机架感知 机架感知 hadoop的replication为3，机架感知的策略为： 第一个block副本放在和client所在的datanode里（如果client不在集群范围内，则这第一个node是随机选取的）。第二个副本放置在与第一个节点不同的机架中的datanode中（随机 ...
分类：
其他好文 时间：
2018-07-15 11:16:43
阅读次数：
204
内存回收要做的事： 确定哪些内存需要回收，确定什么时候需要执行GC，如何执行GC 以最简单的本地变量引用：Object obj = new Object()为例： Object obj表示一个本地引用，存储在JVM栈的本地变量表中，表示一个reference类型数据； new Object()作为实 ...
分类：
其他好文 时间：
2018-07-14 14:39:36
阅读次数：
178
深入理解hadoop之数据倾斜 1、什么是数据倾斜 我们在用map /reduce程序执行时，有时候会发现reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的r ...
分类：
其他好文 时间：
2018-07-14 13:04:56
阅读次数：
475
在前几篇里痞子衡介绍的Boot Device都属于主动启动的Primary Boot Device（Serial NOR/NAND, Parallel NOR/NAND， SD/eMMC），试想一下如果遇到这样的情况，你选择启动的某个Primary Boot Device正常工作一段时间后某次开机突... ...
分类：
其他好文 时间：
2018-07-09 22:27:11
阅读次数：
383
MySQL 组复制实现了基于复制协议的多主更新(单主模式)。 复制组由多个 server成员构成，并且组中的每个 server 成员可以独立地执行事务。但所有读写（RW）事务只有在冲突检测成功后才会提交。只读（RO）事务不需要在冲突检测，可以立即提交。 对于任何 RW 事务，提交操作并不是由始发 s ...
分类：
数据库 时间：
2018-07-07 15:55:12
阅读次数：
210
[TOC] Java GC系列 本部分来自 "Java GC系列（1）：Java垃圾回收简介" Java的内存分配与回收全部由JVM垃圾回收进程自动完成。与C语言不同，Java开发者不需要自己编写代码实现垃圾回收。这是Java深受大家欢迎的众多特性之一，能够帮助程序员更好地编写Java程序。 下面四 ...
分类：
编程语言 时间：
2018-07-07 15:36:37
阅读次数：
214
一、主服务器相关配置 1、创建同步账户并指定服务器地址 [root@localhost ~]mysql -uroot -pmysql>use mysqlmysql>grant replication slave on *.* to 'testuser'@'192.168.1.102' identif ...
分类：
数据库 时间：
2018-07-05 16:04:14
阅读次数：
190
思维难度不大，关键考代码实现能力。一些细节还是很妙的。 Description 一个有向图G=(V,E)称为半连通的(Semi-Connected)，如果满足：?u,v∈V，满足u→v或v→u，即对于图中任意两点u，v,存在一条u到v的有向路径或者从v到u的有向路径。若G'=(V',E')满足V'? ...
分类：
编程语言 时间：
2018-07-04 21:38:49
阅读次数：
167
1.安装副本集介绍 副本集（Replica Set）是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成。通过Replication，将数据的更新由Primary推送到其他实例上，在一定的延迟之后，每个MongoDB实例维护相同的数据集副本。 ...
分类：
数据库 时间：
2018-07-04 17:31:56
阅读次数：
228
一、MySQL主从介绍MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主从后，在A上写数据，另外一台B也会跟着写数据，两者数据实时同步的MySQL主从是基于binlog的，主上须开启binlog才能进行主从。主从过程大致有3个步骤：1）主将更改操作记录到binlog里2）从将主的binlog事件(sql语句)同步到从本机上并记录在relaylog里3）从根据rela
分类：
数据库 时间：
2018-07-03 00:58:12
阅读次数：
200
