一、hadoop的概念 （1）什么是大数据 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 （2）hadoop的定义 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop的框架最核心的设计就是：HDFS和M ...
分类：
其他好文 时间：
2017-08-18 11:16:57
阅读次数：
191
最近很多人都在谈论幂等性，好吧，这回我也来聊聊这个话题，光看着俩字，一开始的确有点一头雾水，语文不好嘛，词太专业嘛，对吧 现如今我们的系统大多拆分为分布式SOA，或者微服务，一套系统中包含了多个子系统服务，而一个子系统服务往往会去调用另一个服务，而服务调用服务无非就是使用RPC通信或者restful ...
分类：
其他好文 时间：
2017-08-18 11:02:04
阅读次数：
204
边缘是图像中灰度发生急剧变化的区域边界。图像灰度的变化情况能够用图像灰度分布的梯度来表示，数字图像中求导是利用差分近似微分来进行的，实际上经常使用空域微分算子通过卷积来完毕。 一阶导数算子 1) Roberts算子 Roberts算子是一种斜向偏差分的梯度计算方法。梯度的大小代表边缘的强度。梯度的方 ...
分类：
其他好文 时间：
2017-08-17 21:37:50
阅读次数：
233
跳石头 题目背景 一年一度的“跳石头”比赛又要开始了! 题目描述 这项比赛将在一条笔直的河道中进行,河道中分布着一些巨大岩石。组委会已经选择好了两块岩石作为比赛起点和终点。在起点和终点之间,有 N 块岩石(不含起点和终 点的岩石)。在比赛过程中,选手们将从起点出发,每一步跳向相邻的岩石,直至到达 终 ...
分类：
其他好文 时间：
2017-08-17 21:37:00
阅读次数：
211
栅格系统： 栅格系统英文为“grid systems”，也有人翻译为“网格系统”，运用固定的格子设计版面布局，其风格工整简洁，在二战后大受欢迎，已成为今日出版物设计的主流风格之一。 定义为：以规则的网格阵列来指导和规范网页中的版面布局以及信息分布。 移动设备优先： meta用于设置屏幕和设备等一款级 ...
分类：
其他好文 时间：
2017-08-17 21:25:38
阅读次数：
159
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spar ...
分类：
Web程序 时间：
2017-08-17 20:20:38
阅读次数：
305
HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在WWW中使用的是HTTP/1.0的第六版，HTTP/1.1的规范化工作正在进行之中，而且HTTP-NG(Next Generation ...
分类：
Web程序 时间：
2017-08-17 20:10:01
阅读次数：
206
在Spark或Hadoop MapReduce的分布式计算框架中，数据被按照key分成一块一块的分区，打散分布在集群中各个节点的物理存储或内存空间中，每个计算任务一次处理一个分区，但map端和reduce端的计算任务并非按照一种方式对相同的分区进行计算，例如，当需要对数据进行排序时，就需要将key相 ...
分类：
其他好文 时间：
2017-08-17 20:07:49
阅读次数：
176
1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改host..
分类：
其他好文 时间：
2017-08-17 19:58:17
阅读次数：
197
转自: http://www.hellodb.net/2009/12/hash_partition.html 在面试时经常会问一个问题，请列举出hash在数据库内部的应用，hash的原理虽然简单，但是它在数据库中可以说是无处不在。其中hash partition是hash在数据库中一个简单的应用，虽 ...
分类：
数据库 时间：
2017-08-17 16:32:25
阅读次数：
205
