大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。 我们可以带着下面问题来阅读本文章： 1...
分类：
其他好文 时间：
2014-07-19 21:05:50
阅读次数：
236
数字图像处理线性滤波:输出图像fo(x,y)= T[ fi(x,y) ]，T是线性算子，即：输出图像上每个像素点的值都是由输入图像各像素点值加权求和的结果。非线性滤波的算子中包含了取绝对值、置零等非线性运算。线性滤波器的原始数据与滤波结果是一种算术运算，即用加减乘除等运算实现，如均值滤波器（模板内像...
分类：
其他好文 时间：
2014-07-19 18:22:10
阅读次数：
208
1、拉普拉斯算子：对噪声相当敏感，很少用于边缘检测，主要用于已知边缘像素后确定该像素在图像的暗区或者明区。2、马尔算子：拉普拉斯算子的进化版。具有一定的生物学和生理学意义。根据视觉成像的研究。 算法：先平滑原始图象后再运用拉普拉斯算子 对不同分辨率的图象分别处理 (1) 用一个2-D的高斯平滑模板与...
分类：
其他好文 时间：
2014-07-19 14:14:25
阅读次数：
219
在边缘灰度值过度比较尖锐切图像中噪声比较小时，梯度算子工作效果好。1、数字图像中求导数是利用差分近似微分来进行的。2、梯度对应一阶导，梯度是矢量。矢量的幅度（有时候常称为梯度）方向角：注意：范数的概念，实际上就是一种求距离的方法，详见距离度量函数幅度有这里用欧式距离是2范数，城区距离是1范数，∞范数...
分类：
其他好文 时间：
2014-07-19 12:08:05
阅读次数：
315
本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成LogicalPlan的。...
分类：
数据库 时间：
2014-07-19 11:15:13
阅读次数：
389
前言: 通过对spark集群脚本的研读, 对一些重要的shell脚本技巧, 做下笔记. *). 取当前脚本的目录sbin=`dirname "$0"` sbin=`cd "$sbin"; pwd`代码评注:# 以上代码为获取执行脚本所在的目录的常用技巧# sbin=$(dirname $0) ...
分类：
其他好文 时间：
2014-07-18 19:16:52
阅读次数：
239
上篇博文讲述了如何通过修改源码来查看调用堆栈，尽管也很实用，但每修改一次都需要编译，花费的时间不少，效率不高，而且属于侵入性的修改，不优雅。本篇讲述如何使用intellij idea来跟踪调试spark源码。
分类：
其他好文 时间：
2014-07-18 17:13:03
阅读次数：
210
前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w.....
分类：
其他好文 时间：
2014-07-17 23:26:44
阅读次数：
345
对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林把Spark集群的构建分为了四个步骤，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。从零起步，构建Spark集群经典四部曲： 第一步：搭建H...
分类：
其他好文 时间：
2014-07-17 21:35:29
阅读次数：
389
fspecial函数用于建立预定义的滤波算子，其语法格式为：h = fspecial(type)h = fspecial(type，para)其中type指定算子的类型，para指定相应的参数；2type的类型有'average'averaging filter为均值滤波，参数为hsize代表模板尺...
分类：
其他好文 时间：
2014-07-17 13:03:40
阅读次数：
239
