最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并。首先记下hadoop常用的命令:(hadoop
fs -help列出全部)1,hadoop fs –fs [local | ]:声...
分类:
其他好文 时间:
2014-05-26 20:44:49
阅读次数:
308
一、RSA方式1. 建立CA根证书 1) 建立目录RSA 2) 创建以下子目录certs,
crl, newcerts 3) 在RSA目录下执行以下操作:echo 01 > serialtouch index.txtopenssl req
-new -x509 -newkey rsa:1024 -k...
分类:
其他好文 时间:
2014-05-26 20:46:24
阅读次数:
280
新创建的虚拟机,使用Remote
manager等软件连接虚拟机时有时会发现无论如何也连不上,这也许是虚拟机中存在dns缓存查看dns
缓存ipconfig/displaydns清楚dns缓存ipconfig/flushdns
分类:
其他好文 时间:
2014-05-26 20:47:46
阅读次数:
215
使用.NET实现一个从大众点评抓取一些基础数据(商家名称,地址,电话,经纬度)的小程序。实现逻辑:1、以异步方式从列表上获取前三项(商家名称、地址、电话);2、把获取下来的数据保存到数据库表里;3、把存在数据表里的地址信息读取出来,通过调用QQ地图API把地址转化成经纬度;4、按行更新GIS信息。代...
分类:
其他好文 时间:
2014-05-26 20:47:04
阅读次数:
422
美国在线拍卖网站eBay的数据库遭到黑客入侵,公司已强制要求用户更改密码,以策安全。
分类:
其他好文 时间:
2014-05-26 20:55:56
阅读次数:
334
Win7 PIL Image模块im.show()无法正常显示图片解决方案
分类:
其他好文 时间:
2014-05-26 20:55:40
阅读次数:
287
看到一份编程规范说:如果函数参数是指针,且仅作输入用,则必须在类型前面加上const,以用来防止该指针在函数体内被意外修改。指针做参数时,既可以是输入参数,也可以是输出参数。输出参数可能会改变该指针指向的地址的内容,程序其它部分访问该指针时易访问不是自己想要的数据。指针作为输入参数,加上const关...
分类:
其他好文 时间:
2014-05-26 20:54:57
阅读次数:
216
今天在编译安装ffmpeg的时候出现了题目中的问题,最终解决方案如下:errors:ffmpeg正常安装后执行ffmpeg时出现如下错误:ffmpeg:
error while loading shared libraries: libavdevice.so.52: cannot open shar...
分类:
其他好文 时间:
2014-05-26 20:54:37
阅读次数:
313
1.static:静态的,不属于对象,属于全部类的属性。
public:成员变量,不同的new,值不同。class Person{ static $type="小孩"; public $name; public
$pwd;}$p1=new Person();$p1->name="zhangsan";...
分类:
其他好文 时间:
2014-05-26 20:58:18
阅读次数:
232
一、前言vmstat命令:用来获得有关进程、虚存、页面交换空间及CPU活动的信息。这些信息反映了系统的负载情况二、虚拟内存运行原理在系统中运行的每个进程都需要使用到内存,但不是每个进程都需要每时每刻使用系统分配的内存空间。当系统运行所需内存超过实际的物理内存,内核会释放某些进程所占用但未使用的部分或...
分类:
其他好文 时间:
2014-05-26 20:57:13
阅读次数:
370
v1.0发布后,承蒙各位博友们的热心关注,也给我不少意见和建议,在此我真诚的感谢 @冰麟轻武
等朋友,你们的支持和鼓励,是这个开源项目最大的推动力。v2.0在除了细枝末节外,在功能上主要做了一下更新:1、实体类不再需要自己跟踪属性值变化:
[Serializable] public cl...
分类:
其他好文 时间:
2014-05-26 20:56:58
阅读次数:
274
在做android摄像头捕获时,发现从android摄像头出来的原始视是逆时针旋转了90度的,所以须要把它顺时针旋转90。android视频支持的是NV21格式,它是一种YUV420的格式。当然,始果你用的是android
sdk的话,当中image就提供这个能力。可是我是在ndk下开发,没有找到....
分类:
其他好文 时间:
2014-05-26 20:56:37
阅读次数:
297
Schmid也是一种类Gabor图像滤波器,在这篇文章[1]中有详细推导和介绍。一种更简洁的表达公式是:当中,r为核半径,Z为归一化參数,τ和σ是比較重要的參数,在ReID提取TextFeature中,常常使用例如以下一系列參数:(2,1),
(4,1), (4,2), (6,1), (6,2), ...
分类:
其他好文 时间:
2014-05-26 20:59:14
阅读次数:
238
算法训练 最小乘积(基本型) 时间限制:1.0s 内存限制:512.0MB问题描述
给两组数,各n个。 请调整每组数的排列顺序,使得两组数据相同下标元素对应相乘,然后相加的和最小。要求程序输出这个最小值。 例如两组数分别为:1 3 -5和-2
4 1 那么对应乘积取和的最小值应为: (...
分类:
其他好文 时间:
2014-05-26 20:58:38
阅读次数:
356
转自:http://www.cppblog.com/liangbo/archive/2006/10/06/13394.html1.sizeof操作符的结果类型是size_t,它在头文件中typedef为unsigned int类型。该类型保证能容纳实现所建立的最大对象的字节大小。2.sizeof是算...
分类:
其他好文 时间:
2014-05-26 21:01:12
阅读次数:
250
我在项目中用到了二维码扫描的技术,用的是Google提供的ZXing开源项目,它提供二维码和条形码的扫描。扫描条形码就是直接读取条形码的内容,扫描二维码是按照自己指定的二维码格式进行编码和解码。可以到http://code.google.com/p/zxing/下载ZXing项目的源码,然后按照官方...
分类:
其他好文 时间:
2014-05-26 21:00:57
阅读次数:
408