码迷,mamicode.com
首页 > 其他好文
用Hive分析nginx日志
这里用到的nginx日志是网站的访问日志,比如: [java] view plain copy 180.173.250.74 - - [08/Jan/2015:12:38:08 +0800] "GET /avatar/xxx.png HTTP/1.1" 200 968 "http://www.ite
分类:其他好文   时间:2016-01-31 21:26:40    阅读次数:335
Hadoop常用端口
常用端口设置 1.1HDFS端口 参数 描述 默认 配置文件 示例 fs.default.name namenode RPC交互端口 8020 core-site.xml liaozhongmin:8020 dfs.http.address NameNode web管理端口 50070 hdfs-
分类:其他好文   时间:2016-01-31 21:24:35    阅读次数:322
visual studio编译错误集(转)
1、error C4430: missing type specifier - int assumed. Note: C++ does not support default-int 在项目属性->Configration Properties->C/C++->Command Line页面的Addi
分类:其他好文   时间:2016-01-31 21:25:15    阅读次数:570
自定义view注意事项
在开发的过程中经常会自定义view,当中有一些容易忽视的问题,以后都会记录在这里提醒自己。 1.使用xml填充ViewGroup时,根节点使用merge以减少view的层级 2.重载子类构造函数时要弄清楚父类做了哪些操作 以上两个注意点具体可参考这篇文章:Android中如何优雅地自定义一个View
分类:其他好文   时间:2016-01-31 21:26:23    阅读次数:229
Git学习日记<一>
Git 从零开始NO.1 安装之后的配置 git config --global user.name "Your name" git config --global user.email "Your Email"NO.2 创建版本库 初始化 进入目标目录 git init //初始化一个仓库 添加文
分类:其他好文   时间:2016-01-31 21:26:14    阅读次数:245
在ANSYS WORKBENCH中使用APDL命令的例子
如何在workbench中使用command? 如何在ansys workbench中插入apdl? 如何在ansys workbench中使用复杂载荷? 答案在APDL,他可以实现函数化的载荷,如岁时间变化,随位置变化的载荷,或正选变动的往复载荷,都可以实现。请看本文案例. 【案例描述】 一个悬臂
分类:其他好文   时间:2016-01-31 21:23:56    阅读次数:618
Hive表的分区与分桶
1.Hive分区表 Hive使用select语句进行查询的时候一般会扫描整个表内容,会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间,这样在做查询的时候就可以很好的提高查询的效率。 创建分区表的语法: [java] view plain copy create table tab
分类:其他好文   时间:2016-01-31 21:24:30    阅读次数:342
PCA主成分分析
原文地址链接 1. 问题 真实的训练数据总是存在各种各样的问题: 1、 比如拿到一个汽车的样本,里面既有以“千米/每小时”度量的最大速度特征,也有“英里/小时”的最大速度特征,显然这两个特征有一个多余。 2、 拿到一个数学系的本科生期末考试成绩单,里面有三列,一列是对数学的兴趣程度,一列是复习时间,
分类:其他好文   时间:2016-01-31 21:25:00    阅读次数:310
字符串函数
1.memset #include <stdio.h> #include <string.h> int main() { //char *s="My Dream Come true";//用来初始化字符指针的字符串常量会被编译器安排到只读数据存储区,是不可以修改的 char s[] ="My Dre
分类:其他好文   时间:2016-01-31 21:21:23    阅读次数:218
Hive严格模式
Hive严格模式 Hive提供了一个严格模式,可以防止用户执行那些可能产生意向不到的不好的效果的查询。说通俗一点就是这种模式可以阻止某些查询的执行。通过如下语句设置严格模式: [java] view plain copy hive> set hive.mapred.mode=strict; 设置为严
分类:其他好文   时间:2016-01-31 21:23:24    阅读次数:333
bzoj3438 小M的作物
Description 背景 小M还是个特么喜欢玩MC的孩纸。。。 描述 小M在MC里开辟了两块巨大的耕地A和B(你可以认为容量是无穷),现在,小P有n中作物的种子,每种作物的种子有1个(就是可以种一棵作物)(用1...n编号),现在,第i种作物种植在A中种植可以获得ai的收益,在B中种植可以获得b
分类:其他好文   时间:2016-01-31 21:22:37    阅读次数:295
Hadoop中的GenericWritable
一:背景 某些业务的数据来源可能不同,且数据源中的分割方式也不同,导致在MapReduce编程时使用的格式化类会不同,为了包装不同的Map输出,Hadoop提供了GenericWritable类,允许我们同时操作多个不同的Map输出,输出到一个Reduce中进行处理。 技术实现: 我们对HDFS中两
分类:其他好文   时间:2016-01-31 21:22:10    阅读次数:375
MapReduce实现等值连接,左外连接,右外连接,全外连接
#测试数据: # more user.txt(用户ID,用户名) [java] view plain copy 1 lavimer 2 liaozhongmin 3 liaozemin #more post.txt(用户ID,帖子ID,标题) [java] view plain copy 1 1 j
分类:其他好文   时间:2016-01-31 21:20:28    阅读次数:231
UDTF
UDTF(User-Defined Table-Generating Functions)用来解决输入一行输出多行(one-to-many maping)的需求。 编写自己的UDTF: 1.继承org.apache.hadoop.hive.ql.udf.generic.GenericUDTF。 2.
分类:其他好文   时间:2016-01-31 21:20:33    阅读次数:659
MapReduce过程详解
Hadoop越来越火,围绕Hadoop的子项目更是增长迅速,光Apache官网上列出来的就十几个,但是万变不离其宗,大部分项目都是基于Hadoop Common。 MapReduce更是核心中的核心。那么到底什么是MapReduce,它具体是怎么工作的呢? 关于它的原理,说简单也简单,随便画个图喷一
分类:其他好文   时间:2016-01-31 21:20:30    阅读次数:441
Hadoop中SecondaryNameNode工作机制
首先来看一下HDFS的结构,如下图: 如上图,在HDFS架构中,NameNode是职责是管理元数据信息,DataNode的职责是负责数据存储,那么SecondaryNameNode的作用是什么呢? 其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案,下面我们来看
分类:其他好文   时间:2016-01-31 21:20:15    阅读次数:222
【模式识别】SVM核函数
下面是几种经常使用的核函数表示:线性核(Linear Kernel)多项式核(Polynomial Kernel)径向基核函数(Radial Basis Function)也叫高斯核(Gaussian Kernel),由于能够看成例如以下核函数的领一个种形式:径向基函数是指取值只依赖于特定点距离的实
分类:其他好文   时间:2016-01-31 21:18:13    阅读次数:581
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!