码迷,mamicode.com
首页 >  
搜索关键字:hadoop 优化    ( 57270个结果
Hadoop之词频统计小实验(基于单节点伪分布)
声明:1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。 2)本小实验工作环境为Ubuntu操作系统,hadoop1-2-1,jdk1.8.0。 3)统计词频工作在单节点的伪分布上,至于真正实际集群的配置操作还没有达到,希望能够由本文抛砖引玉。(一)Hadoop的配置修正 网上有很多...
分类:其他好文   时间:2014-05-05 21:54:47    阅读次数:456
Mahout安装
在Hadoop集群环境下安装Mahout。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、简介mahout项目主页:https://mahout.apache.org/下载二进制包,上传到服务器。2、安装用集群环境用户安装,解压二进制包。...
分类:其他好文   时间:2014-05-05 21:35:23    阅读次数:429
PHP 数组
数组PHP 中的数组实际上是一个有序映射。映射是一种把values关联到keys的类型。此类型在很多方面做了优化,因此可以把它当成真正的数组,或列表(向量),散列表(是映射的一种实现),字典,集合,栈,队列以及更多可能性。数组元素的值也可以是另一个数组。树形结构和多维数组也是允许的。解释这些结构超出...
分类:Web程序   时间:2014-05-03 23:39:16    阅读次数:629
2MySQL Server 系统架构
2.2MySQL Server 系统架构总的来说,MySQL 可以看成是二层架构,第一层我们通常叫做SQL Layer,在MySQL 数据库系统处理底层数据之前的所有工作都是在这一层完成的,包括权限判断,sql 解析,执行计划优化,query cache 的处理等等;第二层就是存储引擎层,我们通常叫...
分类:数据库   时间:2014-05-03 22:43:14    阅读次数:491
利用JavaAPI访问HDFS的文件
利用JavaAPI访问HDFS的文件 1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.t...
分类:编程语言   时间:2014-05-03 22:10:40    阅读次数:300
修炼你自己
修炼你自己,提高情商!!!...
分类:其他好文   时间:2014-05-03 21:47:05    阅读次数:211
刚整理的SQL常见替代点
1、能用DISTINCT的就不用GROUP BY    SELECT OrderID FROM Details WHERE UnitPrice > 10 GROUP BY OrderID    可改为:  SELECT DISTINCT OrderID FROM Details WHERE UnitPrice > 10  2.能用UNION ALL就不要用UNION     UNION A...
分类:数据库   时间:2014-05-03 21:31:24    阅读次数:342
保护索引要注意的问题
1. IS NULL 与 IS NOT NULL 不能用null作索引,任何包含null值的列都将不会被包含在索引中。即使索引有多列这样的情况下,只要这些列中有一列含有null,该列就会从索引中排除。也就是说如果某列存在空值,即使对该列建索引也不会提高性能。   任何在where子句中使用is null或is not null的语句优化器是不允许使用索引的。 2. 避免使用不兼容的数据类型。...
分类:其他好文   时间:2014-05-03 21:15:26    阅读次数:264
Hadoop初学指南(7)--MapReduce自定义计数器
本文主要介绍了MapReduce中的自定义计数器的相关内容。在上次的单词统计例子中,我们可以看到MapReduce在执行过程中会有很多的控制台输出信息,其中有一个很关键的内容:计数器。如下图:可以看到最上方的关键字:Counters,这就表示计数器。在这里,只有一个制表符缩进的表示..
分类:其他好文   时间:2014-05-03 14:56:19    阅读次数:336
Linux系统优化脚本
#!/bin/bash#thisscriptisonlyforCentOS6#checktheOSplatform=`uname-i`if[$platform!="x86_64"];thenecho"thisscriptisonlyfor64bitOperatingSystem!"exit1fiecho"theplatformisok"version=`lsb_release-r|awk‘{printsubstr($2,1,1)}‘`if[$version!=6];thenecho"thisscriptiso..
分类:系统相关   时间:2014-05-03 14:51:00    阅读次数:415
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!