声明:1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。
2)本小实验工作环境为Ubuntu操作系统,hadoop1-2-1,jdk1.8.0。
3)统计词频工作在单节点的伪分布上,至于真正实际集群的配置操作还没有达到,希望能够由本文抛砖引玉。(一)Hadoop的配置修正 网上有很多...
分类:
其他好文 时间:
2014-05-05 21:54:47
阅读次数:
456
在Hadoop集群环境下安装Mahout。环境:OS:Centos 6.5 x64 &
Soft:Hadoop 1.2.1 & Mahout
0.91、简介mahout项目主页:https://mahout.apache.org/下载二进制包,上传到服务器。2、安装用集群环境用户安装,解压二进制包。...
分类:
其他好文 时间:
2014-05-05 21:35:23
阅读次数:
429
能够将热爱的技术应用于实际生活生产中,是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结,与大家一起分享、交流、进步。项目现在正在线上运行,项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰,爬取数据(txt文本)-->数据清洗-->文本模型训练-->文本分类-...
分类:
其他好文 时间:
2014-05-04 00:22:05
阅读次数:
476
数组PHP
中的数组实际上是一个有序映射。映射是一种把values关联到keys的类型。此类型在很多方面做了优化,因此可以把它当成真正的数组,或列表(向量),散列表(是映射的一种实现),字典,集合,栈,队列以及更多可能性。数组元素的值也可以是另一个数组。树形结构和多维数组也是允许的。解释这些结构超出...
分类:
Web程序 时间:
2014-05-03 23:39:16
阅读次数:
629
通过SqlClr制作Sql自动化批量执行脚本
在与同事一起做项目时,看到同事用sqlclr做批量执行脚本,感觉挺新奇的就上网搜集资料自己模仿跟做了个案例,感觉挺不错的,现在想和大家分享一下,可能存在些错误的地方,大家就做个小参考吧....1.我们在做数据迁移或是数据库结构修改时,通常会写一些脚本文....
分类:
数据库 时间:
2014-05-03 23:33:55
阅读次数:
518
添加Expires和Cache-control头部
Expire和Cache-control实际上是HTTP中的缓存控制头部,它主要影响客户端的请求行为和服务器端的响应。
一.缓存的基本概念
这里的缓存,单指web的缓存。当web请求抵达缓存时,如果本地有缓存的副本且缓存未过期,那么就可以从本地读取数据或文档,这样便可以:
1. 减少冗余的数据传输,一定程度上减少服务器的流量...
分类:
Web程序 时间:
2014-05-03 15:51:40
阅读次数:
380
本文主要介绍了MapReduce中的Combiner操作。在MapReduce的执行步骤中,我们一共分了8步,其中Map中的最后一步规约操作就是今天要讲的Combiner。首先看一下前文中的计数器:我们可以发现,其中有两个计数器:Combineoutputrecords和Combineinputrecords,他们的计数都是0,这是..
分类:
其他好文 时间:
2014-05-03 15:00:55
阅读次数:
323
好处:1.灵活、可靠、无限制,安全的站点外存储2.即时、高度可用、耐久的备份存档方案。3.仅对使用的服务付费。可以作为经济合算的站点外备份存档方案。对于WindowsAzureBlob存储服务的SQLServer备份支持是SQLServer2012SP1CU2增强功能,当然sqlserver2014也是可以的。第1课:创..
分类:
数据库 时间:
2014-05-03 14:59:20
阅读次数:
397
本文主要介绍了MapReduce中的自定义计数器的相关内容。在上次的单词统计例子中,我们可以看到MapReduce在执行过程中会有很多的控制台输出信息,其中有一个很关键的内容:计数器。如下图:可以看到最上方的关键字:Counters,这就表示计数器。在这里,只有一个制表符缩进的表示..
分类:
其他好文 时间:
2014-05-03 14:56:19
阅读次数:
336
#!/bin/bash#thisscriptisonlyforCentOS6#checktheOSplatform=`uname-i`if[$platform!="x86_64"];thenecho"thisscriptisonlyfor64bitOperatingSystem!"exit1fiecho"theplatformisok"version=`lsb_release-r|awk‘{printsubstr($2,1,1)}‘`if[$version!=6];thenecho"thisscriptiso..
分类:
系统相关 时间:
2014-05-03 14:51:00
阅读次数:
415