Hadoop集群(第9期)_MapReduce初级案例 - 虾皮 - 博客园1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1....
分类:
其他好文 时间:
2014-05-08 20:38:16
阅读次数:
669
引言:这段时间有项目要用到c#生成Word文档,通过网络查找到很多内容,但是功能上满足不了个人需求,于是决定借助网友们已经写好的代码,加以修改完善,以便于更好的交流和以后相似问题可以迅速的解决!备注:本文用到的相关文件,在日志结尾提供下载第一步、项目基础——引用的添加注意:此处要查找的“Micros...
分类:
其他好文 时间:
2014-05-08 20:31:25
阅读次数:
432
mongodb的读写分离使用Replica Sets来实现对于replica set
中的secondary 节点默认是不可读的。在写多读少的应用中,使用Replica
Sets来实现读写分离。通过在连接时指定或者在主库指定slaveOk,由Secondary来分担读的压力,Primary只承担写操...
分类:
数据库 时间:
2014-05-07 09:31:37
阅读次数:
531
1)错误日志(errorlog)错误日志对MySQL的启动、运行、关闭过程进行了记录。通过showvariableslike‘log_error‘来定位该文件。mysql>showvariableslike‘log_error‘;
+---------------+---------------------------------+
|Variable_name|Value|
+---------------+----------..
分类:
数据库 时间:
2014-05-06 17:21:14
阅读次数:
447
1)binlog会记录所有与MySQL有关的记录,包括InnoDB、MyISAM等其他存储引擎的日志。而InnoDB存储引擎的redolog只记录有关该存储引擎本身的事务日志。2)binlog记录的是一个事务的具体操作内容,即该日志是逻辑日志。而redolog记录的是每个页(page)的物理更改情况。3)binlog仅在..
分类:
其他好文 时间:
2014-05-06 17:03:44
阅读次数:
370
selinux限制apacheexec执行cgi一、起因某日发现smokeping访问失败,发布的apache进程不存在;在/usr/local下找不到任何apache文件,怀疑apache是rpm安装,使用/etc/init.d/httpd启动后果真listen8001端口···二、排查1、获取error日志的关键内容启动后尝试刷新8001下的smokep..
分类:
系统相关 时间:
2014-05-06 16:39:10
阅读次数:
689
whoami:当前登录到系统的有效用户who:显示当前系统上登录的用户都有哪些-r:显示当前的运行级别的who|grep"hadoop"
echo$?w:显示谁登陆了,并且正在干什么。(显示的信息比who更详细)last:显示登录的日志,记录登录历史和重启历史-n#:只显示#次的登录信息lastb:/var/log/..
分类:
系统相关 时间:
2014-05-06 16:05:21
阅读次数:
506
做项目时遇到这样的需求,希望能打印出最终数据库执行的SQL语句,一般遇到这些有一定通用性的问题,我都会到Appfuse中去找找例子,结果这次没有成功。它是有相关的配置,但是好像没有用,我也就没有深查下去,我想这种问题网上肯定有人遇到过,只要找到这个人就行了。经过换不同的关键字,我最后找到了如下的配置。
log4j.appender.stdout=org.apache.log4j.Consol...
分类:
数据库 时间:
2014-05-06 14:49:26
阅读次数:
376
为了更好的体现luanet的设计意图和避免与网上另一个开源项目重名造成混淆,
luanet正式更名为distri.lua.后需开发工作包括跨平台,日志,通过Fork创建新线程正在开发中.新地址:https://github.com/sniperHW/distri.lua
分类:
Web程序 时间:
2014-05-06 14:27:46
阅读次数:
299
原创转载请注明地址归档日志:非活动的重做日志,用来保存所有的重做历史记录。什么时候写归档日志:当数据库处于archivelog模式并重做日志切换的时候,后台进程ARCH会启动将重做日志的内容完整的保存到归档日志中。日志操作模式:
NOARCHIVELOG模式不保留重做日志记录的历史,只能保护例程失败...
分类:
数据库 时间:
2014-05-06 14:26:26
阅读次数:
553