码迷,mamicode.com
首页 >  
搜索关键字:hadoop centos7 datanode master    ( 43027个结果
CS数据库的相关操作
备注:我们对于CS数据库的操作多数情况下只是查询操作,尽量不要在数据库中直接修改记录的值第一、首先备份数据库1、进入mysql数据库[root@master~]#mysql-uroot-pEnterpassword:WelcometotheMySQLmonitor.Commandsendwith;or\g.YourMySQLconnectionidis188Serverversion:5.1.6..
分类:数据库   时间:2014-05-05 12:34:10    阅读次数:1502
基于SSL的mysql(MariaDB)主从复制
一、前言备份数据库是生产环境中的首要任务,重中之重,有时候不得不通过网络进行数据库的复制,这样就需要保证数据在网络传输过程中的安全性,因此使用基于SSL的复制会大加强数据的安全性二、准备工作1、主从服务器时间同步[root@master~]#crontab-e */30****/usr/sbin/ntpdat..
分类:数据库   时间:2014-05-05 12:23:00    阅读次数:634
Keepalived+Haproxy双主高可用负载均衡web和mysql综合实验
 日期及版本:2014.5.4v1.0架构图实验目的:1.Haproxy+Keepalived双主双机高可用模型,keepalived为Haproxy主从提供高可用保证haproxy-master若挂掉haproxy-backup能无缝接管,haproxy为后端Web提供负载均衡,缓解并发压力,实现WEB站点负载均衡+高可用性;2.Haproxy反代w..
分类:数据库   时间:2014-05-04 17:38:05    阅读次数:888
Mahout学习
Mahout小案例学习,实现k-means算法。环境:OS:Centos 6.5 x64 & Soft:Hadoop 1.2.1 & Mahout 0.91、下载测试数据[huser@master hadoop]$ wget http://archive.ics.uci.edu/ml/databas...
分类:其他好文   时间:2014-05-04 12:34:58    阅读次数:340
mysql主从复制
安装配置环境: os:centos 5.4 mysql:5.5.37 虚拟server1:mysql_master(192.168.40.241) 虚拟server2:mysql_slave(192.168.40.242)安装Mysql: 可参考解压后的INSTALL-BINARY,如下: shel...
分类:数据库   时间:2014-05-04 12:34:32    阅读次数:516
Hadoop MRUnit使用(一)
之前在写MR job的时候,由于要在云梯,或者一淘的开发集群上运行;所以处理方法是,在本地打成jar包,然后scp到客户端网关机上,然后在提交job运行。这样的问题时,有时候如果遇到一些逻辑上的问题,job跑挂了。必须在本地修改程序,然后重新打包,scp,再运行,这样比较麻烦;询问了一圈,觉得采用M...
分类:其他好文   时间:2014-05-04 10:54:29    阅读次数:427
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apa...
分类:其他好文   时间:2014-05-04 10:43:51    阅读次数:370
使用hadoop multipleOutputs对输出结果进行不一样的组织
MapReduce job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中,框架自己会自动对输出文件进行命名和组织,如:part-(m|r)-00000之类。但有时为了后续流程的方便,我们常需要对输出结果进行一定的分类和组织。...
分类:其他好文   时间:2014-05-04 10:22:15    阅读次数:341
高效5步走,快速搭建Hadoop2伪分布环境
前两天将Hadoop2的完全分布式搭建文档整理发布于网上(http://blog.csdn.net/aaronhadoop/article/details/24859369),朋友相邀,就再将Hadoop2的伪分布式文档整理一下,搭建过Hadoop2完全分布式后,就笑对“伪分布式”说声 呵呵吧。        前期的jdk环境、SSH免密钥登录配置在此就不再赘述了,直接进入hadoop2的配...
分类:其他好文   时间:2014-05-03 21:51:45    阅读次数:344
hadoop无法启动
dataNode 无法启动是配置过程中最常见的问题,主要原因是多次format namenode 造成namenode 和datanode的clusterID不一致。建议查看datanode上面的log信息。解决办法:修改每一个datanode上面的CID(位于dfs/data/current/VERSION文件夹中)使两者一致。...
分类:其他好文   时间:2014-05-03 21:37:44    阅读次数:308
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!