1.修改主机名： # hostname bigdata-cdh01.ibeifeng.com # vi /etc/sysconfig/network 2.关闭linux系统的邮件功能自动提示： echo "unset MAILCHECK">> /etc/profile 3.ssh免密码登录 用户主目 ...
分类：
系统相关 时间：
2017-09-06 00:26:48
阅读次数：
202
做Data Mining，其实大部分时间都花在清洗数据 时间 2016-12-12 18:45:50 51CTO 原文 http://bigdata.51cto.com/art/201612/524771.htm 主题 数据挖掘 时间 2016-12-12 18:45:50 51CTO 原文 htt ...
分类：
其他好文 时间：
2017-09-05 01:42:24
阅读次数：
181
欢迎大家前往腾讯云技术社区，获取更多腾讯海量技术实践干货哦~ DevOps可以让人工智能（AI）、大数据（Bigdata）、云计算（Cloud）更加高效地落地，越来越多的企业和团队在践行DevOps。腾讯云DevOps产品总监秦俊表示，腾讯云将陆续开放TAPD（腾讯敏捷研发平台）、TGit（腾讯Gi ...
分类：
其他好文 时间：
2017-08-27 13:33:16
阅读次数：
199
显示表头，当前终端有效 set hive.cli.print.header=true; 查看表结构 desc table; 详细的表结构 desc formatted table; 删除表 drop table tablename; 帮助命令 root@ubuntu:/app/bigdata/hiv ...
分类：
其他好文 时间：
2017-08-23 20:04:33
阅读次数：
231
分片和副本集混合运用： 基本架构图： 搭建详细配置： 3个shard + 3个replicat set + 3个configserver + 3个Mongos shardrsname Primary Secondary Secondary port bigdata-sh-a bigdata-sh-a ...
分类：
数据库 时间：
2017-08-20 14:48:21
阅读次数：
291
hive库清表，删除数据 insert overwrite table lorry.bigdata select * from lorry.bigdata where 1=0 ...
分类：
其他好文 时间：
2017-08-20 12:33:56
阅读次数：
197
package my.bigdata.movieTask.action; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObject; ... ...
分类：
Web程序 时间：
2017-08-14 23:32:00
阅读次数：
266
MR(MapReduce)运行过程 client程序--》提交job至JobTracker--》分配job ID--》JobTracker检查输入文件存在，输出文件不存在--》进行输入分片--》Jobtracker分配资源--》初始化job（初始化就是创建一个正在运行的job对象（封装任务和记录信息 ...
分类：
其他好文 时间：
2017-07-24 09:59:05
阅读次数：
172
HDFS的IO操作 1.数据完整性 为了保证数据的完整性，一般采用数据校验技术： 1、奇偶校验技术 2、md5，sha1等校验技术 3、CRC-32循环冗余校验技术 4、ECC内存纠错校验技术HDFS数据完整性 1、HDFS以透明方式校验所有写入的数据，可以通过io.bytes.per.checks ...
分类：
其他好文 时间：
2017-07-21 10:25:31
阅读次数：
206
在写这篇文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因，一是因为大家对新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了， ...
分类：
其他好文 时间：
2017-07-20 10:28:39
阅读次数：
556
