1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
粗略步骤： 详细参考：https://www.2cto.com/net/201804/735478.html 环境：ubunut jdk hadoop mysql 一、下载hive 二、解压（到指定目录） 三、配置 /etc/profile [环境变量] - 执行： source /etc/prof ...
分类：
系统相关 时间：
2019-01-01 11:41:57
阅读次数：
234
linux mkdir 命令用来创建指定的名称的目录，要求创建目录的用户在当前目录中具有写权限，并且指定的目录名不能是当前目录中已有的目录。 1．命令格式： mkdir [选项] 目录... 2．命令功能： 通过 mkdir 命令可以实现在指定位置创建以 DirName(指定的文件名)命名的文件夹或 ...
分类：
系统相关 时间：
2018-12-31 15:48:39
阅读次数：
231
一、CICD和DevOps 前面已经了解了CI/CD,其实CI/CD已经存在多年了，只是最近软件工程方面又提出了敏捷开发、DevOps，又把CI/CD炒火了。 那么什么是DevOps？DevOps和CI/CD有又什么关系呢？ 以下内容摘自https://en.wikipedia.org/wiki/D ...
分类：
其他好文 时间：
2018-12-31 14:41:43
阅读次数：
461
SQL如何在Mapreduce执行 左边是数据表，右边是结果表，这条 SQL 语句对 age 分组求和，得到右边的结果表，到底一条简单的 SQL 在 MapReduce 是如何被计算， MapReduce 编程模型只包含 map 和 reduce 两个过程，map 是对数据的划分，reduce 负责 ...
分类：
数据库 时间：
2018-12-30 22:22:08
阅读次数：
366
一.摘要:利用内容解释器调用联系人应用的内容提供者暴露的方法,读取联系人信息.(本节只总结实现步骤,解释请看http://www.xuanyusong.com/archives/169) 二.主要逻辑: 1.获取内容解释者mResolver 2.调用解释者的query方法获取cursor 3.遍历c ...
分类：
移动开发 时间：
2018-12-30 02:46:08
阅读次数：
296
最初的2小时，你会爱上Docker，对原理和使用流程有个最基本的理解，避免满世界无头苍蝇式找资料。本人反对暴风骤雨式多管齐下狂轰滥炸的学习方式，提倡迭代学习法，就是先知道怎么玩，有个感性认识，再深入学习高级用法，深层原理，一轮轮迭代。坚决反对一上来就搞几百页厚的东西把人脑子弄乱。 Docker是什么 ...
分类：
其他好文 时间：
2018-12-27 18:31:13
阅读次数：
139
alias：给命令起别名 awk = "Aho Weiberger and Kernighan" ，三个作者的姓的第一个字母 bash：GNU Bourne-Again Shell，大多Linux的默认shell bc = Basic Calculator，基础计算器，scale设定小数位，quit ...
分类：
系统相关 时间：
2018-12-26 20:00:03
阅读次数：
212
