构建数据仓库(Slave1)1、解压数据库tar-zxvfapache-hive-1.2.2-bin.tar.gz/usr/local/cd/usr/local/mvapache-hive-1.2.2hive2、为hive添加环境变量编辑/etc/profile文件，增加hive相关的环境变量配置profile文件编辑完成后，执行下面命令，让配置生效，命令是3、配置hive-site.xmlhiv
分类：
其他好文 时间：
2019-01-09 17:27:30
阅读次数：
169
《Windows Azure Platform 系列文章目录》 上传一下之前在2018 TechSummit的动手实验营：Azure数据仓库PaaS项目架构规划与实战入门 包含PPT和Word版本技术材料 点击下载 ...
分类：
数据库 时间：
2019-01-08 15:04:30
阅读次数：
194
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传 ...
分类：
数据库 时间：
2019-01-07 01:32:55
阅读次数：
176
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上 消息系统：可以加入Kafka防止数据丢失 实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中 机器学习：使用了Spark MLlib ...
分类：
其他好文 时间：
2019-01-04 14:49:53
阅读次数：
154
1.数仓建模的目标 访问性能：能够快速查询所需的数据，减少数据I/O数据成本：减少不必要的数据冗余，实现计算结果数据复用，降低大数据系统中的存储成本和计算成本使用效率：改善用户应用体验，提高使用数据的效率数据质量：改善数据统计口径的不一致性，减少数据计算错误的可能性，提供高质量的、一致的数据访问平台 ...
分类：
其他好文 时间：
2019-01-04 10:34:11
阅读次数：
176
1) 数据采集：定制开发采集程序，或使用开源框架FLUME 2) 数据预处理：定制开发mapreduce程序运行于hadoop集群 3) 数据仓库技术：基于hadoop之上的Hive 4) 数据导出：基于hadoop的sqoop数据导入导出工具 5) 数据可视化：定制开发web程序或使用kettle ...
分类：
其他好文 时间：
2019-01-02 23:28:02
阅读次数：
243
在数据平台的建设中，数据一致性一直是一个难题，在常规的解决思路上，一般是通过加强数据仓库的建设来保证。不过由于业务的复杂性，需求来源的多样性，数据仓库无法完全消除这个问题，所以需要建设一个专业数据治理平台来辅助实现，达成数据一致性目标。 ...
分类：
其他好文 时间：
2018-12-28 13:29:01
阅读次数：
232
背景 作为一家高度数字化和技术驱动的公司，美团非常重视数据价值的挖掘。在公司日常运行中，通过各种数据分析挖掘手段，为公司发展决策和业务开展提供数据支持。经过多年的发展，美团酒旅内部形成了一套完整的解决方案，核心由数据仓库+各种数据平台的方式实现。其中数据仓库整合各业务线的数据，消灭数据孤岛；各种数据 ...
分类：
其他好文 时间：
2018-12-27 20:58:23
阅读次数：
917
微信公众号：FocusBI 关注可了解更多的商业智能、数据仓库、数据库开发、爬虫知识及沪深股市数据推送。问题或建议，请关注公众号发送消息留言;如果你觉得FocusBI对你有帮助，欢迎转发朋友圈或在文章末尾点赞[1] 最近有很多朋友在公众号后台留言什么时候可以开课，咨询是否系统可以提供给他们使用，首先 ...
分类：
其他好文 时间：
2018-12-27 00:31:00
阅读次数：
228
4大特点解析华为云数据湖“黑科技”如果有人问数据湖是什么，我会告诉他们，是“桶装水”的集合。随着企业业务的发展，数据出现井喷，数据量呈几何增长，数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”，已经承载不了全部水体，因此需要一个可以满足存储需求的，新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流，包括大量无序的非结构化数据（文本、图像、声音、网页等）。我们把它倒入数据湖，然
分类：
其他好文 时间：
2018-12-24 11:16:29
阅读次数：
134
