大体方向为 临时提数-->报表系统及数据仓库建设-->自助数据分析平台-->数据应用 此方向是根据其基础性进行排序,非固定顺序, 如在临时提数阶段,也可以建设数据仓库,提高临时提数的质量与速度. 临时提数: 在初期, 因无一个成熟的报表系统,故业务部门会有很多日常数据需求, 此时BI会做很多临时提数 ...
分类：
其他好文 时间：
2018-07-08 19:03:15
阅读次数：
154
一、Informatica介绍Informatica PowerCenter 是Informatica公司开发的世界级的企业数据集成平台，也是业界领先的ETL工具。Informatica PowerCenter使用户能够方便地从异构的已有系统和数据源中抽取数据，用来建立、部署、管理企业的数据仓库，从 ...
分类：
其他好文 时间：
2018-07-08 15:39:53
阅读次数：
289
1.启动hiveserver2服务器，监听端口是10000,启动名令：hive service hiveserver2 &;//将其放在后台进行运行，判断启动是否成功的标志是：jps,是否有RunJar进程，或者netstat anop |grep 10000查看10000端口是否连接 ，如果可以连 ...
分类：
数据库 时间：
2018-07-07 23:06:43
阅读次数：
243
广义上来说，Hadoop大数据平台也可以看做是新一代的数据仓库系统， 它也具有很多现代数据仓库的特征，也被企业所广泛使用。因为MPP架构的可扩展性，基于MPP的数据仓库系统有时候也被划分到大数据平台类产品。 但是数据仓库和Hadoop平台还是有很多显著的不同。针对不同的使用场景其发挥的作用和给用户带 ...
分类：
其他好文 时间：
2018-07-07 20:54:38
阅读次数：
173
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的 ...
分类：
其他好文 时间：
2018-07-06 15:52:30
阅读次数：
127
知识准备 1、PV（pageview），用户点击网页的次数。 2、UV，唯一用户数。 3、COOKIE_ID，识别唯一用户数的ID。 4、推广渠道，指电商行业推广的方式，常见渠道有导航、硬广、网盟、SEM、SEO。 一、点击流数据仓库建设的意义 1、帮助企业评估各推广渠道的推广效果； 2、给会员精准 ...
分类：
其他好文 时间：
2018-07-05 21:33:23
阅读次数：
160
1.Hive简介 Hive是一个基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一个表。并提供类SQL查询功能， 可以将sql语句转换为MapReduce任务运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce 统计，不必开发专门的MapReduce应用，十 ...
分类：
其他好文 时间：
2018-07-05 17:15:37
阅读次数：
110
简介：ApacheSqoop是专为ApacheHadoop和结构化数据存储如关系数据库之间的数据转换工具的有效工具。你可以使用Sqoop从外部结构化数据存储的数据导入到Hadoop分布式文件系统或相关系统如Hive和HBase。相反，Sqoop可以用来从Hadoop的数据提取和导出到外部结构化数据存储如关系数据库和企业数据仓库。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务
分类：
其他好文 时间：
2018-07-03 18:17:46
阅读次数：
168
ETL （数据仓库技术）：ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 mySQL （关系型数据库管理系统 ...
分类：
其他好文 时间：
2018-07-01 20:24:30
阅读次数：
205
推荐一个大数据学习群 119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享， 这两天小编去了解了下大数据开发相关职位的薪资，主要有hadoop工程师，数据挖掘工程师、大数据算法工程师等，从平均薪资来 ...
分类：
其他好文 时间：
2018-06-30 12:45:24
阅读次数：
197
