标签:
文章 http://blog.csdn.net/lili72/article/details/41130743
lili72
数据平台:
一、 hadoop平台:Hbase。hive,storm,spark
3) 部署Hbase,storm,spark
二 、 调度系统: 数据是每天接入能够看做是每天要跑的任务。并且任务间存在依赖,须要完好的依赖触发机制。
1) 把全部的脚本或者MR,包含数据接入。数据清洗,数据加工都配置成一个个的任务。记录这些任务的执行时间,是否存在依赖等
2) 各种类型的任务一定要可控。比方。MR,shell,hive命令统一记录相应信息。方便以下的监控预警系统。
三、 监控预警系统:
1) 平台监控与预警:
1.1 hadoop本身的监控系统。看job执行状况。
1.2 还有对lunixserver的io,cpu,硬盘大小做监控。超过阀值,则发信息通知相应的负责人。
2) 任务监控与预警:
2.1 任务包含但不仅限于数据採集任务,ETL任务,同步到mysql的任务。
这里的任务可能是一个MR。或者是一个shell脚本,或者其它程序。
监控这些任务的运行情况,记录报错日志,发送报错信息到相应负责人。
3) 数据质量监控与预警
3.1 检查当天数据源是否正常,比方文件个数。文件大小,文件到达时间等。假设数据源有问题,事实上任务调度系统就停在数据源採集任务步骤。
3.2 检查各数据的指标项的同比,环比,增幅等,看是否有超过阀值的数据,有责预警。
四、 报表展示
1) 前端html5或者hightchars或者多维报表工具展现
数据架构:
1、 首先整体来说,数据是分3层的
1.1 s48-源数据层:
1.1.1 文件来源,分布到多台机器文本文件,按天或者按小时生成的文件。通过shell脚本,运行定时远程复制,把数据转移到hdfs中的hive里,按天或小时分区,甚至按分钟。
操作方式:hive -e \"LOAD DATA LOCAL INPATH ‘${SourPath}/${day}/${hour}‘ OVERWRITE INTO TABLE xxx_database.xxx_table PARTITION (dt=‘${day}‘,db=${hour});\"
长处:操作简便。缺点:无法确保数据的完整性,假设数据没有正常提供,load命令报错,须要在load之前加.ok 文件,确保文件已经完整提供。
时间点依赖。假设文件没有按时过来,该load命令须要推迟运行。(结合调度系统使用)
1.1.2 关系型数据库来源。比方mysql。sqlserver,oracle。
通过定时sqoop到hive中,或者通过开源工具kettle同步到hive,或者写MR定制导入数据。
操作方式:分增量或者全量的方式,sqoop 命令,有时sqoop异常,比方源数据库所在网络组和集群不在同一个网段。源数据存在特殊字符JDBC-connective不支持
使用kettle生成文件。然后导入到hive
总结:三种方式各有各的长处和局限性。
1.1.3 通过kafka主题分发。实时消费,解析json数据,按天存放到txt文件,然后导入到hive中。
有异常(无法解析。
不符合json格式)数据放到bad.txt,其他放在正常业务数据中
保留一份解析前的数据。同一时候生成一份解析后的数据。自己主动load到hive中。或者数据直接进入storm中,进行实时计算。
1.2 t48-数据清洗
1.2.1 轻度清洗,比方去除反复数据(使用udf的row_number),替换某些字符(replace)。切分某些字段(可能一个字段包括多个语义)。
1.2.3 要充分考虑使用hive的时候。hql的可优化性。减轻平台负担。
1.3 t68-数据加工,etl过程。分组
1.3.1 依据业务含义,依照不同纬度(平台。版本号。渠道。类型。日期等)汇总,关联计算等,(比方留存率。活跃用户数,用户流失率。总用户数。总登陆次数等)。
包含行转列,列转行。这个过程主要是case when,group by ,(with CUBE ,ROLLUP,GROUPING SETS )等。
1.4 sqoop到mysql中,或者送到指定的路径。通过webservice接口服务。
1.4.1 通过sqoop命令或者自己定义MR处理特殊的某些数据,从hive到mysql,因为某些字符集mysql版本号不支持。
(全部的操作都要考虑重跑机制,出错自己主动又一次发起。追历史数据,支持传入參数。有默认參数值)
1 接口确定:
前置条件:业务提出需求形成需求文档。
工作内容:评估需求可行性(依据眼下数据平台架构,能否满足业务的须要)。分析需求涉及的接口范围,及时和业务沟通需求点。评估需求花费时间,发需求确认邮件。
产出结果: 确认好的接口文档。(接口文档包含建表的每一个字段英文和中文说明,表名称说明,从源到下一层的映射关系详细说明。码值含义,评估的每天数据量,保存周期)
2 ETL开发:(包含数据清洗和数据加工)
前置条件:接口文档已经确定完毕
工作内容:ETL过程设计,依据接口文档建好表,依据ETL设计文档,编写代码。验证逻辑。大多都是写hive sql来完毕。
也有些也须要自己定义MR来写。比方(ip转数字,)。自己定义udf函数
处理(row_number(),过滤特殊字符的udf,ip省市映射)
产出结果:etl设计文档,etl代码(sql或Java)
3 报表展现:
前置条件:etl已经产出结果
工作内容:sqoop dm层数据到mysql或者自己定义MR导出数据到mysql。前端html5个性化展示。或者hightchar
产出结果:业务能前台,按各种查询条件获得所须要的数据展现。
4 报表审核:
前置条件:报表开发已经完毕。
工作内容:依据业务需求。有针对性的检查数据真实性,有效性。
产出结果:审核文档,保证报表数据质量准确。
5 交货验收:操作实际使用。
版权声明:本文博客原创文章。博客,未经同意,不得转载。
标签:
原文地址:http://www.cnblogs.com/yxwkf/p/4741436.html