码迷,mamicode.com
首页 > 其他好文 > 详细

hadoop工作平台梳理

时间:2015-08-19 11:06:48      阅读:141      评论:0      收藏:0      [点我收藏+]

标签:

  文章 http://blog.csdn.net/lili72/article/details/41130743

   lili72 

数据平台:

                  一、  hadoop平台:Hbase。hive,storm,spark
                        1) 部署hadoop到多台机器,调整配置參数,保证正常执行。可能出现作业挂死现象。
                        2) 部署hiveclient,元数据库mysql等的配置,hiveclient是不參与集群的。mysql也是安置在另外一台server上集群的。


                        3) 部署Hbase,storm,spark
                  二 、 调度系统: 数据是每天接入能够看做是每天要跑的任务。并且任务间存在依赖,须要完好的依赖触发机制。


                         1) 把全部的脚本或者MR,包含数据接入。数据清洗,数据加工都配置成一个个的任务。记录这些任务的执行时间,是否存在依赖等
                         2) 各种类型的任务一定要可控。比方。MR,shell,hive命令统一记录相应信息。方便以下的监控预警系统。

   
                  三、 监控预警系统:
                            1) 平台监控与预警:
                                1.1  hadoop本身的监控系统。看job执行状况。
                                1.2  还有对lunixserver的io,cpu,硬盘大小做监控。超过阀值,则发信息通知相应的负责人。


                            2) 任务监控与预警:
                                2.1  任务包含但不仅限于数据採集任务,ETL任务,同步到mysql的任务。

这里的任务可能是一个MR。或者是一个shell脚本,或者其它程序。
                                      监控这些任务的运行情况,记录报错日志,发送报错信息到相应负责人。


                            3) 数据质量监控与预警
                               3.1  检查当天数据源是否正常,比方文件个数。文件大小,文件到达时间等。假设数据源有问题,事实上任务调度系统就停在数据源採集任务步骤。
                               3.2  检查各数据的指标项的同比,环比,增幅等,看是否有超过阀值的数据,有责预警。
                          
                  四、 报表展示
                         1) 前端html5或者hightchars或者多维报表工具展现
                       
     数据架构:
    1、 首先整体来说,数据是分3层的
        1.1  s48-源数据层: 
            1.1.1 文件来源,分布到多台机器文本文件,按天或者按小时生成的文件。通过shell脚本,运行定时远程复制,把数据转移到hdfs中的hive里,按天或小时分区,甚至按分钟。


                  操作方式:hive -e \"LOAD DATA LOCAL INPATH ‘${SourPath}/${day}/${hour}‘ OVERWRITE INTO TABLE xxx_database.xxx_table PARTITION (dt=‘${day}‘,db=${hour});\"
                  长处:操作简便。缺点:无法确保数据的完整性,假设数据没有正常提供,load命令报错,须要在load之前加.ok 文件,确保文件已经完整提供。


                     时间点依赖。假设文件没有按时过来,该load命令须要推迟运行。(结合调度系统使用)
            1.1.2 关系型数据库来源。比方mysql。sqlserver,oracle。

通过定时sqoop到hive中,或者通过开源工具kettle同步到hive,或者写MR定制导入数据。


                  操作方式:分增量或者全量的方式,sqoop 命令,有时sqoop异常,比方源数据库所在网络组和集群不在同一个网段。源数据存在特殊字符JDBC-connective不支持
                            使用kettle生成文件。然后导入到hive
                   总结:三种方式各有各的长处和局限性。
            1.1.3 通过kafka主题分发。实时消费,解析json数据,按天存放到txt文件,然后导入到hive中。

有异常(无法解析。

不符合json格式)数据放到bad.txt,其他放在正常业务数据中
                  保留一份解析前的数据。同一时候生成一份解析后的数据。自己主动load到hive中。或者数据直接进入storm中,进行实时计算。
        1.2  t48-数据清洗
            1.2.1 轻度清洗,比方去除反复数据(使用udf的row_number),替换某些字符(replace)。切分某些字段(可能一个字段包括多个语义)。


            1.2.3 要充分考虑使用hive的时候。hql的可优化性。减轻平台负担。
        1.3  t68-数据加工,etl过程。分组
            1.3.1 依据业务含义,依照不同纬度(平台。版本号。渠道。类型。日期等)汇总,关联计算等,(比方留存率。活跃用户数,用户流失率。总用户数。总登陆次数等)。
            包含行转列,列转行。这个过程主要是case when,group by ,(with CUBE ,ROLLUP,GROUPING SETS )等。
        1.4  sqoop到mysql中,或者送到指定的路径。通过webservice接口服务。
             1.4.1 通过sqoop命令或者自己定义MR处理特殊的某些数据,从hive到mysql,因为某些字符集mysql版本号不支持。


   
   (全部的操作都要考虑重跑机制,出错自己主动又一次发起。追历史数据,支持传入參数。有默认參数值)
     1 接口确定:
      前置条件:业务提出需求形成需求文档。
      工作内容:评估需求可行性(依据眼下数据平台架构,能否满足业务的须要)。分析需求涉及的接口范围,及时和业务沟通需求点。评估需求花费时间,发需求确认邮件。
      产出结果: 确认好的接口文档。(接口文档包含建表的每一个字段英文和中文说明,表名称说明,从源到下一层的映射关系详细说明。码值含义,评估的每天数据量,保存周期) 
     2 ETL开发:(包含数据清洗和数据加工)
       前置条件:接口文档已经确定完毕
       工作内容:ETL过程设计,依据接口文档建好表,依据ETL设计文档,编写代码。验证逻辑。大多都是写hive sql来完毕。

也有些也须要自己定义MR来写。比方(ip转数字,)。自己定义udf函数
                 处理(row_number(),过滤特殊字符的udf,ip省市映射)
       产出结果:etl设计文档,etl代码(sql或Java)
     3 报表展现:
       前置条件:etl已经产出结果
       工作内容:sqoop dm层数据到mysql或者自己定义MR导出数据到mysql。前端html5个性化展示。或者hightchar
       产出结果:业务能前台,按各种查询条件获得所须要的数据展现。
       
     4 报表审核:
       前置条件:报表开发已经完毕。
       工作内容:依据业务需求。有针对性的检查数据真实性,有效性。


       产出结果:审核文档,保证报表数据质量准确。


       
      5 交货验收:操作实际使用。

版权声明:本文博客原创文章。博客,未经同意,不得转载。

hadoop工作平台梳理

标签:

原文地址:http://www.cnblogs.com/yxwkf/p/4741436.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!