码迷,mamicode.com
首页 > 其他好文 > 详细

学习大数据,你的职业是如何规划的?

时间:2019-07-07 09:13:54      阅读:130      评论:0      收藏:0      [点我收藏+]

标签:概念   logs   用处   数据可视化   英语   流式计算   elastics   stash   关系模型   

作为IT类职业中的“大熊猫”,大数据人才(数据工程师,数据分析师,数据挖掘师,算法工程师等)、在国内人才市场可谓是一颗闪耀的新星。由于刚刚出于萌芽阶段,这个领域出现很大的人才缺口。

学习大数据,你的职业是如何规划的?

1 大数据人才做什么?

2 需要具备的能力

2.1 精通SQL

2.2 数据模型技能

2.3 ETL设计

2.4 架构项目

3 知识体系

机器学习基础

机器学习工具

3.1 大数据通用处理平台

3.2 分布式存储

3.3 资源调度

3.4 机器学习工具

3.5 数据分析/数据仓库(SQL类)

3.6 消息队列

3.7 流式计算

3.8 日志收集

3.9 编程语言

3.10 数据分析挖掘

3.11 数据可视化

3.12 机器学习

4 大数据人才的职业发展

4.1 薪酬待遇

4.2 职业发展路径

1 大数据人才做什么?

大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。

大数据开发学习有一定难度,零基础入门首先要学习Java语言打基础,一般而言,Java学习SE、EE,需要约3个月的时间;然后进入大数据技术体系的学习,主要学习Hadoop、Spark、Storm等,从零基础到精通学习大数据扣扣群606859705分享大数据学习资源,有大佬指导学习,学习路线清晰

因此,分析历史、预测未来、优化选择,这是大数据人才在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策,找出最优化的结果。

2 需要具备的能力

2.1 精通SQL

如果英语是业务的交流工具,那么SQL就是数据的交流工具。一个不会流利的英语的业务人员能有多大的成就?不管任何技术时代的产生和更替,SQL一直是数据的通用语。数据工程师应该有能用SQL表达任何‘相关子查询’和窗口函数复杂度的技术能力。对数据工程师来说初始SQL/DML/DDL简单到根本没有难度。即使是没有接触过SQL的人,他也能读懂并明白数据库的执行计划,了解所有步骤,知道程序怎么被调用,连接算法的不同和执行计划内的分布式维度。

2.2 数据模型技能

作为一个数据工程师,有对实体-关系模型的认知反射,规范化的清晰认识,权衡反规范化的敏锐直觉。数据工程师应该熟悉维度建模及相关概念与术语。

2.3 ETL设计

能够写出有效率、有弹性的、“可发展”的ETL任务是一个关键。

2.4 架构项目

就如任何一个领域的专家的专业技能一样,数据工程师需要一个较高层次的综括,对大多数的工具,平台,库,和其他供他支配的资源的了解。认识到不同类型的数据库、计算引擎、流处理器、消息队列、工作流协调器、序列化格式及其他相关技术的属性、用例、微妙之处。在设计解决方案的时候,他应该有能力选择即将要使用的技术,并有一个构想去协调怎么使他们一起更好地工作。

3 知识体系

3.1 大数据通用处理平台

Spark

Flink

Hadoop

3.2 分布式存储

HDFS

3.3 资源调度

Yarn

Mesos

3.4 机器学习工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微软分布式机器学习工具)

3.5 数据分析/数据仓库(SQL类)

Pig

Hive

kylin

Spark SQL,

Spark DataFrame

Impala

Phoenix

ELK

ElasticSearch

Logstash

Kibana

3.6 消息队列

Kafka(纯日志类,大吞吐量)

RocketMQ

ZeroMQ

ActiveMQ

RabbitMQ

3.7 流式计算

Storm/JStorm

Spark Streaming

Flink

3.8 日志收集

Scribe

Flume

3.9 编程语言

Java

Python

R

Ruby

Scala

3.10 数据分析挖掘

MATLAB

SPSS

SAS

3.11 数据可视化

R

D3.js

ECharts

Excle

Python

3.12 机器学习

机器学习基础

聚类

时间序列

推荐系统

回归分析

文本挖掘

决策树

支持向量机

贝叶斯分类

神经网络

深度学习

机器学习工具

Mahout

Spark Mlib

TensorFlow (Google 系)

Amazon Machine Learning

DMTK (微软分布式机器学习工具)

4 大数据人才的职业发展

4.1 薪酬待遇

作为IT类职业中的“大熊猫”,大数据人才的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。

4.2 职业发展路径

由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展,成为重要数据战略人才。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。

学习大数据,你的职业是如何规划的?

标签:概念   logs   用处   数据可视化   英语   流式计算   elastics   stash   关系模型   

原文地址:https://blog.51cto.com/14342636/2417802

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!