码迷,mamicode.com
首页 > 其他好文 > 详细

2014年12月总结和2014年1月计划

时间:2014-12-31 22:50:23      阅读:208      评论:0      收藏:0      [点我收藏+]

标签:

2014年12月总结:

这月1号新工作开始了我的大数据之旅,从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑,不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下:

mosquittio->flume agent->flume collector->sparkstreaming/hive->mysql/redis。使用的是CDH5.2.0。 spark使用的是spark on yarn

实际上只是勉强搭建出来勉强负担现在的业务,大部分东西只是知道大概如何使用,不清楚具体的原理,当项目推展开数据上来后,心里完全是没有底的,这也是没办法,时间太紧了。希望下个月兼顾工作的同时,能对现在的事情心里有个底儿吧。

同时,这月开始试着去写博客,在博客中记录我工作期间遇到并解决的坑,和工作期间学习的一些知识一些心得。

 

2015年1月计划:

1、学习并熟悉使用spark ,spark sql,sparkstreaming,熟悉其中的原理,熟悉优化,熟悉如何评估集群的负载能力。(针对多少量的数据,使用什么样的集群)

2、通读一下flume的源码,解决一下期间我自己留下的各种疑惑。 同时也需要确定如何评估和监测flume的具体负载能力。 将来生产环境的数据量是随着上的客户增多而增多的,大体的数据规模是可以预测的。 但我对于flume的负载能力是一点都没有底,希望通过研读代码来确定这些。

3、 期间正在学习炼数成金的算法导论,所以继续学习

4、将手里的Spark大数据处理读完,并且开始阅读hadoop权威指南(第三版)

 

2014年12月总结和2014年1月计划

标签:

原文地址:http://www.cnblogs.com/hark0623/p/4196705.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!