码迷,mamicode.com
首页 > 其他好文 > 详细

毕设开发日志2017-10-27

时间:2017-10-27 13:23:29      阅读:140      评论:0      收藏:0      [点我收藏+]

标签:页面   一点   机器   cpu   标准化   硬件配置   补齐   建议   时间   

【工作内容】

1.先说说25,26,以及今天上午的工作进度

  最近三天的工作节奏基本上是一样的,24h不间断上传数据,基本上到现传了40%,然后另外借了一台电脑开发前端界面。

2.反思

  由于硬件配置有限,上传数据的时候cpu基本在90%的占用率上跑,这样的话就做不了别的事情,借了台别的电脑也只能是开发前端页面,因为别人电脑上没有配置虚拟机以及hadoop生态,所以就很尴尬。有人建议先传一部分数据先做,但是可能自己有点执拗吧,非得想着把数据传完在做,觉得这样自己调试着也方便。这样的话分析模型那一块的进度算是被耽误的比较严重,这一点也怪我之前没考虑到位。之前用了一个小文件测试了一下,感觉传的挺快,没想到数据量大了速度会降这么多,而且数据格式不统一,前期做数据标准化以及自己的容错机制也花了点时间。

3.总结

  总之现在进度落下的挺多的,尽量在两周内补齐吧。

【生活感悟】

  由于每个数据文件大约有100W条数据,传完大概需要2.5h,机器跑完一份文件需要手动更改文件参数,跑下一个,(电脑内存有限,无法使用脚本循环更换文件,之前试过了),为了充分利用时间连续熬了两个通宵,但是第三晚实在熬不住了,回宿舍睡到第二天十点左右,反而影响了进度,自己的身体也有点吃不消。其实还是在自己能承受的范围内做工作调度,太过分反而会影响效率。

  

毕设开发日志2017-10-27

标签:页面   一点   机器   cpu   标准化   硬件配置   补齐   建议   时间   

原文地址:http://www.cnblogs.com/420Rock/p/7742362.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!