标签:页面 一点 机器 cpu 标准化 硬件配置 补齐 建议 时间
【工作内容】
1.先说说25,26,以及今天上午的工作进度
最近三天的工作节奏基本上是一样的,24h不间断上传数据,基本上到现传了40%,然后另外借了一台电脑开发前端界面。
2.反思
由于硬件配置有限,上传数据的时候cpu基本在90%的占用率上跑,这样的话就做不了别的事情,借了台别的电脑也只能是开发前端页面,因为别人电脑上没有配置虚拟机以及hadoop生态,所以就很尴尬。有人建议先传一部分数据先做,但是可能自己有点执拗吧,非得想着把数据传完在做,觉得这样自己调试着也方便。这样的话分析模型那一块的进度算是被耽误的比较严重,这一点也怪我之前没考虑到位。之前用了一个小文件测试了一下,感觉传的挺快,没想到数据量大了速度会降这么多,而且数据格式不统一,前期做数据标准化以及自己的容错机制也花了点时间。
3.总结
总之现在进度落下的挺多的,尽量在两周内补齐吧。
【生活感悟】
由于每个数据文件大约有100W条数据,传完大概需要2.5h,机器跑完一份文件需要手动更改文件参数,跑下一个,(电脑内存有限,无法使用脚本循环更换文件,之前试过了),为了充分利用时间连续熬了两个通宵,但是第三晚实在熬不住了,回宿舍睡到第二天十点左右,反而影响了进度,自己的身体也有点吃不消。其实还是在自己能承受的范围内做工作调度,太过分反而会影响效率。
标签:页面 一点 机器 cpu 标准化 硬件配置 补齐 建议 时间
原文地址:http://www.cnblogs.com/420Rock/p/7742362.html