码迷,mamicode.com
首页 >  
搜索关键字:大数据 spark    ( 18881个结果
[JS][easyui]jQuery EasyUI Datagrid VirtualScrollView视图简单分析
?? 大家都知道EasyUI的Datagrid组件在加载大数据量时的优势并不是很明显,相对于其他一些框架,如果数据量达到几千,便会比较慢,特别是在IE下面。针对这种情况,我们首要做的是要相办法优化datagrid组件的各方面性能,不过任何事情都是可以变通解决的,virtualScrollView就是一种不错的解决方案。 virtualScrollView的准则就是尽量少画tr到table里,表...
分类:Web程序   时间:2014-07-22 22:49:13    阅读次数:334
解决CodeIgniter大量查询sql时占用内存大问题
最近的项目上面做大数据插入时总提示内存超出限制 不管怎样unset结果内存仍然很大! 最终发现是CI的机制导致,只要关闭掉问题解决了 $this->db->save_queries = FALSE; 它会把所有执行的SQL保存一份在内存做调试;...
分类:数据库   时间:2014-07-22 08:16:37    阅读次数:251
我的大数据实践之路-洗脑篇
1. 什么是大数据 五个简单故事告诉你什么是“大数据” 2.如何看待大数据 要全体不要抽样,要效率不要绝对精确,要相关不要因果 3.大数据能干什么 通过用户的使用习惯来预判用户的行为 4.大数据应用场景...
分类:其他好文   时间:2014-07-22 08:13:36    阅读次数:178
打造基于hadoop的网站日志分析系统(5)之spark在日志分析系统里的简单应用
1.下载spark和运行 wget?http://apache.fayea.com/apache-mirror/spark/spark-1.0.0/spark-1.0.0-bin-hadoop2.tgz 我这里下载的是1.0.0版,由于我们只是测试spark的用法所以不需要配置spark集群,只需把下好的文件...
分类:Web程序   时间:2014-07-21 10:21:45    阅读次数:206
大数据三特点的理解
写这篇文章始于对维克托前辈《大数据时代》的理解与思考,大数据的浪潮已经一波一波地拍打在中国的土地上,各行各业都在积极的探索与这一技术的接轨 和发展的机遇,所以能够见证并亲历这一个变革技术的时代我们这一代是幸运的。之所以说大数据时代是一次变革,不光是其技术进步所带来的,其伴随的思维冲击 与变革也是前所...
分类:其他好文   时间:2014-07-21 10:13:34    阅读次数:226
搭建高可用mongodb集群(四)—— 分片
转载自LANCEYAN.COM按照上一节中《搭建高可用mongodb集群(三)—— 深入副本集》搭建后还有两个问题没有解决:从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?数据压力大到机器支撑不了的时候能否做到自动扩展?在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持...
分类:数据库   时间:2014-07-20 22:29:20    阅读次数:505
大数据思维
本周也没有学习到什么内容。跟自己相关的云计算的课还排在周日。就俗一点,也来谈谈什么是大数据思维。笼统地来说,是一种思维方式。也是一种考虑问题的逻辑结构。简单一点来说,就是根据已知推断未来的过程。复杂一点就是,根据大量的已知条件,通过相应的祛伪存真,然后根据..
分类:其他好文   时间:2014-07-20 10:35:27    阅读次数:179
R运行大数据的过程中遇到的问题:不能有负长度矢量
解决办法: 只能通过一些trick来减小生成的中间矩阵的大小。比如我所遇到的问题是:我要运行(W%*%H%*%t(H)) 这句话,(W的规模是5000000*10,而H的规模是10*100000)解释执行W%*%H的时候报错:不能有负长度矢量。坑爹的中文报错,google发现,和中文有关的R文档、....
分类:其他好文   时间:2014-07-19 12:25:50    阅读次数:206
浅入浅出触发器
看牛腩视频有种相见恨晚的感觉,人类真的是很强大,让我们的编程语言越来越简单,实现的功能越来越强大,昨天听一个是个讲关于机房合作的经验,中间提到EA的强大,数据库的设计是越来越简单,EA可以生成代码,可以导出数据库,当时的感觉就是自己的知识真的匮乏,很多没有动手尝试,用一些很笨的方法。触发也是这样,级联的表如果是一个两个还好说,要是一百个(当然这就数据库冗余了,应该没有这样的数据库),就太麻烦了。编程仍未结束,要实现更好更高效率的,更简单的解决方法是我们的努力方向。...
分类:其他好文   时间:2014-07-19 12:02:42    阅读次数:196
Spark Catalyst源码分析之SqlParser
本文以Catalyst源代码的角度解析Catalyst的解析器如何解析SQL的生成LogicalPlan的。...
分类:数据库   时间:2014-07-19 11:15:13    阅读次数:389
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!