码迷,mamicode.com
首页 >  
搜索关键字:大数据 spark    ( 18881个结果
使用NoSQL实现高并发CRM系统实践(源代码+解析)
又想速度快,又要大数据,又要保证数据不出错,还要拥抱变化,改需求的时候不那么痛苦,特别是字段的调整,按照以前的做法,想想就头疼。使用NoSQL,简直就是随心所欲,再奇葩的数据结构,处理起来也很容易。下面看我如何用NoSQL数据库实现高并发,高可靠的CRM系统。
分类:数据库   时间:2014-07-18 19:07:48    阅读次数:419
为什么文件系统没有标签分类方式?
不论是做数据挖掘也好,数据分析,数据可视化也罢,就是把混乱杂糅的数据理清给人看。我经常觉得,如果不能把自己身边的数据“整理清楚”,又怎敢去折腾什么大数据呢?由于一直以来的习惯,我特别热衷于对知识、文件分类整理。例如电脑桌面一定要用fences整理;一定要建立文件夹归纳chrome浏览器的书签;收藏的...
分类:其他好文   时间:2014-07-18 17:35:42    阅读次数:236
Apache Spark源码走读之18 -- 使用Intellij idea调试Spark源码
上篇博文讲述了如何通过修改源码来查看调用堆栈,尽管也很实用,但每修改一次都需要编译,花费的时间不少,效率不高,而且属于侵入性的修改,不优雅。本篇讲述如何使用intellij idea来跟踪调试spark源码。
分类:其他好文   时间:2014-07-18 17:13:03    阅读次数:210
Android开发经验之—intent传递大数据
在Activity或者组件之前传递信息时,一般采用intent绑定bundle的方式传值,但在使用过程中需要注意的是不要用bundle传递大容量数据:        在做项目的过程中,需要将听写界面的听写结果信息传递到听写记录界面供显示用,但是由于传递的数据量过大导致程序ANR,甚至直接报异常(传递的信息里面有bitmap转换成的byte数组、每一个词组的拼音、词语、语音信息),经过分析发现是由...
分类:移动开发   时间:2014-07-18 14:05:30    阅读次数:273
蔡先生论道大数据之十三:预测企业未来
每次技术变革企业包括个人都需要做出适应,现在我们处于新一轮实际革命的时代节点上,从小数据时代到大数据时代的前叶.那么企业面对大数据需要做出什么样的变革呢?又存在什么样的挑战呢?首先,决策方式的改变,传统运作管理在变成大数据管理,越来越多的传统决策在变成基于数据分析..
分类:其他好文   时间:2014-07-18 13:16:00    阅读次数:171
博客保存
Jasey WangLinux operations web老赵点滴.Net 架构 并行云风的BLOGC Lua 游戏编程四火的唠叨java javascript 设计闲思录DBA 前端优化 架构AderethClojure javascriptdirlt大数据 算法 cppLanceyan大数据 ...
分类:其他好文   时间:2014-07-18 12:25:10    阅读次数:347
Hive ERROR: Out of memory due to hash maps used in map-side aggregation .
当hive在执行大数据量的统计查询语句时,经常会出现下面OOM错误,具体错误提示如下:Possible error: Out of memory due to hash maps used in map-side aggregation.Solution: Currently hive.map.ag...
分类:其他好文   时间:2014-07-18 11:37:23    阅读次数:305
Spark 个人实战系列(2)--Spark 服务脚本分析
前言: spark最近非常的火热, 本文不讲spark原理, 而是研究spark集群搭建和服务的脚本是如何编写的, 管中窥豹, 希望从运行脚本的角度去理解spark集群. 研究的spark为1.0.1版. spark集群采用standalone模式搭建, 其基础架构为master-slave(w.....
分类:其他好文   时间:2014-07-17 23:26:44    阅读次数:345
Spark教程-构建Spark集群(1)
对于90%以上想学习Spark的人而言,如何构建Spark集群是其最大的难点之一,为了解决大家构建Spark集群的一切困难,家林把Spark集群的构建分为了四个步骤,从零起步,不需要任何前置知识,涵盖操作的每一个细节,构建完整的Spark集群。从零起步,构建Spark集群经典四部曲: 第一步:搭建H...
分类:其他好文   时间:2014-07-17 21:35:29    阅读次数:389
Web网站架构设计考虑的因素
转自http://blog.csdn.net/moshengtan/article/details/8990052 1    Web负载均衡 1.1 - 使用商业硬件实现 最常用的F5 与citrix netscaler。比如12306前端的web好像用的就是F5 的BIGIP。如果公司资金足够的话,相对使用开源软件来说理方便。 优点:维护方便,性能稳定 缺点:费用太高 ...
分类:Web程序   时间:2014-07-17 19:30:38    阅读次数:325
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!