在大数据分析为背景的p2p网贷公司迅速崛起2014年二季度，全国P2P网贷成交额554.75元，较一季度增加145.04亿元，增长35.40%。与此同时，伴随着网贷行业的兴起，网贷公司运作上的坏账也一路飙升。银监会针对网贷公司风险提出监管，试图围剿。网贷公司提高自身风控能力已经迫在眉..
分类：
其他好文 时间：
2014-07-24 12:29:16
阅读次数：
235
随着移动互联网的发展，大量的非结构化数据随之产生，不仅对数据库存储大数据提出了新的要求，同时对于查询数据和进行大数据分析也提出了苛刻的要求，这些显然是单服务器处理能力无法满足的，自然建立一个集群是不可避免的。集群的复杂性大家众所周知，而MongoDB的优势之一正式可以帮助我们解决这些问题。分片(sh...
分类：
数据库 时间：
2014-07-12 13:00:54
阅读次数：
267
题目：最近点对（大数据）。
分析：分治法。首先，将所有点按很坐标排序；然后，利用分治求解。
1.将问题转化为两个相同大小的子区间分别求解；
2.中位点为中心，当前最小距离为半径的区间直接枚举求解；
3.求出上两中情况的最小值返回。
说明：这么经典的题目，今天第一次做。
#include
#include
#in...
分类：
其他好文 时间：
2014-07-02 09:41:14
阅读次数：
202
Apache Spark?is a fast and general engine for large-scale data processing： 一种快速通用可扩展的数据分析引擎。如果想要搞清楚Spark是什么，那么我们需要知道它解决了什么问题，还有是怎么解决这些问题的。
本文将带领你进入Spark的世界，首先阐述了为什么Spark能够在众多的大数据分析平台中脱颖而出：通用，易用，高性能和与Hadoop的有效整合。Spark All in One的解决方案使用一个通用栈解决了流式，交互式，实时查询，迭代...
分类：
其他好文 时间：
2014-06-14 11:57:03
阅读次数：
288
2013年，大数据和数据分析技术将持续升温，相关创业公司也如雨后春笋一般让人们目接不暇。
最近大数据分析专家Robin Bloor 根据技术创新性， 技术路线等评判标准，
列出了10家值得关注的大数据分析技术公司，IT经理网编译整理如下：Actuate：Actuate与Eclipse基金会合作的的开...
分类：
其他好文 时间：
2014-06-12 19:26:45
阅读次数：
294
百亿数量级的大数据项目，软硬件总体预算只有30万左右，需求是进行复杂分析查询，性能要求多数分析请求达到秒级响应。
遇到这样的项目需求，预算不多的情况，似乎只能考虑基于Hadoop来实施。
理论上Hadoop撑住百亿数量级没问题，但想要秒级响应各种查询分析就不行了。我们先大概分析一下Hadoop的优缺...
分类：
其他好文 时间：
2014-06-09 14:32:39
阅读次数：
509
博主是自然语言处理方向的，不是推荐系统领域的，这个程序完全是为了应付大数据分析与计算的课程作业所写的一个小程序，先上程序，一共55行。不在意细节的话，55行的程序已经表现出了协同过滤的特性了。就是对每一个用户找4个最接近的用户，然后进行推荐，在选择推荐的时候是直接做的在4个用户中选择该用户item没...
分类：
编程语言 时间：
2014-06-07 07:19:12
阅读次数：
473
到底大数据是什么，把这个很神奇的东西拨开以后，它还是很原始的。大家有没有想过，实际上我们一个人就是很精细的大数据分析仪器。我今天认识一个朋友，我的内部会做一个简单判断，我会用眼睛来看，这是图片信息。我会听他的声音，感受声音的声频信息。如果有机会握手，这是一个触摸的信息。通过交流，我能感受到他语言.....
分类：
其他好文 时间：
2014-05-25 18:52:42
阅读次数：
252
概述这个时代被称之为大数据时代，各行各业生产的数据量呈现爆发性增长，并且基于这些爆发性增长的数据做深层次的数据挖掘、分析。因此，我们可以很容易的感觉到，在这样一个大数据的时代，我们很多做事情的方法正在发生了改变。例如，基于大数据分析可以做疾病预测控制；基于..
分类：
其他好文 时间：
2014-05-25 08:25:49
阅读次数：
620
