码迷,mamicode.com
首页 >  
搜索关键字:大数据 spark    ( 18881个结果
Spark on Yarn部署
Spark on Yarn 集群部署...
分类:其他好文   时间:2014-07-03 18:26:02    阅读次数:264
java.sql.SQLException: [Microsoft][ODBC 驱动程序管理器] 未发现数据源名称并且未指定默认驱动程序解决方法
开发程序需要登录功能 ,就不想用大数据库,直接用java连接access。     在自己机器上一切正常,  url直连 和配置数据源都没有问题。  发布到windows server2008 上 ,获取不到数据连接。      系统都是64位, office是2010  32位。     问题找了半天,最终得以解决:            32为的Access driver 需要用32为的jd...
分类:数据库   时间:2014-07-03 17:57:43    阅读次数:294
Spark SQL 初探
早在Spark Submit 2013里就有介绍到Spark SQL,不过更多的是介绍Catalyst查询优化框架。经过一年的开发,在今年Spark Submit 2014上,Databricks宣布放弃Shark 的开发,而转投Spark SQL,理由是Shark继承了Hive太多,优化出现了瓶颈,如图:          今天把Spark最新的代码签了下来,测试了一下: 1、编译Spar...
分类:数据库   时间:2014-07-03 16:06:04    阅读次数:534
Spark源码系列(五)RDD是如何被分布式缓存?
这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的,所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // StorageLevel不能随意更改 if (storageL...
分类:其他好文   时间:2014-07-03 12:53:15    阅读次数:314
实例讲解如何使用C++操作MySQL数据库类
用C++操作MySQL数据库类: 注释:这几个类对处理不是很大数据量的操作是很理想的, 但不适宜特大型的数据的查询,因为源码中将查询到的数据直接放入了内存。 /* * project: * 通用模块 ( 用 c++ 处理 mysql 数据库类,像ADO ) * * description: * .....
分类:数据库   时间:2014-07-02 18:33:14    阅读次数:320
浅谈跨国网络传输
在这个大数据,云部署不断映入眼帘的时代,也许很多人作为公司IT架构的管理者都会觉得有些无助和迷惘。新兴的科技确实给日常的IT工作带来了便利,但亦带来了种种挑战和不可预期的困难。数据的存储,传输的便利固然重要,但是数据的安全却要重要的多。你永远都不会希望把自己的..
分类:其他好文   时间:2014-07-02 16:03:04    阅读次数:268
Spark-1.0.0 standalone分布式安装教程
Spark目前支持多种分布式部署方式:一、Standalone Deploy Mode;二Amazon EC2、;三、Apache Mesos;四、Hadoop YARN。第一种方式是单独部署,不需要有依赖的资源管理器,其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之...
分类:其他好文   时间:2014-07-02 13:48:43    阅读次数:299
Gartner:2014年十大信息安全技术
美国时间6月26日,在Gartner举办的安全与风险管理峰会上,发布了2014年的十大信息安全技术。这十大技术分别是:1)云访问安全代理:放置于边界或者云端的PEP(策略执行点),当前云身份管理的热点技术2)自适应访问控制:基于情境感知的访问控制3)沙箱普遍化:沙箱不再是一个..
分类:其他好文   时间:2014-07-02 10:57:33    阅读次数:184
数据科学可视化之要途
大数据的概念越来越多的被人们提及的今天,数据可视化也同样被提上了日程。可视化已经成为了解数据的最佳方式(或唯一的方法),而且如果我们不可视化的话,我们就会落伍。人们使用计算机创建图形图表,可视化提取出来的数据,将数据的各种属性和变量呈现出来。随着计算机硬件的发展,人们创建更复杂规模更大的数字模型,发...
分类:其他好文   时间:2014-07-02 10:28:47    阅读次数:146
虚拟化、大数据、云计算、物联网、移动互联网与传统互联网关系
网络将物联网、传统互联网和移动互联网的数据连接、汇聚在一起形成“大数据”,这些数据经过人类刻意的、针对特意用途的分析产生价值用于决策分析等,计算和分析的平台则是“云计算”,机器学习应该算是“大数据”的获取和分析吧。云计算平台的搭建则借助于虚拟化技术。...
分类:移动开发   时间:2014-07-02 09:54:11    阅读次数:222
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!