码迷,mamicode.com
首页 >  
搜索关键字:scala bigdata 大數據 spark    ( 10680个结果
IT兄弟连 HTML5教程 在移动设备上设置原始大小显示
在iPhone系列和iPod Touch中使用的是Safari浏览器,它支持前面介绍的媒体查询表达式。例如,使用iPhone 320px×480px的分辨率去访问我们前面的布局示例,却无法得到我们想看到的结果,并不是从上到下排列显示,而是和计算机显示器访问的布局相同。为什么会这样?因为在iPhone ...
分类:移动开发   时间:2019-12-19 09:17:12    阅读次数:84
CSS响应式布局
基本的概念:一个网站可以兼容多个终端,针对不同终端设置不同的样式。 优点: 面对不同分辨率设备灵活性强; 能够快捷解决多设备显示适用问题; 缺点: 兼容各种设备,效率低下; 代码累赘; 实现响应式布局的三种方式 1. CSS3-Media Query(最简单的方式,但是无法满足很多需求) 2. 借助 ...
分类:Web程序   时间:2019-12-18 11:03:26    阅读次数:86
小记--------sparksql和DataFrame的小小案例java、scala版本
sparksql是spark中的一个模块,主要用于进行结构化数据的处理,他提供的最核心的编程抽象,就是DataFrame。同时,sparksql还可以作为分布式的sql查询引擎。 最最重要的功能就是从hive中查询数据。 Dataframe可以理解为:以列的形式组织的,分布式的数据集合。 Dataf ...
分类:数据库   时间:2019-12-17 15:26:10    阅读次数:121
小记--------spark的worker原理分析及源码分析
Worker类源码位置: org.apache.spark.deploy.worker /** *启动driver的源码分析 */ case LaunchDriver(driverId, driverDesc) => logInfo(s"Asked to launch driver $driverI ...
分类:其他好文   时间:2019-12-17 15:24:00    阅读次数:108
Tunning spark
Data Serialization 对spark程序来说,可能会产生的瓶颈包括:cpu,网络带宽,内存 在任何分布式应用中数据序列化都非常重要,数据序列化带来的作用是什么?第一减少内存占用,第二减小网络传输带宽消耗。spark提供了两种序列化方式: 1.Java serialization 默认情 ...
分类:其他好文   时间:2019-12-17 15:01:16    阅读次数:86
3万字细品数据倾斜
作者:迷路剑客 链接:https://blog.csdn.net/baichoufei90/article/details/86554840 整理:大数据肌肉猿(BigData-BigMuscle) 大纲: 一、前言 二、什么是数据倾斜? 三、数据倾斜长什么样? 四、数据倾斜的原理 五、解决数据倾斜 ...
分类:其他好文   时间:2019-12-17 13:21:44    阅读次数:116
4个维度告诉你2019年10大顶级编程语言
2019悄然接近尾声,时间是真的真的过得很快,这一年你了解了什么语言,学习了什么语言,巩固了什么语言呢?是什么原因让你接触现在的语言,是薪资?是GitHub排行?是编程语言排行? 当今的编程世界里,无论是个人开发还是企业开发,都有太多太多的语言可以供开发者选择。所以,不同的企业都会存在不同的要求,针 ...
分类:编程语言   时间:2019-12-17 13:21:04    阅读次数:136
Spark-Core RDD中数据共享
我们进行 Spark 进行编程的时候, 初始化工作是在driver端完成的 ,而 实际的运行程序是在executor端进行 ,所以就涉及到了进程间的通讯,数据是需要序列化的 1、传递函数 说明: (1)直接运行程序会报错: 。因为 用到了 ,所以对象 this需要序列化 , 才能把对象从driver ...
分类:其他好文   时间:2019-12-17 13:07:58    阅读次数:84
安装spark遇到的问题
1.启动spark SQL时,报错: Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql. ...
分类:其他好文   时间:2019-12-17 00:31:15    阅读次数:110
【BigData】Java基础_冒泡排序
1.实现需求 根据已经存在的数组,使用冒泡排序将数组中的元素排序后输出。 2.代码 ...
分类:编程语言   时间:2019-12-16 22:04:54    阅读次数:71
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!