码迷,mamicode.com
首页 >  
搜索关键字:scala bigdata 大數據 spark    ( 10680个结果
移动端常见问题(click 300ms延迟)
根本原因:double click 双击 移动端默认双击情况下会有方法效果,当你点击一次之后,移动端无法判断你是否下一次还会继续完成双击,因此存在300 ms 延迟 有一部分浏览器,比如chrome浏览器,当你在meta头设置width=device-width时,它会自动禁止300 ms的延迟 推 ...
分类:移动开发   时间:2020-03-17 14:18:49    阅读次数:98
命令查询职责分离模式CQRS
最近想用Scala来重构Java项目。Scala的灵活高效这里就不用说了,Java MVC一套架构确实有它优点。但是开发调试效率确实慢很多。所以准备使用DDD中的命令查询职责分离模式(Command Query Responsibility Segregation,CQRS)重构项目。 首先我们先介 ...
分类:其他好文   时间:2020-03-16 16:28:01    阅读次数:101
DataFrame简介(一)
1. DataFrame 本片将介绍Spark RDD的限制以及DataFrame(DF)如何克服这些限制,从如何创建DataFrame,到DF的各种特性,以及如何优化执行计划。最后还会介绍DF有哪些限制。 2. 什么是 Spark SQL DataFrame? 从Spark1.3.0版本开始,DF ...
分类:其他好文   时间:2020-03-16 12:56:06    阅读次数:95
Linux-Bigdata
总结一下大数据开发基本常识: JDK(做java开发必备的开发工具包) Hadoop(Apache开发的分布式系统的基础框架)三大组件:MapReduce,Yarn,Hdfs Sqoop(数据迁移,清洗) Kettle(数据清洗,格式转换) Hive(基于Hadoop的数据仓库,并不是数据库,需要安 ...
分类:系统相关   时间:2020-03-15 22:17:01    阅读次数:90
centos7无cm安装hadoop+spark
配置内核参数后重启生效# echo 'vm.swappiness=10'>> /etc/sysctl.conf 安装JDK8# rpm -ivh jdk-8u211-linux-x64.rpm # vi /etc/profileexport JAVA_HOME=/usr/java/jdk1.8.0_ ...
分类:其他好文   时间:2020-03-15 22:11:33    阅读次数:76
大数据学习之scala-环境搭建
scala 下载网站 https://www.scala-lang.org/download/ 安装scala要先安装java,并且配置java环境,官网也有说明 不过国内的网站下载不下来可以访问: http://downloads.typesafe.com/scala/2.13.0/scala-2 ...
分类:其他好文   时间:2020-03-15 19:16:15    阅读次数:74
Spark 累加器使用
1.使用foreach碰到了问题 没看过累加器的时候,写了这么个代码,发现map里头foreach完了还是0啊?咋回事啊? 1 def calNrOfEachDataMap(data:RDD[String],neededDataMap:Set[Map[Int,String]]): Map[Map[I ...
分类:其他好文   时间:2020-03-15 10:10:54    阅读次数:163
Spark- How to concatenate DataFrame columns
[toc] 使用 或`concat_ws() `SQL函数,可以将一个或多个列连接到Spark DataFrame上的单个列中。在文本中,将学习如何使用这些函数,还可以使用原始SQL通过Scala示例来连接列。 Preparing Data & DataFrame 注意,我们需要导入spark对象上 ...
分类:其他好文   时间:2020-03-14 23:54:22    阅读次数:61
./bin/mysqld: error while loading shared libraries: libaio.so.1: cannot open shared object file:
root@bigdata-159:/usr/local/mysql# ./bin/mysqld -- defaults-file=/etc/my.cnf --initialize --user=mysql./bin/mysqld: error while loading shared librari ...
分类:数据库   时间:2020-03-14 21:51:25    阅读次数:85
pyspark读取textfile形成DataFrame以及查询表的属性信息
pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法(在hive或者spark-sql命令行均可): 查询建表信息: show create table database_name.table_name; 查询表的属性信息 (可看到表的格式信息例如,Input ...
分类:其他好文   时间:2020-03-14 20:06:06    阅读次数:166
10680条   上一页 1 ... 68 69 70 71 72 ... 1068 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!