码迷,mamicode.com
首页 >  
搜索关键字:scala bigdata 大數據 spark    ( 10680个结果
通过阶乘的例子,练习在JavaScript, Scala和ABAP里实现尾递归(Tail Recursion)
Before we start to research tail recursion, let’s first have a look at the normal recursion. A simple factorial implementation by recursion: Let N = 5 ...
分类:编程语言   时间:2020-05-07 18:12:04    阅读次数:95
Kafka单机部署
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,
分类:其他好文   时间:2020-05-07 09:17:48    阅读次数:76
oracle merge into在大数据离线批处理中的应用
前言 目前仅在一家公司做过大数据相关,也不太清楚其他公司情况。东家这常用的大数据离线处理基本就是sqoop导入到hive中,然后使用spark或者hive计算出结果再导出到oracle中。很多情况下是把oracle中整个表或者某个时间条件的筛选出来的数据整个删掉,再把最新的这部分数据全部导数回到or ...
分类:数据库   时间:2020-05-05 21:59:35    阅读次数:102
spark-xgboost8.1 java 例子
spark-xgboost8.1 java 例子
分类:编程语言   时间:2020-05-05 21:51:14    阅读次数:83
sparkcore sparksql单词统计—切分-聚合
1 package com.bawei.core 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.{SparkConf, SparkContext} 5 6 /** 7 * 单词统计 8 9 */ 10 object Spa ...
分类:数据库   时间:2020-05-05 18:27:44    阅读次数:87
Stream整合Flume
1 package com.bawei.stream 2 3 import java.net.InetSocketAddress 4 5 import org.apache.spark.storage.StorageLevel 6 import org.apache.spark.streaming. ...
分类:Web程序   时间:2020-05-05 18:21:50    阅读次数:79
Streaming的单词统计
1 package com.bawei.stream 2 3 import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} 4 import org.apache.spark.streaming.{Seconds, ...
分类:其他好文   时间:2020-05-05 18:01:51    阅读次数:55
四率一直_sparkcore
1 package com.bawei.review01 2 3 import org.apache.spark.rdd.RDD 4 import org.apache.spark.sql.{DataFrame, SparkSession} 5 6 case class StuScore(id:In ...
分类:其他好文   时间:2020-05-05 17:49:28    阅读次数:54
gradle配置时报错
Warning:<i><b>root project 'mlibmodel': Unable to build Scala project configuration</b>Details: org.gradle.api.GradleException: Cannot infer Scala cla ...
分类:其他好文   时间:2020-05-05 16:23:28    阅读次数:182
jvm 字节码学习(1)
1. 是不是只有java编译器才可以将java转为class 字节码文件? 不是的,jRuby/Groovy/Scala/Jython 都是可以编译成字节码文件的。 2. 计算机是以010101的方式执行的。 3. 什么是u1,u2,u4,u8 u1: 一个字节; u2: 二个字节; u4: 4个字 ...
分类:其他好文   时间:2020-05-05 11:04:18    阅读次数:55
10680条   上一页 1 ... 53 54 55 56 57 ... 1068 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!