https://blog.csdn.net/weixin_43087634/article/details/84398036 2、什么是DataFrame 在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库中的二维表格。 3、RDD和DataFrame的区别 Da ...
分类：
其他好文 时间：
2020-02-20 09:59:48
阅读次数：
70
R-CNN论文：Rich feature hierarchies for accurate object detection and semantic segmentation 用于精确目标检测和语义分割的丰富特征层次结构作者：Ross Girshick, Jeff Donahue, Trevor ...
分类：
其他好文 时间：
2020-02-19 23:51:24
阅读次数：
99
优锐课带你详细了解如何在Scala中实施免费的monad验证。抽丝剥茧，细说架构那些事！ 由于业务数据的复杂性，已经在数据验证上花费了很多精力。在Scala中，提出了使用应用程序进行验证的方法，并被广泛认为是一种有效的方法。受应用验证和免费monad的思想启发，在本文中，我们介绍了一个monadic ...
分类：
其他好文 时间：
2020-02-19 15:19:49
阅读次数：
77
有所更改，参数不求完备，但求实用。源码参考D:\source\opencv-3.4.9\samples\cpp\edge.cpp #include<opencv2\opencv.hpp> #include<iostream> using namespace cv; using namespace s ...
分类：
其他好文 时间：
2020-02-19 13:26:35
阅读次数：
90
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
spark核心概念 我们之前介绍了spark的核心RDD，它是spark操作的基本单元。但是对于spark集群来说你还需要它的其它概念，比如我们操作RDD的时候，资源由谁来管理、任务由谁来执行等等。 + + + + + + + + + 东西有点多，我们可以梳理一下。假设我们有一个应用程序：appli ...
分类：
其他好文 时间：
2020-02-18 23:23:35
阅读次数：
169
package com.gong import org.apache.spark.{SparkConf, SparkContext} object MyScalaWorldCount { def main(args: Array[String]): Unit = { //参数检测 if(args.l ...
分类：
其他好文 时间：
2020-02-18 18:56:10
阅读次数：
75
类，字段和方法 在scala里定义一个典型的类，代码如下： class ChecksumAccumulator { private var sum = 0 def add(b: Byte): Unit = { sum += b } def checksum(): Int = { return ~(s ...
分类：
其他好文 时间：
2020-02-18 18:48:34
阅读次数：
65
ss java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/Function2 at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Cla ...
分类：
其他好文 时间：
2020-02-18 15:05:25
阅读次数：
78
问题一： 在keras中使用多个GPU训练模型时，出现错误 AttributeError: '_TfDeviceCaptureOp' object has no attribute '_set_device_from_string' ， 根据错误提示是'_TfDeviceCaptureOp'对象没有 ...
分类：
其他好文 时间：
2020-02-18 14:37:31
阅读次数：
312
