1.简介 最近给同学帮忙的时候需要按一个时间（日期）范围内的数据进行一些统计和处理，而且期望这个时间范围是一个可以修改的参数，这里顺便记录和分享一下。数据不方便放上来，这里就自己随便模拟一些数据出来。 2.代码 主要使用要pandas和datetime这两个库。我们先生成模拟数据 import pa ...
分类：
其他好文 时间：
2020-03-14 22:15:25
阅读次数：
112
1.安装scala 2.11.8 2.解压下载包 cd ~/下载 sudo tar -zxf kafka_2.11-0.10.1.0.tgz -C ~/app cd ~/app sudo mv kafka_2.11-0.10.1.0/ ./kafka sudo chown -R hadoop ./k ...
分类：
其他好文 时间：
2020-03-14 19:56:39
阅读次数：
121
在SVG绘制的任何一个时刻，你可以通过嵌套<svg>或者使用例如<symbol>的元素来建立新的viewport和用户坐标系。在这篇文章中，我们将看一下我们如何这样做，以及这样做如何帮助我们控制SVG元素并让它们变得更加灵活（或流动）。 这是SVG坐标系和变换系列的第三篇也是最后一篇文章。在第一篇中 ...
分类：
其他好文 时间：
2020-03-12 21:52:03
阅读次数：
52
前言 之前发现随笔写的比较杂乱无章，现在开始慢慢从JS基础慢慢写，本篇先讲述一下JS的数据类型。 在JavaScript中有五种简单数据类型（基本数据类型）：undefined、null、boolean、number和string（另外，在ES6中新增了一种基本数据类型：symbol），和一种复杂数 ...
分类：
Web程序 时间：
2020-03-12 17:09:01
阅读次数：
77
把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。 一、 Kafka介绍 Kafka是由Java和Scala编写的是一个分布式 ...
分类：
其他好文 时间：
2020-03-09 20:58:51
阅读次数：
88
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件(例如ActiveMQ、RabbitMQ)，Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类：
其他好文 时间：
2020-03-09 13:12:17
阅读次数：
58
官网 http://spark.apache.org/docs/2.3.1/rdd-programming-guide.html#accumulators http://spark.apache.org/docs/2.3.1/api/scala/index.html#org.apache.spark ...
分类：
其他好文 时间：
2020-03-08 17:55:40
阅读次数：
96
注意：没有朋友的人可以是根本没安装“朋友圈”，也可以是只有自己一个人在朋友圈的人。虽然有个别自恋狂会自己把自己反复加进朋友圈，但题目保证所有K超过1的朋友圈里都至少有2个不同的人。 按输入的顺序输出那些帅到没朋友的人。ID间用1个空格分隔，行的首尾不得有多余空格。如果没有人太帅，则输出No one ...
分类：
编程语言 时间：
2020-03-08 17:24:05
阅读次数：
104
初学scala，和java存在很多不一致，有很多奇葩的语法，在日常使用中，可能自己不会这么写，但是很多存在于源码中，看源码的时候，经常看的一脸懵逼，因此在此总结部门差异点，部分。 文件名 1. java要求文件名和公共类名必须要求一致，scala不要求。 即 关键字 1. scala 中没有publ ...
分类：
编程语言 时间：
2020-03-08 13:57:53
阅读次数：
87
