咳咳 先对18年的自己说一声感谢。 辛苦了~ 从大数据开发里一路走来，从小白变成可以独当一面（咕咕）。开森~ 一直忙忙碌碌，不敢停下脚步。最近，开始觉得要做下总结了。 【技术】 hivesql spark streaming CNN RNN GAN 【平台】 hadoop MapReduce yar ...
分类：
其他好文 时间：
2019-02-07 20:43:56
阅读次数：
216
UVC 驱动整体调用流程： /* 打开设备描述符 */ 1. open: uvc_v4l2_open /* 查询设备属性 */ 2. VIDIOC_QUERYCAP if (video->streaming->type == V4L2_BUF_TYPE_VIDEO_CAPTURE) cap->cap ...
分类：
其他好文 时间：
2019-01-29 12:05:47
阅读次数：
283
1 传统的Uv实时统计方法以及其缺点 给定时间段条件下，实时统计Uv就是统计不重复的访客数。 最简单的方法就是把用户唯一id存储到集合中，每次有新访客，就把向集合新增元素。 但是当数据量千万级别的时候，无论是内存中，还是redis等外部系统中，集合新增元素的效率都很低。 2 HyperLoglog ...
分类：
编程语言 时间：
2019-01-26 23:48:30
阅读次数：
486
sip里的rtcp操作https://wenku.baidu.com/view/854dd3e55ef7ba0d4a733bed.htmlrtpstreamdepay Depayloads RTP/RTCP packets for streaming protocols according to R ...
分类：
其他好文 时间：
2019-01-21 19:22:11
阅读次数：
191
带入gRPC：gRPC Streaming, Client and Server 原文地址：带入gRPC：gRPC Streaming, Client and Server 前言 本章节将介绍 gRPC 的流式，分为三种类型： Server-side streaming RPC：服务器端流式 RPC ...
分类：
其他好文 时间：
2019-01-17 23:39:33
阅读次数：
243
近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点： 大：数据量越大，对我们后面建模越会有好处； 稀疏：每行数据可能 ...
分类：
其他好文 时间：
2019-01-12 19:55:24
阅读次数：
171
Java的历史是非常有意思的。1990年底，Sun Microsystems在工作站计算机市场上领先世界，并继续保持健康发展。Sun想把本公司的创新和专业知识应用到即将到来的消费电子市场领域，于是该公司邀请了一些顶级工程师，组建了一个Green Team团队（核心成员有： James Gosling ...
分类：
编程语言 时间：
2019-01-11 00:44:15
阅读次数：
261
IO包 是对数据流的操作。从哪里来, 怎么处理,再到哪里去。 图片来源 https://medium.com/learning the go programming language/streaming io in go d93507931185 IO包 对数据的读写 是通过接口的形式约定的。数据的 ...
分类：
其他好文 时间：
2019-01-05 18:21:38
阅读次数：
212
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上 消息系统：可以加入Kafka防止数据丢失 实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中 机器学习：使用了Spark MLlib ...
分类：
其他好文 时间：
2019-01-04 14:49:53
阅读次数：
154
使用POI 的SXSSF (Streaming Usermodel API)生成较大的excel，同时开启压缩 遇到的问题： 错误是NPE错误，类似如下，原因是缺少字体或者环境变量未设置，需要安装"ttf-dejavu"字体，具体可以参考： https://stackoverflow.com/que ...
分类：
其他好文 时间：
2019-01-04 12:17:24
阅读次数：
371
