什么是CCP（云数据采集）平台？图片来自于网络CCP（云数据采集）平台诞生于大数据时代的背景下，通过实时数据挖掘，在海量的云端数据中发现隐藏其中的价值。在线问卷系统，作为CCP（云数据采集）平台的信息采集接口，通过网络信息收集，帮助问卷设计者和数据分析师分析消费者在线上的行为特征和态度，批量而精确地抽取目标网页中的任何数据及任何信息，快速实现实时的信息获取。CCP（云数据采集）平台的数据采集工作能
分类：
Web程序 时间：
2020-05-28 18:11:16
阅读次数：
103
###1.大数据架构 说明： 1.该大数据平台采用的阿里云服务器，所以在集群部署和运维上会减少很多工作量 2.主题的计算引擎采用Spark，部分有Flink 3.数据挖掘主要是应用python的一些挖掘框架，模型比如词袋模型和一些常见的nlp算法 4.任务调度是自研的诸葛大数据调度平台 ...
分类：
其他好文 时间：
2020-05-28 11:34:57
阅读次数：
68
https://www.cnblogs.com/WeaRang/p/12421842.html 背景 这两年互联网行业掀着一股新风，总是听着各种高大上的新名词。大数据、人工智能、物联网、机器学习、商业智能、智能预警啊等等。 以前的系统，做数据可视化，信息管理，流程控制。现在业务已经不仅仅满足于这种简 ...
分类：
数据库 时间：
2020-05-27 18:22:27
阅读次数：
72
大数据开发？大数据分析？数据挖掘算法？ 关于大数据的知识，因为自己之前做大创、听讲座以及主动地去踩学习的坑，所以关于学习和规划我可以给予一些经验。 一、我选大数据的原因 高考前我最想学的专业几乎都是跟电子信息领域相关，比如‘电子信息与技术’、‘计算机科学与技术’、‘物联网工程’和‘信息管理与信息系统 ...
分类：
编程语言 时间：
2020-05-27 15:21:36
阅读次数：
83
现在的社会是大数据社会，现在的时代是大数据时代。大数据处理常用的方法有哪些？一般来说，我们对一个事物进行宏观分析的话，就需要使用到大数据，各种大数据都是如何处理的呢？而今天我们就一起来了解一下，大数据分析都有哪些常用形式。 1、增强分析是数据和分析的未来 增强分析是银行机构大量使用的新兴技术。通过使用机器学习和自然语言处理技术处理数据并使其实现自动化。为了以简单易用的格式获得精确的结果，因
分类：
其他好文 时间：
2020-05-27 11:59:33
阅读次数：
766
关于D3 是一个数据可视化的库，技术基础是SVG，兼容性是IE9+，语法上近似jQuery 对比three.js three.js是以webgl为基础的库，封装了一些3D渲染需求中重要的工具与渲染循环 1 导入 <script src="https://d3js.org/d3.v5.min.js"> ...
分类：
Web程序 时间：
2020-05-26 18:15:45
阅读次数：
144
import jieba import matplotlib.pyplot as plt from wordcloud import WordCloud #读取指定文件 f = open(r'.\data.txt', encoding='utf-8').read() #对数据进行jieba中文分词， ...
分类：
编程语言 时间：
2020-05-26 15:35:46
阅读次数：
94
ELK·Elastic Stack Elastic Stack就一套日志分析系统，前身叫ELK。 E：Elasticsearch L：Logstash，日志收集系统 K：Kibana，数据可视化平台 现加入Beats，是一个数据采集器，可以直接上报给elasticsearch，也可以通过logsta ...
分类：
其他好文 时间：
2020-05-26 00:52:11
阅读次数：
309
准备跳槽了，意味着我又要做一个什么拿的出手的作品来忽悠面试官了，所以这几天赶了一个音乐播放器出来，写到一半，把里面用到的显示音乐频谱数据的功能分离了出来，在此分享给诸位。 演示地址： http://margox.github.io/vudio.js项目地址： https://github.com/m ...
分类：
Web程序 时间：
2020-05-25 19:52:10
阅读次数：
113
背景 数据处理平台从oracle迁移到hadoop平台后，原有的数据处理过程需要改写为sparkSql。由于sparkSql执行环境和数据的不确定，经常有资源竞争导致处理过程意外停止，数据倾斜导致任务执行失败。 为减少出错概率，需要对sparkSql进行规范与优化。 转换 1. exist 转换 为 ...
分类：
数据库 时间：
2020-05-25 19:47:59
阅读次数：
94
