1.环境的安装与准备 参考下图： 2.数据库服务的安装与添加（HADOOP，HDFS，HIVE） 如下图所示： 3.华为官网的文档的指导手册（HADOOP，HDFS，HIVE） FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类：
数据库 时间：
2020-11-13 12:11:51
阅读次数：
18
系统简介 车牌识别这个系统，虽然传统，古老，却是包含了所有这四个特侦的一个大数据技术的缩影. 在车牌识别中，你需要处理的数据是图像中海量的像素单元；你处理的数据不再是传统的结构化数据，而是图像这种复杂的数据；如果不能在很短的时间内识别出车牌，那么系统就缺少意义；虽然一副图像中有很多的信息，但可能仅仅 ...
分类：
其他好文 时间：
2020-11-13 12:10:58
阅读次数：
7
常用的存储引擎有以下： Innodb引擎：Innodb引擎提供了对数据库ACID事务的支持。并且还提供了行级锁和外键的约束。它的设计的目标就是处理大数据容量的数据库系统。 MyIASM引擎(原本Mysql的默认引擎)：不提供事务的支持，也不支持行级锁和外键。 MEMORY引擎：所有的数据都在内存中， ...
分类：
数据库 时间：
2020-11-12 14:01:35
阅读次数：
9
本周因为一些原因实际开发时间过于零散，因而开发报告未按每日进行总结 但是本周进展也说不上多，这点不太好 花在学习上：20小时 花在代码上：15小时 花在解决问题上：9小时 本周遇到的问题：Hadoop可以正常启动 但是Namenode无法通过浏览器访问(连接被拒绝)，离谱的是Secondary Na ...
分类：
其他好文 时间：
2020-11-12 13:43:39
阅读次数：
7
Web抓取的使用正在积极增加，特别是在大型电子商务公司中，Web抓取是一种收集数据以竞争，分析竞争对手和研究新产品的方式。Web抓取是一种从网站提取信息的方法。在本篇文章中，学习如何创建基于Python的刮板。深入研究代码，看看它是如何工作的。在当今的大数据世界中，很难跟踪正在发生的一切。对于需要大量信息才能取得成功的企业来说，情况变得更加复杂。但是首先，他们需要以某种方式收集此数据，这意味着他们
分类：
编程语言 时间：
2020-11-12 13:38:18
阅读次数：
7
本周主要是制作了河北重大技术需求分析的数据录入板块，通过这个主要是练习了前端的制作，例如通过js以及json数据进行多级联动，还有一些特殊条件的查询等等。另外就是软件需求的分析，对于客户提出的要求我们作为软件的设计者以现有技术为根基来进行设计，设计出尽可能合理的系统，并针对其中的诸多细节与客户进行交 ...
分类：
其他好文 时间：
2020-11-12 13:30:08
阅读次数：
9
==星球水友提问==沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询，紧接着又来了
分类：
其他好文 时间：
2020-11-10 11:30:25
阅读次数：
10
（一）RDD、DataFream、DataSet 理解 1. RDD理解 (1) RDD定义为弹性分布式数据集合。 MR运算之间数据共享差： MR的计算之间的数据共享只能通过将数据写入外部存储系统。后一步计算需要从外部存储系统中加载进来的方式进行。 Spark 思路相反，设计了一种抽象-RDD（弹性 ...
分类：
其他好文 时间：
2020-11-10 10:31:29
阅读次数：
3
同程旅游缓存系统设计:如何打造Redis时代的完美体系(含PPT)导读：高可用架构7月30日在上海举办了『互联网架构的基石』专题沙龙，进行了闭门私董会研讨及对外开放的四个专题的演讲，期望能促进业界对互联网基础服务及工具的讨论，本文是王晓波分享同程旅游缓存系统架构经验。王晓波，同程旅游首席架构师，专注于高并发互联网架构设计、分布式电子商务交易平台设计、大数据分析平台设计、高可用性系统设计，基础云相关
分类：
其他好文 时间：
2020-11-08 17:36:43
阅读次数：
18
近千节点的RedisCluster高可用集群案例:优酷蓝鲸优化实战导读：RedisCluster作者建议的最大集群规模1,000节点，目前优酷在蓝鲸项目中管理了超过700台节点，积累了RedisCluster大量宝贵经验，本文从RedisCluster的工作原理出发，提出了管理Redis超大集群几点行之有效的优化方法。吴建超，优酷土豆广告基础平台开发工程师，对互联网基础产品及大数据产品有兴趣。在优
分类：
其他好文 时间：
2020-11-08 17:36:27
阅读次数：
22
