背景： 集成一个斑马无线条码打印机，报了一堆错误 classes in a single dex file methods 67667 大于 65536 后来 Unable to get provider com.open.hule.library.downloadmanager.DownloadF ...
分类：
其他好文 时间：
2020-11-17 12:14:45
阅读次数：
5
1、hbase数据flush过程 1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据； 2）并将数据存储到HDFS中； 3）在HLog中做标记点。 2、数据合并过程 1）当数据块达到4块，hmaster将数据块加载到 ...
分类：
其他好文 时间：
2020-11-17 11:47:51
阅读次数：
3
1、大数据有哪些特点？ valume(大量） velocity（高速） variety（多样） value（低价值密度） 2、什么是大数据？ 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类：
其他好文 时间：
2020-11-16 13:51:20
阅读次数：
9
package com.atguigu.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org ...
分类：
其他好文 时间：
2020-11-16 13:25:07
阅读次数：
3
12个行业月均阅读超100亿，看Spark如何助力微博Feed算法提升活跃度#编者按：本文由高可用架构向黄波约稿，介绍黄波在SparkSummitChina2016中的演讲精华，并侧重对微博系统和Feed系统进行了更多的介绍。黄波，2010年加入新浪微博，微博研发中心Feed技术专家，负责微博Feed流排序和推荐相关项目。目前专注于基于Spark、Storm等计算平台的大数据处理，致力于将分布式计
分类：
编程语言 时间：
2020-11-16 13:06:48
阅读次数：
9
Rowkey设计时需要遵循三大原则： 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流，可以是 ...
分类：
其他好文 时间：
2020-11-13 13:05:38
阅读次数：
7
1.环境的安装与准备 参考下图： 2.数据库服务的安装与添加（HADOOP，HDFS，HIVE） 如下图所示： 3.华为官网的文档的指导手册（HADOOP，HDFS，HIVE） FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类：
数据库 时间：
2020-11-13 12:11:51
阅读次数：
18
本周因为一些原因实际开发时间过于零散，因而开发报告未按每日进行总结 但是本周进展也说不上多，这点不太好 花在学习上：20小时 花在代码上：15小时 花在解决问题上：9小时 本周遇到的问题：Hadoop可以正常启动 但是Namenode无法通过浏览器访问(连接被拒绝)，离谱的是Secondary Na ...
分类：
其他好文 时间：
2020-11-12 13:43:39
阅读次数：
7
本周主要是制作了河北重大技术需求分析的数据录入板块，通过这个主要是练习了前端的制作，例如通过js以及json数据进行多级联动，还有一些特殊条件的查询等等。另外就是软件需求的分析，对于客户提出的要求我们作为软件的设计者以现有技术为根基来进行设计，设计出尽可能合理的系统，并针对其中的诸多细节与客户进行交 ...
分类：
其他好文 时间：
2020-11-12 13:30:08
阅读次数：
9
软件行业流行一句话：“不想当架构师的程序员，不是一个好的程序员。” 看似是一种调侃，但从职业发展的层面讲，成为架构师，是一个目标！ 我是王波，一名软件架构师，精通Java互联网技术开发和实践。 成功开发过基于通信、电商、数据管理、OA、ERP、SAAS等相关业务平台的项目。 给大家介绍一下我的Jav ...
分类：
编程语言 时间：
2020-11-10 10:56:13
阅读次数：
24
