volatile 作用 保证线程可见性 使用volatile，将会强制所有线程都去堆内存中读取变量的值 -MESI（CPU的缓存一致性协议） 详细可看 https://www.cnblogs.com/z00377750/p/9180644.html 禁止指令重排序（CPU级别的支持） cpu级别增加 ...
分类：
编程语言 时间：
2021-06-08 23:17:33
阅读次数：
0
1. Hadoop 概览Google 三篇论文（GFS -> HDFS，Map-Reduce -> MR，BigTable -> HBase）是 Hadoop 的思想之源。Hadoop 生态非常庞大，其最初两大核心是 HDFS 和 MR，分别负责存储和计算（Hadoop 1.x 中，MR 既负责计算 ...
一．sqoop的简单概论 1.sqoop产生的原因： A. 多数使用hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。 B. 由于没有工具支持，对hadoop和关系型数据库之间数据传输是一个很困难的事。 依据以上的原因sqoop产生的。 2. sqoop的介绍 sqoop是连接 ...
分类：
其他好文 时间：
2021-06-08 22:45:15
阅读次数：
0
in 和 exists区别 in 是把外表和内表作hash join，而exists是对外表作loop，每次loop再对内表进行查询。 一直以来认为exists比in效率高的说法是不准确的。 如果查询的两个表大小相当，那么用in和exists差别不大。 如果两个表中一个较小，一个是大表，则子查询表大 ...
分类：
其他好文 时间：
2021-06-07 20:57:52
阅读次数：
0
# # Django_静态文件夹的配置 # settings文件夹配置内容 # # STATIC_URL = '/static/' #别名，引用名 为了后端的更改不会影响前端的引入，避免造成前端大量修改 # STATICFILES_DIRS = ( # os.path.join(BASE_DIR," ...
分类：
其他好文 时间：
2021-06-07 20:39:36
阅读次数：
0
运行环境 centos 5.6 hadoop hivesqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具 在使用过程中可能遇到的问题： sqoop依赖zookeeper，所以必须配置ZOOKEEPER_HOME到环境变量中。sq ...
分类：
数据库 时间：
2021-06-07 20:36:05
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-06-07 20:05:58
阅读次数：
0
HDFS客户端环境准备 1．根据拷贝编译后的hadoop jar包到非中文路径 2．配置HADOOP_HOME环境变量 3. 配置Path环境变量 4．创建一个Maven工程HdfsClientDemo 5．导入相应的依赖坐标+日志添加 <dependencies> <dependency> <gr ...
分类：
其他好文 时间：
2021-06-06 19:12:37
阅读次数：
0
save.py def savetofile(memberlist, avgfee): with open('record.txt','a',encoding='utf8') as f: recordlist = [f'{member}:{avgfee}' for member in memberl ...
分类：
编程语言 时间：
2021-06-04 19:37:30
阅读次数：
0
笛卡尔集 笛卡尔集会在下面条件下产生: 省略连接条件 连接条件无效 所有表中的所有行互相连接 为了避免笛卡尔集， 可以在 WHERE 加入有效的连接条件。 Oracle 连接 使用连接在多个表中查询数据。 在 WHERE 子句中写入连接条件。 在表中有相同列时，在列名之前加上表名前缀 等值连接 SE ...
分类：
其他好文 时间：
2021-06-04 19:36:58
阅读次数：
0
