wzy0623的专栏

                                                                                                                                  数据库、数据仓库、大数据

                                                                                                                                  MySQL 8 复制(四)——GTID与复制

                                                                                                                                  目录 一、GTID简介 1. 什么是GTID 2. GTID的格式与存储 二、GTID生命周期 1. 典型事务的GTID生命周期 2. GTID分配 3. gtid_next系统变量 4. gtid_purged系统变量 MySQL复制中使用的事务类型有以下两种: GT...

                                                                                                                                  2019-06-06 17:52:03

                                                                                                                                  阅读数 848

                                                                                                                                  评论数 3

                                                                                                                                  Redis Cluster FlushAll失败

                                                                                                                                  转自:http://longlongblog.cn/2017/11/01/58/ 问题背景 Flush是一个极少用到的操作,不过既然碰到过诡异的现象,也记录在此。 问题场景是在Reids Cluster中使用主从模式,向主节点发送flush命令,预期主从节点都会清空数据库。但是诡异的现象出现...

                                                                                                                                  2019-05-29 14:35:36

                                                                                                                                  阅读数 33

                                                                                                                                  评论数 0

                                                                                                                                  MySQL 8 复制(三)——延迟复制与部分复制

                                                                                                                                  目录 一、延迟复制 1. 延迟复制简介 2. 延迟复制时间戳 3. 监控延迟复制 二、部分复制 1. 简介 2. 评估数据库级复制和二进制日志选项 3. 评估表级复制选项 4. 复制规则应用 5. 部分复制示例 三、主从切换 1. 计划内切换 2. 计划外切换 一、延迟...

                                                                                                                                  2019-05-28 17:56:41

                                                                                                                                  阅读数 1202

                                                                                                                                  评论数 5

                                                                                                                                  MySQL 8 复制(二)——半同步复制

                                                                                                                                  目录 一、简介 二、性能提升 1. 支持发送二进制日志事件和接收ACK的异步化 2. 控制主库接收确认反馈从库的数量 3. 二进制日志互斥锁改进 三、数据一致性 1. 源码剖析 2. rpl_semi_sync_master_wait_point的配置 3. sync_bin...

                                                                                                                                  2019-05-16 18:01:45

                                                                                                                                  阅读数 1138

                                                                                                                                  评论数 3

                                                                                                                                  MySQL 8 复制(一)——异步复制

                                                                                                                                  目录 一、MySQL异步复制介绍 1. 复制的用途 2. 复制如何工作 3. 两阶段提交 二、复制实验环境 三、安装mysql-8.0.16 四、配置异步复制 1. 空库 2. 脱机 3. 联机 一、MySQL异步复制介绍 简单说,复制就是将来自一个MySQL数据库...

                                                                                                                                  2019-05-10 18:25:10

                                                                                                                                  阅读数 1668

                                                                                                                                  评论数 7

                                                                                                                                  初学乍练redis:Redis 5 Cluster手工指定主从关系

                                                                                                                                  1. 检查当前Cluster的主从关系 /home/redis/redis-5.0.3/src/redis-cli -a 123456 --cluster check 140.210.73.39:20001 结果如下: 140.210.73.39:20001 (a1addf19....

                                                                                                                                  2019-04-21 16:25:50

                                                                                                                                  阅读数 435

                                                                                                                                  评论数 1

                                                                                                                                  初学乍练redis:Redis 5.0.3单实例数据迁移到Cluster

                                                                                                                                  在使用redis 3时,可以使用redis-migrate-tool工具做redis在线数据迁移(参考https://wxy0327.www.emissuniverse.com/article/details/84138537)。但是我们现在使用的redis server已经升级到5.0.3版本,再用redis-...

                                                                                                                                  2019-04-19 18:16:28

                                                                                                                                  阅读数 687

                                                                                                                                  评论数 1

                                                                                                                                  初学乍练redis:使用rdr查看Redis key内存使用

                                                                                                                                  一、问题提出 有一个生产系统的Redis实例内存使用超限引发报警,需要查看各个key所使用的内存分布情况,以便采取进一步的措施。 二、安装RDR Redis原生并没提供查看单个Key的内存占用情况的命令。经过简单快速地调研,决定试一下RDR(Redis Data ...

                                                                                                                                  2019-04-18 15:59:12

                                                                                                                                  阅读数 426

                                                                                                                                  评论数 2

                                                                                                                                  快速生成日期维度数据

                                                                                                                                  日期维度在数据仓库中是一个特殊角色。日期维度包含时间概念,而时间是最重要的,因为数据仓库的主要功能之一就是存储和追溯历史数据,所以每个数据仓库里的数据都有一个时间特征。装载日期数据有三个常用方法:预装载、每日装载一天、从源数据装载日期。在三种方法中,预装载最为常见也最容易实现。在数据仓库生命周期中...

                                                                                                                                  2019-04-06 08:38:32

                                                                                                                                  阅读数 503

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:管理

                                                                                                                                  目录 一、模板 二、动态映射 三、分配感知 四、监控 1. 检查集群健康状况 2. 慢日志、热线程和线程池 3. 内存 4. 操作系统缓存 5. 存储限流 五、备份与恢复 1. 快照API 2. 将数据备份到共享的文件系统 3. 从备份中恢复 《Elasticsearc...

                                                                                                                                  2019-02-22 16:08:07

                                                                                                                                  阅读数 286

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:优化

                                                                                                                                  目录 一、合并请求 1. 批量操作(bulk) 2. 多条搜索和多条获取 二、优化Lucene分段的处理 1. refresh和flush 2. 合并以及合并策略 三、缓存 1. 过滤器和过滤器缓存 2. 分片查询缓存 3. JVM堆和操作系统缓存 四、其它的性能权衡 1....

                                                                                                                                  2019-02-19 17:22:22

                                                                                                                                  阅读数 198

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:扩展

                                                                                                                                  目录 一、添加节点 二、节点发现 1. 广播 2. 单播 3. 选举主节点 4. 错误识别 三、删除节点 1. 丢失节点 2. 停用节点 四、升级节点 五、使用_cat API 六、扩展策略 1. 过度分片 2. 将数据切分为索引和分片 3. 最大化吞吐量 七、别名...

                                                                                                                                  2019-02-14 17:01:52

                                                                                                                                  阅读数 209

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:关联

                                                                                                                                  目录 一、文档间关系概览 1. 对象类型 2. 嵌套类型 3. 父子关系 4. 反规范化 二、将对象最为字段值 1. 映射和索引对象 2. 搜索对象 三、嵌套类型 1. 映射并索引嵌套文档 2. 搜索和聚合嵌套文档 四、父子关系 1. 子文档的索引、更新和删除 2. 在...

                                                                                                                                  2019-02-12 17:20:53

                                                                                                                                  阅读数 210

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:聚合

                                                                                                                                  目录 一、聚合的结构 二、度量集合 三、桶型聚合 四、嵌套聚合 1. 多桶聚合 2. 单桶聚合 《Elasticsearch In Action》学习笔记。 ? ? ? ? 熟悉SQL的用户一定对聚合不会陌生,简单说任何应用于group by的查询都会执行一个聚合操作。ES的聚合(...

                                                                                                                                  2019-02-01 15:13:15

                                                                                                                                  阅读数 353

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:打分

                                                                                                                                  目录 一、ES打分机制 1. TF-IDF 2. 其它打分方法 二、boosting 三、explain 四、再打分 五、function_score 六、使用脚本排序 《Elasticsearch In Action》学习笔记。 ? ? ? ? 使得ES查询与select *...

                                                                                                                                  2019-01-30 16:06:27

                                                                                                                                  阅读数 190

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:分析

                                                                                                                                  目录 一、什么是分析 二、分析文档 三、分析API 四、分析器、分词器、分词过滤器 1. 内置分析器 2. 分词器 3. 分词过滤器 五、N元语法、侧边N元语法、滑动窗口 七、IK中文分词插件 《Elasticsearch In Action》学习笔记。 一、什么是分析 ?...

                                                                                                                                  2019-01-29 18:09:59

                                                                                                                                  阅读数 424

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:搜索

                                                                                                                                  目录 一、搜索请求的结构 1. 确定搜索范围 2. 搜索请求的基本模块 3. 基于请求主体的搜索请求 4. 回复的结构 二、查询和过滤器 1. match 2. term 3. query_string 三、复合查询 1. bool查询 2. bool过滤器 四、其它查询...

                                                                                                                                  2019-01-28 17:29:13

                                                                                                                                  阅读数 211

                                                                                                                                  评论数 0

                                                                                                                                  我的SQL-on-Hadoop学习总结三部曲

                                                                                                                                  以分布式数据库为基础,涵盖主流Hadoop上数据仓库、ETL、数据分析、机器学习相关的相对完整的知识体系和技术实现方案。 ?

                                                                                                                                  2019-01-18 08:25:59

                                                                                                                                  阅读数 373

                                                                                                                                  评论数 1

                                                                                                                                  触类旁通Elasticsearch:操作

                                                                                                                                  一、索引数据 1. 使用映射定义文档 ? ? ? ? 映射里包含了一个索引的文档中所有字段的定义,并告诉ES如何索引一篇文档的多个字段。例如,如果一个字段包含日期,可以定义哪种日期格式是可以接受的。映射的概念类似于DB中的表字段定义。 ? ? ? ? ES会自动识别字段,并根据数据相应地调整...

                                                                                                                                  2019-01-11 16:35:56

                                                                                                                                  阅读数 203

                                                                                                                                  评论数 0

                                                                                                                                  触类旁通Elasticsearch:原理

                                                                                                                                  目录 一、逻辑设计 1. 文档 2. 类型 3. 索引 二、物理设计 1. 节点 2. 主分片与副本分片 3. 分布式索引和搜索 三、索引数据 四、搜索数据 1. 在哪里搜索 2. 回复的内容 3. 如何搜索 4. 通过ID获取文档 ? ? ? ? ES被设计为处理海...

                                                                                                                                  2019-01-08 15:48:45

                                                                                                                                  阅读数 277

                                                                                                                                  评论数 1

                                                                                                                                  提示
                                                                                                                                  确定要删除当前文章?
                                                                                                                                  取消 删除