数据密集型应用 on LoveIt

13. 软件架构设计中的常见问题

1556824234@qq.com (宋涛) — Sun, 14 Apr 2019 00:00:00 +0000

哪些常见的软件设计问题

1. 消息队列

1.1 消息系统的实现方式

消息系统采用发布/订阅模式，为了区分不同的消息系统，提出以下两个问题对区分很有帮助:

如果生产者发送消息的速度比消费者能处理的快，会发生什么？
- 一般有三种选择: 系统丢弃消息；将消息缓存在队列中；激活背压(流量控制，即阻止生产者发送消息)
- 如果消息被缓存在队列中，那么队列增长时会发生什么非常重要
- 如果内存无法容纳所有队列，系统是否会崩溃，还是消息会被写入磁盘
- 如果消息会落盘，又会如何影响消息传递系统的性能
如果节点崩溃或者暂时离线，是否会有消息丢失?
- 持久化需要写入磁盘或者结合复制方案，这些都是有成本的
- 如果能够接受消息丢失，那么同样的硬件上可以获得更高的吞吐量和更低的延迟

消息传递有如下几种方式:

13. 数据系统的未来

1556824234@qq.com (宋涛) — Sat, 13 Apr 2019 00:00:00 +0000

如何构建现代数据系统

1. 构建现代系统

前面我们讨论当前流行的技术，接下来我们综合之前所说的所有知识，来谈谈未来的系统应该是什么样子。

1.1 数据集成

首先每个软件，即使所谓的通用数据库，也是针对特定的使用模式而设计，第一个挑战就是弄清楚软件产品与他们适合运行环境之间的关系。

12. 流处理系统

1556824234@qq.com (宋涛) — Fri, 12 Apr 2019 00:00:00 +0000

派生数据

1. 流处理系统

前面讨论的批处理系统存在一个重要的假设: 输入是有界的，是已知的有限大小，所以批处理知道何时读完他们。比如MapReduce 核心的排序操作必须读取整个输入，然后才开始生成输出。

11. 批处理系统

1556824234@qq.com (宋涛) — Thu, 11 Apr 2019 00:00:00 +0000

派生数据

1. 组合的数据系统

前面我们讨论了分布式系统所有主要注意事项，但是这些讨论都只包含一个数据库。事实上数据系统是复杂的，通常需要以多种方式访问和处理数据，并且一个数据库往往无法同时满足所有不同的需求。因此应用程序需要使用若干不同的数据存储区、索引、高速缓存、分析系统等的组合，并实现数据从一个存储系统移动到另一个存储系统。

10. 一致性与共识

1556824234@qq.com (宋涛) — Wed, 10 Apr 2019 00:00:00 +0000

一致性与共识

1. 共识算法的概述

本节我们将讨论构建容错式分布式系统的相关算法和协议。这里我们假设第 8 章中所有的故障都可能发生: 网络会丢失、顺序紊乱、重复发送或延迟；时钟也有一定偏差，节点可能发生暂停甚至随时崩溃。为了构建容错系统，最好先建立一套通用的抽象机制和与之对应的技术保证，这样只需实现一次，其上的各种应用程序都可以安全的信赖底层的保证。这与引入事务是一样的道理。

9. 分布式系统的挑战

1556824234@qq.com (宋涛) — Tue, 09 Apr 2019 00:00:00 +0000

分布式系统面临的挑战

1. 分布式系统中的故障

在分布式系统中，故障来自于下面的方方面面:

网络分区不可避免 – 网络不可靠
时钟和时序问题，时钟无法精确同步 — 时钟不可靠
分布式系统中的一个节点必须假设，执行过程中的任何时刻都可能被暂停相当长一段时间，包括运行在某个函数中间。暂停期间，整个集群其他部分都照常运行，甚至会一致将暂停的节点宣告为故障节点，最终暂停的节点可能会回来继续执行，除非再次检查时钟，否则对刚刚过去的暂停毫无意识

让系统容忍失效并不容易，在典型的分布式环境下，没有全局变量，没有共享内存，没有约定的尝试或其他跨节点的共享状态。节点甚至不太清楚现在的准确时间。信息的流动只能通过不可靠的网络来发送。

8. 事务

1556824234@qq.com (宋涛) — Mon, 08 Apr 2019 00:00:00 +0000

事务

1. 为什么需要事务

事务将应用程序的多个读、写操作捆绑在一起成为一个逻辑单元，要么全部成功(提交)、要么失败(中止或回滚)。如果失败，应用程序可以安全地重试。这样无需担心部分失败的情况。事务存在的目的是简化应用层的编程模型。有了事务，应用程序可以不用考虑某些内部潜在的错误以及复杂的并发性问题，这些都交给数据库负责处理(称之为安全性保证)。

7. 分区

1556824234@qq.com (宋涛) — Sun, 07 Apr 2019 00:00:00 +0000

数据分区

1. 分区

分区的存在为了存储海量数据集或者分摊非常大的查询压力。分区通常是这样定义的，每一条数据(记录)只属于某个特定分区。每个分区都可以视为一个完整的小型数据库。采用数据分区通过将负载分摊到更多的机器上来提高系统的可扩展性。分区和复制通常结合使用，即每个分区在多个节点上都存有副本。

6. 复制

1556824234@qq.com (宋涛) — Sat, 06 Apr 2019 00:00:00 +0000

系统可扩展性

1. 系统的可扩展性

当负载增加需要更强的处理能力时，我们有两种扩展系统的方式:

垂直扩展: 购买更强大的机器
水平扩展: 组合更多数量的机器

垂直扩展通过共享内存和共享磁盘的方式，让操作系统管理更多的 CPU、内存和磁盘，从何获取更强劲的性能。但是这种方式有明显的缺陷:

5. 数据编码与演化

1556824234@qq.com (宋涛) — Fri, 05 Apr 2019 00:00:00 +0000

构建可适应变化的系统

1. 数据的演化

应用程序不可避免的需要随时间而变化，大多数情况下，应用程序的更改也需要更改其存储的数据: 增删字段或者以新的方式呈现数据。当数据格式或模式发生变化时，同样也需要对应用程序代码进行相应调整。

4. 数据存储和检索

1556824234@qq.com (宋涛) — Thu, 04 Apr 2019 00:00:00 +0000

数据如何存储，如何检索

1. 存储引擎

上一节我们讨论了数据模型和查询语言，即应用开发人员向数据库执行数据格式并在之后如何查询的机制。接下来我们从数据的角度在此探讨同样的问题，即如何存储输入的数据，并在收到查询请求时，如何重新找到数据。

3. 数据模型与查询语言

1556824234@qq.com (宋涛) — Wed, 03 Apr 2019 00:00:00 +0000

用于数据存储和查询的通用数据模型

1. 数据的抽象

大多数应用程序是通过一层一层叠加数据模型来构建的，每一层都面临的关键问题是: 如何将其用下一层来表示？例如:

2. 构建怎样的数据系统

1556824234@qq.com (宋涛) — Tue, 02 Apr 2019 00:00:00 +0000

构建数据密集型应用的目标

1. 构建怎样的系统

影响数据系统设计的因素很多，每个因素都需要具体问题具体分析。而我们着重讨论三个在大多数软件系统中都很重要的问题：

1. 构建数据密集型应用

1556824234@qq.com (宋涛) — Mon, 01 Apr 2019 00:00:00 +0000

《构建数据密集型应用》读书笔记

1. 写在开始

2014 年我开始自学编程的时候，在各种培训机构的课程里 Mysql 几乎还是唯一的数据库系统。现如今每一个工程师可能都听过 NoSQL，hadoop，Elasticsearch。“大数据"已经成为了几乎所有公司看中的技能。