又到一年双十一，来看看淘宝的服务端架构演进历程（转载）_jbo竞博官网

2023-12-13 11:03:03

转载自作者：@huashiou 地址：https://segmentfault.com/a/11900000186261631. 概述 本文以淘宝作为例子，先容从一百个到千万级并发情况下服务端的架构的演进历程，同时枚举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。特别说明：本文以淘宝为例仅仅是为了便于说明演进历程可能遇到的问题，并非是淘宝真正的技术演进路径在先容架构之前，为了制止部门读者对架构设计中的一些观点不相识，下面临几个最基础的观点举行先容：漫衍式系统中的多个模块在差别服务器上部署，即可称为漫衍式系统，如Tomcat和数据库划分部署在差别的服务器上，或两个相同功效的Tomcat划分部署在差别服务器上高可用系统中部门节点失效时，其他节点能够接替它继续提供服务，则可认为系统具有高可用性集群一个特定领域的软件部署在多台服务器上并作为一个整体提供一类服务，这个整体称为集群。如Zookeeper中的Master和Slave划分部署在多台服务器上，配合组成一个整体提供集中设置服务。在常见的集群中，客户端往往能够毗连任意一个节点获得服务，而且当集群中一个节点掉线时，其他节点往往能够自动的接替它继续提供服务，这时候说明集群具有高可用性负载平衡请求发送到系统时，通过某些方式把请求匀称分发到多个节点上，使系统中每个节点能够匀称的处置惩罚请求负载，则可认为系统是负载平衡的正向署理和反向署理系统内部要会见外部网络时，统一通过一个署理服务器把请求转发出去，在外部网络看来就是署理服务器提倡的会见，此时署理服务器实现的是正向署理；当外部请求进入系统时，署理服务器把该请求转发到系统中的某台服务器上，对外部请求来说，与之交互的只有署理服务器，此时署理服务器实现的是反向署理。

简朴来说，正向署理是署理服务器取代系统内部来会见外部网络的历程，反向署理是外部请求会见系统时通过署理服务器转发到内部服务器的历程。3. 架构演进3.1 单机架构以淘宝作为例子。在网站最初时，应用数量与用户数都较少，可以把Tomcat和数据库部署在同一台服务器上。

浏览器往www.taobao.com提倡请求时，首先经由DNS服务器（域名系统）把域名转换为实际IP地址10.102.4.1，浏览器转而会见该IP对应的Tomcat。随着用户数的增长，Tomcat和数据库之间竞争资源，单机性能不足以支撑业务3.2 第一次演进：Tomcat与数据库离开部署Tomcat和数据库划分独占服务器资源，显著提高两者各自性能随着用户数的增长，并发读写数据库成为瓶颈3.3 第二次演进：引入当地缓存和漫衍式缓存在Tomcat同服务器上或同JVM中增加当地缓存，并在外部增加漫衍式缓存，缓存热门商品信息或热门商品的html页面等。通过缓存能把绝大多数请求在读写数据库前拦截掉，大大降低数据库压力。其中涉及的技术包罗：使用memcached作为当地缓存，使用Redis作为漫衍式缓存，还会涉及缓存一致性、缓存穿透/击穿、缓存雪崩、热点数据集中失效等问题。

缓存抗住了大部门的会见请求，随着用户数的增长，并发压力主要落在单机的Tomcat上，响应逐渐变慢3.4 第三次演进：引入反向署理实现负载平衡在多台服务器上划分部署Tomcat，使用反向署理软件（Nginx）把请求匀称分发到每个Tomcat中。此处假设Tomcat最多支持100个并发，Nginx最多支持50000个并发，那么理论上Nginx把请求分发到500个Tomcat上，就能抗住50000个并发。其中涉及的技术包罗：Nginx、HAProxy，两者都是事情在网络第七层的反向署理软件，主要支持http协议，还会涉及session共享、文件上传下载的问题。

反向署理使应用服务器可支持的并发量大大增加，但并发量的增长也意味着更多请求穿透到数据库，单机的数据库最终成为瓶颈3.5 第四次演进：数据库读写分散把数据库划分为读库和写库，读库可以有多个，通过同步机制把写库的数据同步到读库，对于需要查询最新写入数据场景，可通过在缓存中多写一份，通过缓存获得最新数据。其中涉及的技术包罗：Mycat，它是数据库中间件，可通过它来组织数据库的分散读写和分库分表，客户端通过它来会见下层数据库，还会涉及数据同步，数据一致性的问题。业务逐渐变多，差别业务之间的会见量差距较大，差别业务直接竞争数据库，相互影响性能3.6 第五次演进：数据库按业务分库把差别业务的数据生存到差别的数据库中，使业务之间的资源竞争降低，对于会见量大的业务，可以部署更多的服务器来支撑。这样同时导致跨业务的表无法直接做关联分析，需要通过其他途径来解决，但这不是本文讨论的重点，有兴趣的可以自行搜索解决方案。

随着用户数的增长，单机的写库会逐渐会到达性能瓶颈3.7 第六次演进：把大表拆分为小表好比针对评论数据，可根据商品ID举行hash，路由到对应的表中存储；针对支付记载，可根据小时建立表，每个小时表继续拆分为小表，使用用户ID或记载编号来路由数据。只要实时操作的表数据量足够小，请求能够足够匀称的分发到多台服务器上的小表，那数据库就能通过水平扩展的方式来提高性能。其中前面提到的Mycat也支持在大表拆分为小心情况下的会见控制。这种做法显著的增加了数据库运维的难度，对DBA的要求较高。

数据库设计到这种结构时，已经可以称为漫衍式数据库，可是这只是一个逻辑的数据库整体，数据库里差别的组成部门是由差别的组件单独来实现的，如分库分表的治理和请求分发，由Mycat实现，SQL的剖析由单机的数据库实现，读写分散可能由网关和消息行列来实现，查询效果的汇总可能由数据库接口层来实现等等，这种架构其实是MPP（大规模并行处置惩罚）架构的一类实现。现在开源和商用都已经有不少MPP数据库，开源中比力盛行的有Greenplum、TiDB、Postgresql XC、HAWQ等，商用的如南大通用的GBase、睿帆科技的雪球DB、华为的LibrA等等，差别的MPP数据库的偏重点也纷歧样，如TiDB更偏重于漫衍式OLTP场景，Greenplum更偏重于漫衍式OLAP场景，这些MPP数据库基本都提供了类似Postgresql、Oracle、MySQL那样的SQL尺度支持能力，能把一个查询剖析为漫衍式的执行计划分发到每台机械上并行执行，最终由数据库自己汇总数据举行返回，也提供了诸如权限治理、分库分表、事务、数据副本等能力，而且大多能够支持100个节点以上的集群，大大降低了数据库运维的成本，而且使数据库也能够实现水平扩展。

数据库和Tomcat都能够水平扩展，可支撑的并发大幅提高，随着用户数的增长，最终单机的Nginx会成为瓶颈3.8 第七次演进：使用LVS或F5来使多个Nginx负载平衡由于瓶颈在Nginx，因此无法通过两层的Nginx来实现多个Nginx的负载平衡。图中的LVS和F5是事情在网络第四层的负载平衡解决方案，其中LVS是软件，运行在操作系统内核态，可对TCP请求或更高层级的网络协议举行转发，因此支持的协议更富厚，而且性能也远高于Nginx，可假设单机的LVS可支持几十万个并发的请求转发；F5是一种负载平衡硬件，与LVS提供的能力类似，性能比LVS更高，但价钱昂贵。由于LVS是单机版的软件，若LVS所在服务器宕机则会导致整个后端系统都无法会见，因此需要有备用节点。

可使用keepalived软件模拟出虚拟IP，然后把虚拟IP绑定到多台LVS服务器上，浏览器会见虚拟IP时，会被路由器重定向到真实的LVS服务器，当主LVS服务器宕机时，keepalived软件会自动更新路由器中的路由表，把虚拟IP重定向到另外一台正常的LVS服务器，从而到达LVS服务器高可用的效果。此处需要注意的是，上图中从Nginx层到Tomcat层这样画并不代表全部Nginx都转发请求到全部的Tomcat，在实际使用时，可能会是几个Nginx下面接一部门的Tomcat，这些Nginx之间通过keepalived实现高可用，其他的Nginx接另外的Tomcat，这样可接入的Tomcat数量就能成倍的增加。

由于LVS也是单机的，随着并发数增长到几十万时，LVS服务器最终会到达瓶颈，此时用户数到达千万甚至上亿级别，用户漫衍在差别的地域，与服务器机房距离差别，导致了会见的延迟会显着差别3.9 第八次演进：通过DNS轮询实现机房间的负载平衡在DNS服务器中可设置一个域名对应多个IP地址，每个IP地址对应到差别的机房里的虚拟IP。当用户会见www.taobao.com时，DNS服务器会使用轮询计谋或其他计谋，来选择某个IP供用户会见。

此方式能实现机房间的负载平衡，至此，系统可做到机房级此外水平扩展，千万级到亿级的并发量都可通过增加机房来解决，系统入口处的请求并发量不再是问题。随着数据的富厚水平和业务的生长，检索、分析等需求越来越富厚，单单依靠数据库无法解决如此富厚的需求3.10 第九次演进：引入NoSQL数据库和搜索引擎等技术当数据库中的数据多到一定规模时，数据库就不适用于庞大的查询了，往往只能满足普通查询的场景。对于统计报表场景，在数据量大时纷歧定能跑出效果，而且在跑庞大查询时会导致其他查询变慢，对于全文检索、可变数据结构等场景，数据库天生不适用。因此需要针对特定的场景，引入合适的解决方案。

如对于海量文件存储，可通太过布式文件系统HDFS解决，对于key value类型的数据，可通过HBase和Redis等方案解决，对于全文检索场景，可通过搜索引擎如ElasticSearch解决，对于多维分析场景，可通过Kylin或Druid等方案解决。固然，引入更多组件同时会提高系统的庞大度，差别的组件生存的数据需要同步，需要思量一致性的问题，需要有更多的运维手段来治理这些组件等。引入更多组件解决了富厚的需求，业务维度能够极大扩充，随之而来的是一个应用中包罗了太多的业务代码，业务的升级迭代变得难题3.11 第十次演进：大应用拆分为小应用根据业务板块来划分应用代码，使单个应用的职责更清晰，相互之间可以做到独立升级迭代。这时候应用之间可能会涉及到一些公共设置，可以通太过布式设置中心Zookeeper来解决。

差别应用之间存在共用的模块，由应用单独治理会导致相同代码存在多份，导致公共功效升级时全部应用代码都要随着升级3.12 第十一次演进：复用的功效抽离成微服务如用户治理、订单、支付、鉴权等功效在多个应用中都存在，那么可以把这些功效的代码单独抽取出来形成一个单独的服务来治理，这样的服务就是所谓的微服务，应用和服务之间通过HTTP、TCP或RPC请求等多种方式来会见公共服务，每个单独的服务都可以由单独的团队来治理。此外，可以通过Dubbo、SpringCloud等框架实现服务治理、限流、熔断、降级等功效，提高服务的稳定性和可用性。

差别服务的接口会见方式差别，应用代码需要适配多种会见方式才气使用服务，此外，应用会见服务，服务之间也可能相互会见，挪用链将会变得很是庞大，逻辑变得杂乱3.13 第十二次演进：引入企业服务总线ESB屏蔽服务接口的会见差异通过ESB统一举行会见协议转换，应用统一通过ESB来会见后端服务，服务与服务之间也通过ESB来相互挪用，以此降低系统的耦合水平。这种单个应用拆分为多个应用，公共服务单独抽取出来来治理，并使用企业消息总线来排除服务之间耦合问题的架构，就是所谓的SOA（面向服务）架构，这种架构与微服务架构容易混淆，因为体现形式十分相似。小我私家明白，微服务架构更多是指把系统里的公共服务抽取出来单独运维治理的思想，而SOA架构则是指一种拆分服务并使服务接口会见变得统一的架构想想，SOA架构中包罗了微服务的思想。

业务不停生长，应用和服务都市不停变多，应用和服务的部署变得庞大，同一台服务器上部署多个服务还要解决运行情况冲突的问题，此外，对于如大促这类需要动态扩缩容的场景，需要水平扩展服务的性能，就需要在新增的服务上准备运行情况，部署服务等，运维将变得十分难题3.14 第十三次演进：引入容器化技术实现运行情况隔离与动态服务治理现在最盛行的容器化技术是Docker，最盛行的容器治理服务是Kubernetes(K8S)，应用/服务可以打包为Docker镜像，通过K8S来动态分发和部署镜像。Docker镜像可明白为一个能运行你的应用/服务的最小的操作系统，内里放着应用/服务的运行代码，运行情况凭据实际的需要设置好。

把整个“操作系统”打包为一个镜像后，就可以分发到需要部署相关服务的机械上，直接启动Docker镜像就可以把服务起起来，使服务的部署和运维变得简朴。在大促的之前，可以在现有的机械集群上划分出服务器来启动Docker镜像，增强服务的性能，大促事后就可以关闭镜像，对机械上的其他服务不造成影响（在3.14节之前，服务运行在新增机械上需要修改系统设置来适配服务，这会导致机械上其他服务需要的运行情况被破坏）。使用容器化技术后服务动态扩缩容问题得以解决，可是机械还是需要公司自身来治理，在非大促的时候，还是需要闲置着大量的机械资源来应对大促，机械自身成本和运维成本都极高，资源使用率低3.15 第十四次演进：以云平台承载系统系统可部署到公有云上，使用公有云的海量机械资源，解决动态硬件资源的问题，在大促的时间段里，在云平台中暂时申请更多的资源，联合Docker和K8S来快速部署服务，在大促竣事后释放资源，真正做到按需付费，资源使用率大大提高，同时大大降低了运维成本。

所谓的云平台，就是把海量机械资源，通过统一的资源治理，抽象为一个资源整体，在之上可按需动态申请硬件资源（如CPU、内存、网络等），而且之上提供通用的操作系统，提供常用的技术组件（如Hadoop技术栈，MPP数据库等）供用户使用，甚至提供开发好的应用，用户不需要关系应用内部使用了什么技术，就能够解决需求（如音视频转码服务、邮件服务、小我私家博客等）。在云平台中会涉及如下几个观点：IaaS：基础设施即服务。

对应于上面所说的机械资源统一为资源整体，可动态申请硬件资源的层面；PaaS：平台即服务。对应于上面所说的提供常用的技术组件利便系统的开发和维护；SaaS：软件即服务。

对应于上面所说的提供开发好的应用或服务，按功效或性能要求付费。至此，以上所提到的从高并发会见问题，到服务的架构和系统实施的层面都有了各自的解决方案，但同时也应该意识到，在上面的先容中，其实是有意忽略了诸如跨机房数据同步、漫衍式事务实现等等的实际问题，这些问题以后有时机再拿出来单独讨论4. 架构设计总结架构的调整是否必须根据上述演变路径举行？不是的，以上所说的架构演变顺序只是针对某个侧面举行单独的革新，在实际场景中，可能同一时间会有几个问题需要解决，或者可能先到达瓶颈的是另外的方面，这时候就应该根据实际问题实际解决。如在政府类的并发量可能不大，但业务可能很富厚的场景，高并发就不是重点解决的问题，此时优先需要的可能会是富厚需求的解决方案。对于将要实施的系统，架构应该设计到什么水平？对于单次实施而且性能指标明确的系统，架构设计到能够支持系统的性能指标要求就足够了，但要留有扩展架构的接口以便不备之需。

对于不停生长的系统，如电商平台，应设计到能满足下一阶段用户量和性能指标要求的水平，并凭据业务的增长不停的迭代升级架构，以支持更高的并发和更富厚的业务。服务端架构和大数据架构有什么区别？所谓的“大数据”其实是海量数据收罗清洗转换、数据存储、数据分析、数据服务等场景解决方案的一个统称，在每一个场景都包罗了多种可选的技术，如数据收罗有Flume、Sqoop、Kettle等，数据存储有漫衍式文件系统HDFS、FastDFS，NoSQL数据库HBase、MongoDB等，数据分析有Spark技术栈、机械学习算法等。总的来说大数据架构就是凭据业务的需求，整合种种大数据组件组合而成的架构，一般会提供漫衍式存储、漫衍式盘算、多维分析、数据堆栈、机械学习算法等能力。而服务端架构更多指的是应用组织层面的架构，底层能力往往是由大数据架构来提供。

有没有一些架构设计的原则？N+1设计。系统中的每个组件都应做到没有单点故障；回滚设计。

确保系统可以向前兼容，在系统升级时应能有措施回滚版本；禁用设计。应该提供控制详细功效是否可用的设置，在系统泛起故障时能够快速下线功效；监控设计。在设计阶段就要思量监控的手段；多活数据中心设计。若系统需要极高的高可用，应思量在多地实施数据中心举行多活，至少在一个机房断电的情况下系统依然可用；接纳成熟的技术。

刚开发的或开源的技术往往存在许多隐藏的bug，出了问题没有商业支持可能会是一个灾难；资源隔离设计。应制止单一业务占用全部资源；架构应能水平扩展。系统只有做到能水平扩展，才气有效制止瓶颈问题；非焦点则购置。

非焦点功效若需要占用大量的研发资源才气解决，则思量购置成熟的产物；使用商用硬件。商用硬件能有效降低硬件故障的机率；快速迭代。

系统应该快速开发小功效模块，尽快上线举行验证，早日发现问题大大降低系统交付的风险；无状态设计。服务接口应该做成无状态的，当前接口的会见不依赖于接口上次会见的状态。以上就是本次的知识分享了，正值双十一，本人推荐自用好物华强北AirPods2，入耳检测，更名定位，清澈人声，有兴趣的小同伴可以私信我。

本文来源：jbo竞博官网-www.reinafresh.com