一个大型网站架构的演变历程
正序:
Rome was not built in a day(罗马不是一天建成的。)
一个成熟的大型网站从来都不是一蹴而就的,需要经过多次架构的调整和升级,我们熟知的大型网站比如京东、淘宝、亚马逊,它们每天都有巨大的用户访问量也拥有非常大的数据体量,通过对大量数据进行收集,网站又进一步做大数据治理、分析和应用,以此来提高网站的智能,增加用户的粘性。总结一下这些大型网站基本都有以下几种特征:
①:高并发、流量大。
②:高可用,7*24小时不间断的服务。
③:大数据,对海量数据进行分析、治理,再次服务于业务。
④:敏捷开发,迭代快,一般来说1~2周就要迭代一次。
⑤:用户体系庞大。
⑥:可持续升级,技术服务于业务,随着业务量的升级架构也跟着升级。
⑦:安全防范,会面对更多的Web漏洞、服务器漏洞等。
⑧:弹性拓展,可以进行动态扩缩容。
⑨:吞吐量高,响应速度快。
通过上述特性我们了解到了大型网站的厉害之处,但其实它的初始形态是简单的,就像人类演变一样,网站也是一步步从单体 -> 集群 -> 分布式 -> 微服务/容器化 演变而来,都是为了更好的适配当前的用户体量和业务发展。下来就进入到我们的正文环节。

1. 单向
用户->浏览器->服务器
混沌初开,一个网站最初始的设计形态就是一个“静态网页”,用户单向的在浏览器中进行
内容浏览,而浏览的内容就是服务器通过HTML对一些固定的、已经写好了的“文章”的显示。

2. 双向
用户<->浏览器<->服务器<->数据库
单向的浏览对于用户来说是乏味的,随着技术的发展,我们可以实现用户和服务器之间的
双向交互,而实现的关键就是架构引入了数据库,网站可以对用户的数据进行存储和反馈。

3. 单体架构
用户<->服务器【war<-> (文件服务器 / 数据库)】
做过早期Java-Web项目兄弟,肯定对Tomcat特别熟悉,这是一款Web服务器,每次做完新的
需求我们都需要将项目打成War包并在Tomcat上进行部署,War包中包含了我们通过的MVC架
构写的后端Java代码也包含了前端的HTML、JS、CSS,比之前先进的是,我们还引入了文件
服务器,文件服务器可以存储我们用户的头像、文件等,数据库还是和之前一样,保存用户的
信息。

4. 服务器分离
用户<-> 服务器(war)<-> 文件服务器 : 数据库 ;
Web服务器、文件服务器 、 数据库分离。
一个服务器的资源是有限的,为了承载更多的业务处理请求,我们将文件服务器和数据库
“搬离”原有服务器,找到新的服务器为他俩“安家”。

5. 服务器分离+缓存
服务器分离+数据库中间添加缓存中间件
数据库访问是所有性能瓶颈中最常见的,其中主要原因有:
①:数据库的连接数。
②:表数据量大(空间存储问题)。
③:硬件资源限制,硬件资源直接影响QPS每秒查询数/TPS每秒事务数。
其中常见的数据性能优化方案:SQL优化、缓存、创建索引、读写分离、分库分表等,添加
缓存中间件就是缓存的方式,可有效减少对数据库的访问,较少了访问也就不存在上述的性
能瓶颈。

6. 负载均衡+集群
tomcat应用集群、文件服务器集群、缓存集群、单数据库
孙悟空有很多本领,包括火眼金睛、72变、法天象地等等,但是我最喜欢的还是他的“身外身”
技能,使用此仙术可以以一化十,以十化百,百千万亿之变化。

集群也很好理解,就是进行自我复制,集群中的每个节点所干的活都是一样的,就算其中一个节点挂掉,也不会影响整个网站的正常使用。
负载均衡就是通过nginx或者其他代理服务器,让每台web服务器所接受的负载(用户请求)能够平均一些,不要抓着一直羊疯狂薅羊毛。

7. 负载均衡+集群+数据库读写分离、主从复制
读写分离,主从复制:
如果加了缓存集群,数据库的压力还是很大的话,我们就会考虑对数据库进行读写分析,
即增删改的操作在主-数据库,查询的操作在从-数据库。主库定时同步数据至从数据库。
这里主从复制可以推荐一片文章:数据库(mysql)主从复制与读写分离

8. 负载均衡+集群+分库分表
主数据库集群、从数据库集群、数据库集群间的同步
没啥可说的,单体的下一步永远都是集群,数据库也免不了俗,对数据库进行分库分表就会形
成我们的主-数据库集群(从-数据库集群是对应节点的复制),分库分表后我们数据库的主键
就不能采用自增的方式了,而应该是全局唯一主键。
全局唯一主键生成方式推荐文章:分布式系统全局唯一ID的几种实现方式

9. 负载均衡+集群+搜索引擎技术
如果我们的业务需求中有模糊查询的需求,我们需要引入搜索引擎技术,而不是直接将模糊
搜索的请求发到数据库,常用的搜索引擎技术就是Elasticsearch,如果需要进行全文搜索
,那么ES就是最好的解决方案。

10.微服务
淘宝为例,大型网站项目都会拆成微服务的一个个集群,数据库也需要进行拆分,作为单独的商品、订单的数据库。此时需要考虑分布式事务。
推荐分布式事务的文章:分布式事务六种解决方案

11.调优
最后就是对JVM、Tomcat、数据库、Linux、架构调优...

结束语:
天下合久必分、分久必合,网站架构的演变是没有尽头的,也没有绝对的完美架构适配所有
公司,我们能做的就是不断的观察、思考、改变、总结,周而复始...
相关文章:
一个大型网站架构的演变历程
正序: Rome was not built in a day(罗马不是一天建成的。)一个成熟的大型网站从来都不是一蹴而就的,需要经过多次架构的调整和升级,我们熟知的大型网站比如京东、淘宝、亚马逊,它们每天都有巨大的用户访问…...
前端前沿web 3d可视化技术 ThreeJS学习全记录
前端前沿web 3d可视化技术 随着浏览器性能和网络带宽的提升 使得3D技术不再是桌面的专利 打破传统平面展示模式 前端方向主要流向的3D图形库包括Three.js和WebGL WebGL灵活高性能,但代码量大,难度大,需要掌握很多底层知识和数学知识 Threej…...
链表经典笔试题(LeetCode刷题)
本篇文章主要是对力扣和牛客网上一些经典的和链表有关的笔试题的总结归纳,希望对你有所帮助。 目录 一、移除链表元素 1.1 问题描述 1.2 思路一 1.2.1 分析 1.2.2 代码 1.3 思路二 1.3.1 分析 1.2.3 思路三 1.3 代码实现 1.3.1 思路1的代码 1.3.2 思路2的…...
SpringCloud五大组件
微服务SpringCloud整合技术组件基本流程: 引入组件启动器依赖坐标覆盖默认配置即application.properties配置文件(每个微服务只有一个并且服务启动默认加载)引导类(微服务入口即main方法)自定义开启组件注解 SpringCloudEureka 服务注册中心,分为Eure…...
Echart的使用初体验,Echarts的基本使用及语法格式,简单图表绘制和使用及图例添加【学习笔记】
Echart? ECharts 是一个使用 JavaScript 实现的开源可视化库,涵盖各行业图表,满足各种需求。 ECharts 遵循 Apache-2.0 开源协议,免费商用。 ECharts 兼容当前绝大部分浏览器(IE8/9/10/11,Chrome…...
聊聊腾讯T13技术专家被开除
这两天腾讯的技术大佬stonehuang被曝离开腾讯,据他老婆在小红书上发的帖子称是遭遇了裁员,说实话刚看到这个消息我挺震惊的,stonehuang在中国大前端领域是排得上号的专家,同时他2005年就加入了腾讯,在qq空间的发展历程…...
c++ 常见宏、模板用法【1】
目录1、宏定义实现简单的断言2、可变参数模板3、变量模板4、宏定义实现范围内的for循环5、模板实现函数对象6、宏定义实现作用域限定7、类型萃取模板1、宏定义实现简单的断言 #define ASSERT(expr) \if(!(expr)) { \std::cout << "assertion failed: " <&l…...
【25】Verilog进阶 - 序列检测
VL25 输入序列连续的序列检测 本题并不难【中等】难度给高了 【做题关键】 (1)需要使用移位寄存器的思路。其实reg型是寄存器,也可以当做是移位寄存器,重要的是对其的处理,使用的是移位寄存器的思路 (2)注意新移入数据存放在低位 1 题目 + 代码 + TestBench 很简单,没…...
如何绕开运营商的 QoS 限制
运营商针对 UDP 进行限制,这是 QUIC 以及类似 UDP-Based 协议的推广阻力之一,上了线很多问题,丢包,慢等的问题严重增加运维,运营成本。 按照运营商五元组 QoS 这种简单粗暴不惹事的原则,只要换一个端口就可…...
C#基础教程22 异常处理
文章目录 C# 异常处理语法C# 中的异常类异常类 描述异常处理创建用户自定义异常C# 异常处理 异常是在程序执行期间出现的问题。C# 中的异常是对程序运行时出现的特殊情况的一种响应,比如尝试除以零。 异常提供了一种把程序控制权从某个部分转移到另一个部分的方式。C# 异常处理…...
java八股文--java基础
java基础1.什么是面向对象,谈谈对面向对象的理解2.JDK JRE JVM的区别与联系3.和equals4.hashCode与equals5.String StringBuffer StringBuilder的区别6.重载和重写的区别7.接口和抽象类8.List和Set的区别9.ArrayList和LinkedList10.HashMap和HashTable的区别&#x…...
2022年全国职业院校技能大赛(中职组)网络安全竞赛试题A模块第四套解析(详细)
2022年全国职业院校技能大赛(中职组) 网络安全竞赛试题 (4) (总分100分) 赛题说明 一、竞赛项目简介 “网络安全”竞赛共分A.基础设施设置与安全加固;B.网络安全事件响应、数字取证调查和应用安全;C.CTF夺旗-攻击;D.CTF夺旗-防御等四个模块。根据比赛实际情况,竞…...
【Spark】spark使用jdbc连接带有kerberos认证的hive jdbc
背景 这个需求就是spark不通过spark-hive的方式访问hive数据,而是通过spark读取hive jdbc的方式访问hive数据,因为这个hive有kerberos认证,在网上也不是很容易搜索到这样的操作案例。不多bb,直接上教程。 准备工作 准备一个hiv…...
【Maven】项目中pom.xml坐标定义以及pom基本配置
目录 一、pom.xml坐标定义 二、pom 基本配置 一、pom.xml坐标定义 在 pom.xml 中定义坐标,内容包括:groupId、artifactId、version,详细内容如下: <!--项目名称,定义为组织名项目名,类似包名-->&l…...
Linux GCC 编译详解
文章目录一、GCC 编译器简介二、GCC 工作流编程语言的发展GCC 工作流程gcc 和 g 的区别三、使用 GCC 编译GCC 编译格式GCC 编译流程多个源文件编译一、GCC 编译器简介 首先,什么是编译器呢? 我们可以使用编辑器(如 linux 下的 vi、windows 下…...
谁说程序员不懂了浪费,女神节安排
Python的PyQt框架的使用一、前言二、女神节文案三、浪漫的代码四、官宣文案一、前言 个人主页: ζ小菜鸡大家好,我是ζ小菜鸡,特在这个特殊的日子献上此文,希望小伙伴们能讨自己的女神欢心。 二、女神节文案 1.生活一半是柴米油盐,…...
上市公司管理层短视指标(2007-2020)
1、数据说明:将研发⽀出的减少量(∆R&D)作为管理层短视⾏为的度量指标,即∆R&D为公司t年的研发⽀出减去t-1年的研发⽀出并除以t-1年末的总资产再乘以100。2、数据来源:自主整理3、时间跨度:2007-20…...
IDDPM 和 DDIM 对比
IDDPM 和 DDPM 对比IDDPMDDIMIDDPM IDDPM:Improved Denoising diffusion probabilistic models learning Σθ\Sigma_{\theta}Σθ, 即Σθ(xt,t)exp(vlogβt(1−v)logβ~t)\Sigma_{\theta}\left(x_{t}, t\right)\exp \left(v \log \beta_{t}(1…...
链表OJ题(上)
✅每日一练:876. 链表的中间结点 - 力扣(LeetCode) 解题思路: 定义快慢指针,让快指针走2步,慢指针走1步,当fast或者fast.next为空时,走完链表,此时slow就是中间位置 pub…...
【题解】百度2021校招Web前端工程师笔试卷(第一批):单选题、多选题
题目来源:牛客网公司真题_免费模拟题库_企业面试|笔试真题 (nowcoder.com) 若有错误请指正! 单选题 1 某主机的 IP 地址为 212.212.77.55,子网掩码为 255.255.252.0。若该主机向其所在子网发送广播分组,则目的地址可以是&…...
深度学习在微纳光子学中的应用
深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向: 逆向设计 通过神经网络快速预测微纳结构的光学响应,替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…...
谷歌浏览器插件
项目中有时候会用到插件 sync-cookie-extension1.0.0:开发环境同步测试 cookie 至 localhost,便于本地请求服务携带 cookie 参考地址:https://juejin.cn/post/7139354571712757767 里面有源码下载下来,加在到扩展即可使用FeHelp…...
【网络】每天掌握一个Linux命令 - iftop
在Linux系统中,iftop是网络管理的得力助手,能实时监控网络流量、连接情况等,帮助排查网络异常。接下来从多方面详细介绍它。 目录 【网络】每天掌握一个Linux命令 - iftop工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景…...
边缘计算医疗风险自查APP开发方案
核心目标:在便携设备(智能手表/家用检测仪)部署轻量化疾病预测模型,实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...
深入浅出:JavaScript 中的 `window.crypto.getRandomValues()` 方法
深入浅出:JavaScript 中的 window.crypto.getRandomValues() 方法 在现代 Web 开发中,随机数的生成看似简单,却隐藏着许多玄机。无论是生成密码、加密密钥,还是创建安全令牌,随机数的质量直接关系到系统的安全性。Jav…...
江苏艾立泰跨国资源接力:废料变黄金的绿色供应链革命
在华东塑料包装行业面临限塑令深度调整的背景下,江苏艾立泰以一场跨国资源接力的创新实践,重新定义了绿色供应链的边界。 跨国回收网络:废料变黄金的全球棋局 艾立泰在欧洲、东南亚建立再生塑料回收点,将海外废弃包装箱通过标准…...
华硕a豆14 Air香氛版,美学与科技的馨香融合
在快节奏的现代生活中,我们渴望一个能激发创想、愉悦感官的工作与生活伙伴,它不仅是冰冷的科技工具,更能触动我们内心深处的细腻情感。正是在这样的期许下,华硕a豆14 Air香氛版翩然而至,它以一种前所未有的方式&#x…...
【JavaSE】多线程基础学习笔记
多线程基础 -线程相关概念 程序(Program) 是为完成特定任务、用某种语言编写的一组指令的集合简单的说:就是我们写的代码 进程 进程是指运行中的程序,比如我们使用QQ,就启动了一个进程,操作系统就会为该进程分配内存…...
libfmt: 现代C++的格式化工具库介绍与酷炫功能
libfmt: 现代C的格式化工具库介绍与酷炫功能 libfmt 是一个开源的C格式化库,提供了高效、安全的文本格式化功能,是C20中引入的std::format的基础实现。它比传统的printf和iostream更安全、更灵活、性能更好。 基本介绍 主要特点 类型安全:…...
《Docker》架构
文章目录 架构模式单机架构应用数据分离架构应用服务器集群架构读写分离/主从分离架构冷热分离架构垂直分库架构微服务架构容器编排架构什么是容器,docker,镜像,k8s 架构模式 单机架构 单机架构其实就是应用服务器和单机服务器都部署在同一…...
