当前位置： 首页 > news >正文

大型网站系统架构演化（Web）

news 2026/1/2 11:28:53

大型网站系统架构演化

  • 大型网站系统架构演化
    • 需要关注的维度
    • 涉及的技术
    • 演进过程
      • 单体架构
      • 垂直架构
      • 使用缓存改善网站性能
        • 缓存与数据库的数据一致性问题
        • 缓存技术对比
        • Redis分布式存储方案
        • Redis集群切片的常见方式
        • Redis数据类型
        • Redis 淘汰算法
        • 使用服务集群改善网站并发能力

大型网站系统架构演化

需要关注的维度

高性能、高可用、可维护、应变、安全

涉及的技术

维度涉及技术内容
架构MVC，MVP，MVVM，REST，Webservice，微服务
并发分流集群（负载均衡）、CDN
缓存MemCache，redis，Squid
数据主从库（主从复制），内存数据库，反规范化技术，NoSQL，分区分表技术，视图与物理化视图
持久化HIbernate，Mybatis
分布存储Hadoop，FastDFS，区块链
数据编码XML，JSON
Web应用服务器Apache，WebSphere，WebLogic，Tomcat，JBOSS，IIS
安全性SQL注入攻击
其他静态化，有状态与无状态，响应式Web设计，中台

演进过程

单体架构

垂直架构

使用缓存改善网站性能

缓存与数据库的数据一致性问题

数据库与缓存数据是否有可能不一致？如何解决？
有可能不一致。
大体思想如下：先写入数据库、再更新缓存

缓存技术对比
工作MemCacheRedis
数据类型简单key/value结构丰富的数据结构
持久性不支持支持
分布式存储客户端哈希分片/一致性哈希多种方式，主从、Sentinel、Cluster等
多线程支持支持支持 （Redis5.0之前不支持）
内存管理私有内存池/内存池无
事务支持不支持有限支持
数据容灾不支持，不能做数据恢复支持，可以在灾难发生时，恢复数据
Redis分布式存储方案
分布式存储方案核心特点
主从模式一主多从，故障时手动切换
哨兵模式有哨兵的一主多从，主节点故障自动选择新的主节点
集群模式分节点对等集群，分slots，不同slots的信息存储到不同节点

在这里插入图片描述

Redis集群切片的常见方式
集群切片方式核心特点
客户端分片在客户端通过key的hash值对应到不同的服务器
中间件实现分片在应用软件和Redis中间，例如：Twemproxy、Codis等，由中间件实现服务到后台Redis节点的路由分派
客户端服务端协作分片Redis Cluster模式，客户端可采用一致性哈希，服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务
Redis数据类型
类型特点示例
String（字符串）存储二进制，，最大512M缓存，计数，共享Session
Hash（字典）无序字典，数组+链表，适合存对象。Key对应一个HashMap。针对一组数据存储、读取、修改用户属性
List（列表）Linked List：双向链表，有序，增删快，查询慢；Array List：数组方式，有序，增删慢，查询快消息队列，文章列表，记录前N个最新登录的用户ID列表
Set（集合）键值对无序，唯一。增删查复杂度均为O(1),支持交/并/差集操作独立IP，共同爱好，标签
Sorted Set【ZSet】（有序集合）键值对有序，唯一，自带按权重排序效果排行榜
Redis 淘汰算法
淘汰作用范围机制名策略
使用服务集群改善网站并发能力

相关文章：

大型网站系统架构演化（Web）

大型网站系统架构演化 大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis分布式存储方案Redis集群切片的常见方式Redis数据类型Redis 淘汰算法使用服务集群改善网站并发能力 大型网站系…...

编程日记 2023/12/3 7:42:41

三轴加速度计LIS2DW12开发(2)----基于中断信号获取加速度数据

三轴加速度计LIS2DW12开发.2--轮基于中断信号获取加速度数据 概述视频教学样品申请生成STM32CUBEMX串口配置IIC配置CS和SA0设置INT1设置串口重定向参考程序初始换管脚获取ID复位操作BDU设置开启INT1中断设置传感器的量程配置过滤器链配置电源模式设置输出数据速率中断判断加速…...

编程日记 2023/12/3 7:39:38

Shell循环：whileuntil

一、特点：循环次数[一定]是固定的 二、while语句结构 while 条件测试 do 循环体 done 当条件测试成立（条件测试为真），执行循环体 演示： 需求：每秒显示一个数字，一…...

编程日记 2023/12/3 7:38:37

Redis 安装部署

文章目录 1、前言2、安装部署2.1、单机模式2.1.1、通过 yum 安装（不推荐，版本老旧）2.1.1、通过源码编译安装（推荐） 2.2、主从模式2.3、哨兵模式2.4、集群模式2.5、其他命令2.6、其他操作系统 3、使用3.1、Java 代码 —…...

编程日记 2023/12/3 7:36:35

项目中遇到的半导体公司

作为一个技术人，我并不是亲美，从技术的实事求是角度讲，不得不感叹欧美的半导体技术。他们的datasheet能学到的东西太多太多；我甚至佩服他们缜密的逻辑。从他们的文章中领悟我们技术到底有多low，没办法一个一个了解所有…...

编程日记 2023/12/3 7:35:34

汇编：call与ret/retf指令

一、call指令 ​​​​​​​ 1.1 依据位移进行转移：call 标号 1.2 实现段间转移：call far ptr 标号 1.3 转移地址在寄存器中：call 16位寄存器 1.4 转移地址在内存中 1.4.1 call word ptr 内存单元地址 1.4.2 call dword ptr 内存单元地址…...

编程日记 2023/12/3 7:34:33

Fiddler抓包工具之高级工具栏中的重定向AutoResponder的用法

重定向AutoResponder的用法 关于Fiddler的AutoResponder重定向功能，主要是时进行会话的拦截，然后替换原始资源的功能。 它与手动修该reponse是一样的，只是更加方便了，可以创建相应的rules，适合批处理的重定向功能。 …...

编程日记 2023/12/3 7:33:32

如何基于OpenCV和Sklearn库开展数据降维

大家在做数据分析或者机器学习应用过程中，不可避免的需要对数据进行降维操作，好多垂直行业业务中经常出现数据量少但维度巨大的情况。数据降维的目的是为了剔除不相关或冗余特征，使得数据易用，去除无用数据，实现数据可…...

编程日记 2023/12/3 7:32:30

详解SpringAop开发过程中的坑

😉😉 学习交流群： ✅✅1：这是孙哥suns给大家的福利！ ✨✨2：我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3：QQ群：583783…...

编程日记 2023/12/3 7:31:29

【海思SS528 | VDEC】MPP媒体处理软件V5.0 | VDEC的使用总结

😁博客主页😁：🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑：🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…...

编程日记 2023/12/3 7:28:27

Kubernetes sample-controller 例子介绍

sample-controller sample-controller 是 K8s 官方自定义 CDR 及控制器是实现的例子 通过使用这个自定义 CDR 控制器及阅读它的代码，基本可以了解如何制作一个 CDR 控制器 CDR 运作原理 网上有更好的文章，说明其运作原理： https://www.z…...

编程日记 2023/12/3 7:27:26

【C/C++指针】指针*与引用的区别

指针变量的值是所指对象的地址（准确说是首地址，其类型定义其所指对象的字节长度）引用变量的值是所引用对象本身的值 1 初始化 指针变量 可不初始化 且 可以更换指向对象 int *p;//此时是个野指针，该指针变量的值是任意值&#x…...

编程日记 2023/12/3 7:25:24

【ArcGIS Pro微课1000例】0039：制作全球任意经纬网的两种方式

本文讲解在ArcGIS Pro中制作全球任意经纬网的两种方式。 文章目录 一、生成全球经纬网矢量1. 新建地图加载数据2. 创建经纬网矢量数据二、布局生成经纬网1. 新建布局2. 创建地图框2. 创建经纬网一、生成全球经纬网矢量 以1：100万比例尺地图分幅为例，创建经差6、维差4的经纬网…...

编程日记 2023/12/3 7:24:23

【二叉树】练习题终章

二叉树的销毁 void BTreeDestroy(BTNode* root) {if (root NULL)return;BTreeDestroy(root->left);BTreeDestroy(root->right);free(root); }递归展示图 使用后序销毁，如果用前序销毁的话，就会找不到根对应的子树的地址.下面就不能被销毁了&…...

编程日记 2023/12/3 7:23:22

flutter开发实战-实现获取视频的缩略图封面video_thumbnail

flutter开发实战-实现获取视频的缩略图封面video_thumbnail 在很多时候，我们查看视频的时候，视频没有播放时候，会显示一张封面，可能封面没有配置图片，这时候就需要通过获取视频的缩略图来显示封面了。这里使用了video…...

编程日记 2023/12/3 7:22:21

Prompt Toolkit探索：打造交互式CLI应用

简介：prompt_toolkit 是一个 Python 的库，它提供了一系列功能丰富的用户界面元素，比如自动完成、语法高亮、多行编辑、提示等等，让你可以轻松地构建出功能强大的命令行工具。而且，这个库还被 IPython 和 pgcli 这样的知…...

编程日记 2023/12/3 7:19:19

【已解决】AttributeError: module ‘gradio‘ has no attribute ‘outputs‘

问题描述 AttributeError: module gradio has no attribute outputs 不知道作者用的是哪个gradio版本，最新的版本报错AttributeError: module gradio has no attribute outputs ， 换一个老一点的版本会报错AttributeError: module gradio has no attribu…...

编程日记 2023/12/3 7:17:17

WPF Mvvm模式下面如何将事件映射到ViewModel层

前言 平常用惯了Command绑定，都快忘记传统的基于事件编程模式了，但是Commond模式里面有个明显的问题，就是你无法获取到事件源的参数。很多大聪明肯定会说，这还不简单，通过自己写控件，给控件加个自定义属性不就行了，想要啥事件就写啥事件进去，完全自主可控。但是对于写…...

编程日记 2023/12/3 7:15:15

C# WPF上位机开发（计算器界面设计）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 c# wpf最大的优势就是开发业务软件比较快、效率比较高。一般来说，它的界面和逻辑部分可以同时开发。界面的部分用xaml编写即可&#xf…...

编程日记 2023/12/3 7:14:14

[c]比较月亮大小

本题的难点就是分情况讨论 #include<stdio.h> int main() {int n;scanf("%d",&n);int arr2[n];int p;for(int m0;m<n-1;m){scanf("%d",&arr2[m]);//输入n个数保存到数组}if(n1)//当输入一个数据时&#xff0c;输入0&#xff0c;可以判断…...

编程日记 2023/12/3 7:11:11

web vue 项目 Docker化部署

Web 项目 Docker 化部署详细教程 目录 Web 项目 Docker 化部署概述Dockerfile 详解 构建阶段生产阶段 构建和运行 Docker 镜像 1. Web 项目 Docker 化部署概述 Docker 化部署的主要步骤分为以下几个阶段&#xff1a; 构建阶段&#xff08;Build Stage&#xff09;&#xff1a…...

编程新知 2025/8/12 16:28:43

C++实现分布式网络通信框架RPC(3)--rpc调用端

目录 一、前言 二、UserServiceRpc_Stub 三、 CallMethod方法的重写 头文件 实现 四、rpc调用端的调用 实现 五、 google::protobuf::RpcController *controller 头文件 实现 六、总结 一、前言 在前边的文章中&#xff0c;我们已经大致实现了rpc服务端的各项功能代…...

编程新知 2026/1/2 9:59:44

R语言AI模型部署方案：精准离线运行详解

R语言AI模型部署方案：精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案，实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点： 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

编程新知 2025/12/6 1:56:35

苍穹外卖--缓存菜品

1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得&#xff0c;如果用户端访问量比较大&#xff0c;数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据&#xff0c;减少数据库查询操作。 缓存逻辑分析&#xff1a; ①每个分类下的菜品保持一份缓存数据…...

编程新知 2026/1/1 13:00:05

前端开发面试题总结-JavaScript篇(一)

文章目录 JavaScript高频问答一、作用域与闭包1.什么是闭包&#xff08;Closure&#xff09;&#xff1f;闭包有什么应用场景和潜在问题&#xff1f;2.解释 JavaScript 的作用域链&#xff08;Scope Chain&#xff09; 二、原型与继承3.原型链是什么&#xff1f;如何实现继承&a…...

编程新知 2025/12/10 17:29:53

laravel8+vue3.0+element-plus搭建方法

创建 laravel8 项目 composer create-project --prefer-dist laravel/laravel laravel8 8.* 安装 laravel/ui composer require laravel/ui 修改 package.json 文件 "devDependencies": {"vue/compiler-sfc": "^3.0.7","axios": …...

编程新知 2025/10/15 0:25:46

LangChain知识库管理后端接口：数据库操作详解—— 构建本地知识库系统的基础《二》

这段 Python 代码是一个完整的 知识库数据库操作模块&#xff0c;用于对本地知识库系统中的知识库进行增删改查&#xff08;CRUD&#xff09;操作。它基于 SQLAlchemy ORM 框架 和一个自定义的装饰器 with_session 实现数据库会话管理。 &#x1f4d8; 一、整体功能概述 该模块…...

编程新知 2025/11/26 18:23:29

大数据治理的常见方式

大数据治理的常见方式 大数据治理是确保数据质量、安全性和可用性的系统性方法&#xff0c;以下是几种常见的治理方式&#xff1a; 1. 数据质量管理 核心方法&#xff1a; 数据校验&#xff1a;建立数据校验规则&#xff08;格式、范围、一致性等&#xff09;数据清洗&…...

编程新知 2025/10/6 12:34:16

JavaScript 标签加载

目录 JavaScript 标签加载script 标签的 async 和 defer 属性&#xff0c;分别代表什么&#xff0c;有什么区别1. 普通 script 标签2. async 属性3. defer 属性4. type"module"5. 各种加载方式的对比6. 使用建议 JavaScript 标签加载 script 标签的 async 和 defer …...

编程新知 2025/10/2 20:58:12

Linux 内存管理调试分析：ftrace、perf、crash 的系统化使用

Linux 内存管理调试分析&#xff1a;ftrace、perf、crash 的系统化使用 Linux 内核内存管理是构成整个内核性能和系统稳定性的基础&#xff0c;但这一子系统结构复杂&#xff0c;常常有设置失败、性能展示不良、OOM 杀进程等问题。要分析这些问题&#xff0c;需要一套工具化、…...

编程新知 2025/12/27 0:12:27