当前位置： 首页 > news >正文

大型网站系统架构演化（Web）

news 2026/2/9 21:57:40

大型网站系统架构演化

  • 大型网站系统架构演化
    • 需要关注的维度
    • 涉及的技术
    • 演进过程
      • 单体架构
      • 垂直架构
      • 使用缓存改善网站性能
        • 缓存与数据库的数据一致性问题
        • 缓存技术对比
        • Redis分布式存储方案
        • Redis集群切片的常见方式
        • Redis数据类型
        • Redis 淘汰算法
        • 使用服务集群改善网站并发能力

大型网站系统架构演化

需要关注的维度

高性能、高可用、可维护、应变、安全

涉及的技术

维度涉及技术内容
架构MVC，MVP，MVVM，REST，Webservice，微服务
并发分流集群（负载均衡）、CDN
缓存MemCache，redis，Squid
数据主从库（主从复制），内存数据库，反规范化技术，NoSQL，分区分表技术，视图与物理化视图
持久化HIbernate，Mybatis
分布存储Hadoop，FastDFS，区块链
数据编码XML，JSON
Web应用服务器Apache，WebSphere，WebLogic，Tomcat，JBOSS，IIS
安全性SQL注入攻击
其他静态化，有状态与无状态，响应式Web设计，中台

演进过程

单体架构

垂直架构

使用缓存改善网站性能

缓存与数据库的数据一致性问题

数据库与缓存数据是否有可能不一致？如何解决？
有可能不一致。
大体思想如下：先写入数据库、再更新缓存

缓存技术对比
工作MemCacheRedis
数据类型简单key/value结构丰富的数据结构
持久性不支持支持
分布式存储客户端哈希分片/一致性哈希多种方式，主从、Sentinel、Cluster等
多线程支持支持支持 （Redis5.0之前不支持）
内存管理私有内存池/内存池无
事务支持不支持有限支持
数据容灾不支持，不能做数据恢复支持，可以在灾难发生时，恢复数据
Redis分布式存储方案
分布式存储方案核心特点
主从模式一主多从，故障时手动切换
哨兵模式有哨兵的一主多从，主节点故障自动选择新的主节点
集群模式分节点对等集群，分slots，不同slots的信息存储到不同节点

在这里插入图片描述

Redis集群切片的常见方式
集群切片方式核心特点
客户端分片在客户端通过key的hash值对应到不同的服务器
中间件实现分片在应用软件和Redis中间，例如：Twemproxy、Codis等，由中间件实现服务到后台Redis节点的路由分派
客户端服务端协作分片Redis Cluster模式，客户端可采用一致性哈希，服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务
Redis数据类型
类型特点示例
String（字符串）存储二进制，，最大512M缓存，计数，共享Session
Hash（字典）无序字典，数组+链表，适合存对象。Key对应一个HashMap。针对一组数据存储、读取、修改用户属性
List（列表）Linked List：双向链表，有序，增删快，查询慢；Array List：数组方式，有序，增删慢，查询快消息队列，文章列表，记录前N个最新登录的用户ID列表
Set（集合）键值对无序，唯一。增删查复杂度均为O(1),支持交/并/差集操作独立IP，共同爱好，标签
Sorted Set【ZSet】（有序集合）键值对有序，唯一，自带按权重排序效果排行榜
Redis 淘汰算法
淘汰作用范围机制名策略
使用服务集群改善网站并发能力

相关文章：

大型网站系统架构演化（Web）

大型网站系统架构演化 大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis分布式存储方案Redis集群切片的常见方式Redis数据类型Redis 淘汰算法使用服务集群改善网站并发能力 大型网站系…...

编程日记 2023/12/3 7:42:41

三轴加速度计LIS2DW12开发(2)----基于中断信号获取加速度数据

三轴加速度计LIS2DW12开发.2--轮基于中断信号获取加速度数据 概述视频教学样品申请生成STM32CUBEMX串口配置IIC配置CS和SA0设置INT1设置串口重定向参考程序初始换管脚获取ID复位操作BDU设置开启INT1中断设置传感器的量程配置过滤器链配置电源模式设置输出数据速率中断判断加速…...

编程日记 2023/12/3 7:39:38

Shell循环：whileuntil

一、特点：循环次数[一定]是固定的 二、while语句结构 while 条件测试 do 循环体 done 当条件测试成立（条件测试为真），执行循环体 演示： 需求：每秒显示一个数字，一…...

编程日记 2023/12/3 7:38:37

Redis 安装部署

文章目录 1、前言2、安装部署2.1、单机模式2.1.1、通过 yum 安装（不推荐，版本老旧）2.1.1、通过源码编译安装（推荐） 2.2、主从模式2.3、哨兵模式2.4、集群模式2.5、其他命令2.6、其他操作系统 3、使用3.1、Java 代码 —…...

编程日记 2023/12/3 7:36:35

项目中遇到的半导体公司

作为一个技术人，我并不是亲美，从技术的实事求是角度讲，不得不感叹欧美的半导体技术。他们的datasheet能学到的东西太多太多；我甚至佩服他们缜密的逻辑。从他们的文章中领悟我们技术到底有多low，没办法一个一个了解所有…...

编程日记 2023/12/3 7:35:34

汇编：call与ret/retf指令

一、call指令 ​​​​​​​ 1.1 依据位移进行转移：call 标号 1.2 实现段间转移：call far ptr 标号 1.3 转移地址在寄存器中：call 16位寄存器 1.4 转移地址在内存中 1.4.1 call word ptr 内存单元地址 1.4.2 call dword ptr 内存单元地址…...

编程日记 2023/12/3 7:34:33

Fiddler抓包工具之高级工具栏中的重定向AutoResponder的用法

重定向AutoResponder的用法 关于Fiddler的AutoResponder重定向功能，主要是时进行会话的拦截，然后替换原始资源的功能。 它与手动修该reponse是一样的，只是更加方便了，可以创建相应的rules，适合批处理的重定向功能。 …...

编程日记 2023/12/3 7:33:32

如何基于OpenCV和Sklearn库开展数据降维

大家在做数据分析或者机器学习应用过程中，不可避免的需要对数据进行降维操作，好多垂直行业业务中经常出现数据量少但维度巨大的情况。数据降维的目的是为了剔除不相关或冗余特征，使得数据易用，去除无用数据，实现数据可…...

编程日记 2023/12/3 7:32:30

详解SpringAop开发过程中的坑

😉😉 学习交流群： ✅✅1：这是孙哥suns给大家的福利！ ✨✨2：我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3：QQ群：583783…...

编程日记 2023/12/3 7:31:29

【海思SS528 | VDEC】MPP媒体处理软件V5.0 | VDEC的使用总结

😁博客主页😁：🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑：🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…...

编程日记 2023/12/3 7:28:27

Kubernetes sample-controller 例子介绍

sample-controller sample-controller 是 K8s 官方自定义 CDR 及控制器是实现的例子 通过使用这个自定义 CDR 控制器及阅读它的代码，基本可以了解如何制作一个 CDR 控制器 CDR 运作原理 网上有更好的文章，说明其运作原理： https://www.z…...

编程日记 2023/12/3 7:27:26

【C/C++指针】指针*与引用的区别

指针变量的值是所指对象的地址（准确说是首地址，其类型定义其所指对象的字节长度）引用变量的值是所引用对象本身的值 1 初始化 指针变量 可不初始化 且 可以更换指向对象 int *p;//此时是个野指针，该指针变量的值是任意值&#x…...

编程日记 2023/12/3 7:25:24

【ArcGIS Pro微课1000例】0039：制作全球任意经纬网的两种方式

本文讲解在ArcGIS Pro中制作全球任意经纬网的两种方式。 文章目录 一、生成全球经纬网矢量1. 新建地图加载数据2. 创建经纬网矢量数据二、布局生成经纬网1. 新建布局2. 创建地图框2. 创建经纬网一、生成全球经纬网矢量 以1：100万比例尺地图分幅为例，创建经差6、维差4的经纬网…...

编程日记 2023/12/3 7:24:23

【二叉树】练习题终章

二叉树的销毁 void BTreeDestroy(BTNode* root) {if (root NULL)return;BTreeDestroy(root->left);BTreeDestroy(root->right);free(root); }递归展示图 使用后序销毁，如果用前序销毁的话，就会找不到根对应的子树的地址.下面就不能被销毁了&…...

编程日记 2023/12/3 7:23:22

flutter开发实战-实现获取视频的缩略图封面video_thumbnail

flutter开发实战-实现获取视频的缩略图封面video_thumbnail 在很多时候，我们查看视频的时候，视频没有播放时候，会显示一张封面，可能封面没有配置图片，这时候就需要通过获取视频的缩略图来显示封面了。这里使用了video…...

编程日记 2023/12/3 7:22:21

Prompt Toolkit探索：打造交互式CLI应用

简介：prompt_toolkit 是一个 Python 的库，它提供了一系列功能丰富的用户界面元素，比如自动完成、语法高亮、多行编辑、提示等等，让你可以轻松地构建出功能强大的命令行工具。而且，这个库还被 IPython 和 pgcli 这样的知…...

编程日记 2023/12/3 7:19:19

【已解决】AttributeError: module ‘gradio‘ has no attribute ‘outputs‘

问题描述 AttributeError: module gradio has no attribute outputs 不知道作者用的是哪个gradio版本，最新的版本报错AttributeError: module gradio has no attribute outputs ， 换一个老一点的版本会报错AttributeError: module gradio has no attribu…...

编程日记 2023/12/3 7:17:17

WPF Mvvm模式下面如何将事件映射到ViewModel层

前言 平常用惯了Command绑定，都快忘记传统的基于事件编程模式了，但是Commond模式里面有个明显的问题，就是你无法获取到事件源的参数。很多大聪明肯定会说，这还不简单，通过自己写控件，给控件加个自定义属性不就行了，想要啥事件就写啥事件进去，完全自主可控。但是对于写…...

编程日记 2023/12/3 7:15:15

C# WPF上位机开发（计算器界面设计）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 c# wpf最大的优势就是开发业务软件比较快、效率比较高。一般来说，它的界面和逻辑部分可以同时开发。界面的部分用xaml编写即可&#xf…...

编程日记 2023/12/3 7:14:14

[c]比较月亮大小

本题的难点就是分情况讨论 #include<stdio.h> int main() {int n;scanf("%d",&n);int arr2[n];int p;for(int m0;m<n-1;m){scanf("%d",&arr2[m]);//输入n个数保存到数组}if(n1)//当输入一个数据时&#xff0c;输入0&#xff0c;可以判断…...

编程日记 2023/12/3 7:11:11

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…...

编程新知 2026/2/8 15:03:06

R语言AI模型部署方案：精准离线运行详解

R语言AI模型部署方案：精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案，实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点： 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

编程新知 2025/12/6 1:56:35

关于nvm与node.js

1 安装nvm 安装过程中手动修改 nvm的安装路径&#xff0c; 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解&#xff0c;但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后&#xff0c;通常在该文件中会出现以下配置&…...

编程新知 2026/1/28 15:17:32

大数据零基础学习day1之环境准备和大数据初步理解

学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 &#xff08;1&#xff09;设置网关 打开VMware虚拟机&#xff0c;点击编辑…...

编程新知 2026/1/25 14:43:07

关于iview组件中使用 table , 绑定序号分页后序号从1开始的解决方案

问题描述&#xff1a;iview使用table 中type: "index",分页之后 &#xff0c;索引还是从1开始&#xff0c;试过绑定后台返回数据的id, 这种方法可行&#xff0c;就是后台返回数据的每个页面id都不完全是按照从1开始的升序&#xff0c;因此百度了下&#xff0c;找到了…...

编程新知 2026/1/29 20:58:41

第25节 Node.js 断言测试

Node.js的assert模块主要用于编写程序的单元测试时使用&#xff0c;通过断言可以提早发现和排查出错误。 稳定性: 5 - 锁定 这个模块可用于应用的单元测试&#xff0c;通过 require(assert) 可以使用这个模块。 assert.fail(actual, expected, message, operator) 使用参数…...

编程新知 2025/10/11 0:24:31

论文浅尝 | 基于判别指令微调生成式大语言模型的知识图谱补全方法（ISWC2024）

笔记整理&#xff1a;刘治强&#xff0c;浙江大学硕士生&#xff0c;研究方向为知识图谱表示学习&#xff0c;大语言模型 论文链接&#xff1a;http://arxiv.org/abs/2407.16127 发表会议&#xff1a;ISWC 2024 1. 动机 传统的知识图谱补全&#xff08;KGC&#xff09;模型通过…...

编程新知 2026/1/31 12:03:23

关于 WASM：1. WASM 基础原理

一、WASM 简介 1.1 WebAssembly 是什么&#xff1f; WebAssembly&#xff08;WASM&#xff09; 是一种能在现代浏览器中高效运行的二进制指令格式&#xff0c;它不是传统的编程语言&#xff0c;而是一种 低级字节码格式&#xff0c;可由高级语言&#xff08;如 C、C、Rust&am…...

编程新知 2025/11/19 10:53:07

使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台

🎯 使用 Streamlit 构建支持主流大模型与 Ollama 的轻量级统一平台 📌 项目背景 随着大语言模型（LLM）的广泛应用，开发者常面临多个挑战： 各大模型（OpenAI、Claude、Gemini、Ollama）接口风格不统一；缺乏一个统一平台进行模型调用与测试；本地模型 Ollama 的集成与前…...

编程新知 2026/1/25 3:31:07

Java求职者面试指南：计算机基础与源码原理深度解析

Java求职者面试指南&#xff1a;计算机基础与源码原理深度解析 第一轮提问&#xff1a;基础概念问题 1. 请解释什么是进程和线程的区别&#xff1f; 面试官&#xff1a;进程是程序的一次执行过程&#xff0c;是系统进行资源分配和调度的基本单位&#xff1b;而线程是进程中的…...

编程新知 2025/12/9 14:22:07