当前位置： 首页 > news >正文

大型网站系统架构演化（Web）

news 2025/7/8 0:05:29

大型网站系统架构演化

  • 大型网站系统架构演化
    • 需要关注的维度
    • 涉及的技术
    • 演进过程
      • 单体架构
      • 垂直架构
      • 使用缓存改善网站性能
        • 缓存与数据库的数据一致性问题
        • 缓存技术对比
        • Redis分布式存储方案
        • Redis集群切片的常见方式
        • Redis数据类型
        • Redis 淘汰算法
        • 使用服务集群改善网站并发能力

大型网站系统架构演化

需要关注的维度

高性能、高可用、可维护、应变、安全

涉及的技术

维度涉及技术内容
架构MVC，MVP，MVVM，REST，Webservice，微服务
并发分流集群（负载均衡）、CDN
缓存MemCache，redis，Squid
数据主从库（主从复制），内存数据库，反规范化技术，NoSQL，分区分表技术，视图与物理化视图
持久化HIbernate，Mybatis
分布存储Hadoop，FastDFS，区块链
数据编码XML，JSON
Web应用服务器Apache，WebSphere，WebLogic，Tomcat，JBOSS，IIS
安全性SQL注入攻击
其他静态化，有状态与无状态，响应式Web设计，中台

演进过程

单体架构

垂直架构

使用缓存改善网站性能

缓存与数据库的数据一致性问题

数据库与缓存数据是否有可能不一致？如何解决？
有可能不一致。
大体思想如下：先写入数据库、再更新缓存

缓存技术对比
工作MemCacheRedis
数据类型简单key/value结构丰富的数据结构
持久性不支持支持
分布式存储客户端哈希分片/一致性哈希多种方式，主从、Sentinel、Cluster等
多线程支持支持支持 （Redis5.0之前不支持）
内存管理私有内存池/内存池无
事务支持不支持有限支持
数据容灾不支持，不能做数据恢复支持，可以在灾难发生时，恢复数据
Redis分布式存储方案
分布式存储方案核心特点
主从模式一主多从，故障时手动切换
哨兵模式有哨兵的一主多从，主节点故障自动选择新的主节点
集群模式分节点对等集群，分slots，不同slots的信息存储到不同节点

在这里插入图片描述

Redis集群切片的常见方式
集群切片方式核心特点
客户端分片在客户端通过key的hash值对应到不同的服务器
中间件实现分片在应用软件和Redis中间，例如：Twemproxy、Codis等，由中间件实现服务到后台Redis节点的路由分派
客户端服务端协作分片Redis Cluster模式，客户端可采用一致性哈希，服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务
Redis数据类型
类型特点示例
String（字符串）存储二进制，，最大512M缓存，计数，共享Session
Hash（字典）无序字典，数组+链表，适合存对象。Key对应一个HashMap。针对一组数据存储、读取、修改用户属性
List（列表）Linked List：双向链表，有序，增删快，查询慢；Array List：数组方式，有序，增删慢，查询快消息队列，文章列表，记录前N个最新登录的用户ID列表
Set（集合）键值对无序，唯一。增删查复杂度均为O(1),支持交/并/差集操作独立IP，共同爱好，标签
Sorted Set【ZSet】（有序集合）键值对有序，唯一，自带按权重排序效果排行榜
Redis 淘汰算法
淘汰作用范围机制名策略
使用服务集群改善网站并发能力

相关文章：

大型网站系统架构演化（Web）

大型网站系统架构演化 大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis分布式存储方案Redis集群切片的常见方式Redis数据类型Redis 淘汰算法使用服务集群改善网站并发能力 大型网站系…...

编程日记 2023/12/3 7:42:41

三轴加速度计LIS2DW12开发(2)----基于中断信号获取加速度数据

三轴加速度计LIS2DW12开发.2--轮基于中断信号获取加速度数据 概述视频教学样品申请生成STM32CUBEMX串口配置IIC配置CS和SA0设置INT1设置串口重定向参考程序初始换管脚获取ID复位操作BDU设置开启INT1中断设置传感器的量程配置过滤器链配置电源模式设置输出数据速率中断判断加速…...

编程日记 2023/12/3 7:39:38

Shell循环：whileuntil

一、特点：循环次数[一定]是固定的 二、while语句结构 while 条件测试 do 循环体 done 当条件测试成立（条件测试为真），执行循环体 演示： 需求：每秒显示一个数字，一…...

编程日记 2023/12/3 7:38:37

Redis 安装部署

文章目录 1、前言2、安装部署2.1、单机模式2.1.1、通过 yum 安装（不推荐，版本老旧）2.1.1、通过源码编译安装（推荐） 2.2、主从模式2.3、哨兵模式2.4、集群模式2.5、其他命令2.6、其他操作系统 3、使用3.1、Java 代码 —…...

编程日记 2023/12/3 7:36:35

项目中遇到的半导体公司

作为一个技术人，我并不是亲美，从技术的实事求是角度讲，不得不感叹欧美的半导体技术。他们的datasheet能学到的东西太多太多；我甚至佩服他们缜密的逻辑。从他们的文章中领悟我们技术到底有多low，没办法一个一个了解所有…...

编程日记 2023/12/3 7:35:34

汇编：call与ret/retf指令

一、call指令 ​​​​​​​ 1.1 依据位移进行转移：call 标号 1.2 实现段间转移：call far ptr 标号 1.3 转移地址在寄存器中：call 16位寄存器 1.4 转移地址在内存中 1.4.1 call word ptr 内存单元地址 1.4.2 call dword ptr 内存单元地址…...

编程日记 2023/12/3 7:34:33

Fiddler抓包工具之高级工具栏中的重定向AutoResponder的用法

重定向AutoResponder的用法 关于Fiddler的AutoResponder重定向功能，主要是时进行会话的拦截，然后替换原始资源的功能。 它与手动修该reponse是一样的，只是更加方便了，可以创建相应的rules，适合批处理的重定向功能。 …...

编程日记 2023/12/3 7:33:32

如何基于OpenCV和Sklearn库开展数据降维

大家在做数据分析或者机器学习应用过程中，不可避免的需要对数据进行降维操作，好多垂直行业业务中经常出现数据量少但维度巨大的情况。数据降维的目的是为了剔除不相关或冗余特征，使得数据易用，去除无用数据，实现数据可…...

编程日记 2023/12/3 7:32:30

详解SpringAop开发过程中的坑

😉😉 学习交流群： ✅✅1：这是孙哥suns给大家的福利！ ✨✨2：我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3：QQ群：583783…...

编程日记 2023/12/3 7:31:29

【海思SS528 | VDEC】MPP媒体处理软件V5.0 | VDEC的使用总结

😁博客主页😁：🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑：🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…...

编程日记 2023/12/3 7:28:27

Kubernetes sample-controller 例子介绍

sample-controller sample-controller 是 K8s 官方自定义 CDR 及控制器是实现的例子 通过使用这个自定义 CDR 控制器及阅读它的代码，基本可以了解如何制作一个 CDR 控制器 CDR 运作原理 网上有更好的文章，说明其运作原理： https://www.z…...

编程日记 2023/12/3 7:27:26

【C/C++指针】指针*与引用的区别

指针变量的值是所指对象的地址（准确说是首地址，其类型定义其所指对象的字节长度）引用变量的值是所引用对象本身的值 1 初始化 指针变量 可不初始化 且 可以更换指向对象 int *p;//此时是个野指针，该指针变量的值是任意值&#x…...

编程日记 2023/12/3 7:25:24

【ArcGIS Pro微课1000例】0039：制作全球任意经纬网的两种方式

本文讲解在ArcGIS Pro中制作全球任意经纬网的两种方式。 文章目录 一、生成全球经纬网矢量1. 新建地图加载数据2. 创建经纬网矢量数据二、布局生成经纬网1. 新建布局2. 创建地图框2. 创建经纬网一、生成全球经纬网矢量 以1：100万比例尺地图分幅为例，创建经差6、维差4的经纬网…...

编程日记 2023/12/3 7:24:23

【二叉树】练习题终章

二叉树的销毁 void BTreeDestroy(BTNode* root) {if (root NULL)return;BTreeDestroy(root->left);BTreeDestroy(root->right);free(root); }递归展示图 使用后序销毁，如果用前序销毁的话，就会找不到根对应的子树的地址.下面就不能被销毁了&…...

编程日记 2023/12/3 7:23:22

flutter开发实战-实现获取视频的缩略图封面video_thumbnail

flutter开发实战-实现获取视频的缩略图封面video_thumbnail 在很多时候，我们查看视频的时候，视频没有播放时候，会显示一张封面，可能封面没有配置图片，这时候就需要通过获取视频的缩略图来显示封面了。这里使用了video…...

编程日记 2023/12/3 7:22:21

Prompt Toolkit探索：打造交互式CLI应用

简介：prompt_toolkit 是一个 Python 的库，它提供了一系列功能丰富的用户界面元素，比如自动完成、语法高亮、多行编辑、提示等等，让你可以轻松地构建出功能强大的命令行工具。而且，这个库还被 IPython 和 pgcli 这样的知…...

编程日记 2023/12/3 7:19:19

【已解决】AttributeError: module ‘gradio‘ has no attribute ‘outputs‘

问题描述 AttributeError: module gradio has no attribute outputs 不知道作者用的是哪个gradio版本，最新的版本报错AttributeError: module gradio has no attribute outputs ， 换一个老一点的版本会报错AttributeError: module gradio has no attribu…...

编程日记 2023/12/3 7:17:17

WPF Mvvm模式下面如何将事件映射到ViewModel层

前言 平常用惯了Command绑定，都快忘记传统的基于事件编程模式了，但是Commond模式里面有个明显的问题，就是你无法获取到事件源的参数。很多大聪明肯定会说，这还不简单，通过自己写控件，给控件加个自定义属性不就行了，想要啥事件就写啥事件进去，完全自主可控。但是对于写…...

编程日记 2023/12/3 7:15:15

C# WPF上位机开发（计算器界面设计）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 c# wpf最大的优势就是开发业务软件比较快、效率比较高。一般来说，它的界面和逻辑部分可以同时开发。界面的部分用xaml编写即可&#xf…...

编程日记 2023/12/3 7:14:14

[c]比较月亮大小

本题的难点就是分情况讨论 #include<stdio.h> int main() {int n;scanf("%d",&n);int arr2[n];int p;for(int m0;m<n-1;m){scanf("%d",&arr2[m]);//输入n个数保存到数组}if(n1)//当输入一个数据时&#xff0c;输入0&#xff0c;可以判断…...

编程日记 2023/12/3 7:11:11

P3 QT项目----记事本（3.8）

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

编程新知 2025/7/7 3:01:07

浅谈不同二分算法的查找情况

二分算法原理比较简单&#xff0c;但是实际的算法模板却有很多&#xff0c;这一切都源于二分查找问题中的复杂情况和二分算法的边界处理&#xff0c;以下是博主对一些二分算法查找的情况分析。 需要说明的是&#xff0c;以下二分算法都是基于有序序列为升序有序的情况&#xf…...

编程新知 2025/7/4 17:40:43

莫兰迪高级灰总结计划简约商务通用PPT模版

莫兰迪高级灰总结计划简约商务通用PPT模版&#xff0c;莫兰迪调色板清新简约工作汇报PPT模版&#xff0c;莫兰迪时尚风极简设计PPT模版&#xff0c;大学生毕业论文答辩PPT模版&#xff0c;莫兰迪配色总结计划简约商务通用PPT模版&#xff0c;莫兰迪商务汇报PPT模版&#xff0c;…...

编程新知 2025/7/7 4:38:21

TSN交换机正在重构工业网络，PROFINET和EtherCAT会被取代吗？

在工业自动化持续演进的今天&#xff0c;通信网络的角色正变得愈发关键。 2025年6月6日&#xff0c;为期三天的华南国际工业博览会在深圳国际会展中心&#xff08;宝安&#xff09;圆满落幕。作为国内工业通信领域的技术型企业&#xff0c;光路科技&#xff08;Fiberroad&…...

编程新知 2025/7/6 3:33:11

在golang中如何将已安装的依赖降级处理，比如：将 go-ansible/v2@v2.2.0 更换为 go-ansible/@v1.1.7

在 Go 项目中降级 go-ansible 从 v2.2.0 到 v1.1.7 具体步骤&#xff1a; 第一步&#xff1a; 修改 go.mod 文件 // 原 v2 版本声明 require github.com/apenella/go-ansible/v2 v2.2.0 替换为&#xff1a; // 改为 v…...

编程新知 2025/6/21 9:41:24

归并排序：分治思想的高效排序

目录 基本原理 流程图解 实现方法 递归实现 非递归实现 演示过程 时间复杂度 基本原理 归并排序(Merge Sort)是一种基于分治思想的排序算法&#xff0c;由约翰冯诺伊曼在1945年提出。其核心思想包括&#xff1a; 分割(Divide)&#xff1a;将待排序数组递归地分成两个子…...

编程新知 2025/7/6 2:18:58

精益数据分析（98/126）：电商转化率优化与网站性能的底层逻辑

精益数据分析&#xff08;98/126&#xff09;&#xff1a;电商转化率优化与网站性能的底层逻辑 在电子商务领域&#xff0c;转化率与网站性能是决定商业成败的核心指标。今天&#xff0c;我们将深入解析不同类型电商平台的转化率基准&#xff0c;探讨页面加载速度对用户行为的…...

编程新知 2025/7/6 14:16:30

Python异步编程：深入理解协程的原理与实践指南

&#x1f49d;&#x1f49d;&#x1f49d;欢迎莅临我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 持续学习&#xff0c;不断…...

编程新知 2025/7/5 19:39:08

GB/T 43887-2024 核级柔性石墨板材检测

核级柔性石墨板材是指以可膨胀石墨为原料、未经改性和增强、用于核工业的核级柔性石墨板材。 GB/T 43887-2024核级柔性石墨板材检测检测指标&#xff1a; 测试项目 测试标准 外观 GB/T 43887 尺寸偏差 GB/T 43887 化学成分 GB/T 43887 密度偏差 GB/T 43887 拉伸强度…...

编程新知 2025/7/3 10:22:24

DL00871-基于深度学习YOLOv11的盲人障碍物目标检测含完整数据集

基于深度学习YOLOv11的盲人障碍物目标检测&#xff1a;开启盲人出行新纪元 在全球范围内&#xff0c;盲人及视觉障碍者的出行问题一直是社会关注的重点。尽管技术不断进步&#xff0c;许多城市的无障碍设施依然未能满足盲人出行的实际需求。尤其是在复杂的城市环境中&#xff…...

编程新知 2025/7/7 0:11:12