当前位置： 首页 > news >正文

大型网站系统架构演化（Web）

news 文章来源：https://blog.csdn.net/qq_45731464/article/details/134631774 2025/5/7 7:23:47

大型网站系统架构演化

  • 大型网站系统架构演化
    • 需要关注的维度
    • 涉及的技术
    • 演进过程
      • 单体架构
      • 垂直架构
      • 使用缓存改善网站性能
        • 缓存与数据库的数据一致性问题
        • 缓存技术对比
        • Redis分布式存储方案
        • Redis集群切片的常见方式
        • Redis数据类型
        • Redis 淘汰算法
        • 使用服务集群改善网站并发能力

大型网站系统架构演化

需要关注的维度

高性能、高可用、可维护、应变、安全

涉及的技术

维度涉及技术内容
架构MVC，MVP，MVVM，REST，Webservice，微服务
并发分流集群（负载均衡）、CDN
缓存MemCache，redis，Squid
数据主从库（主从复制），内存数据库，反规范化技术，NoSQL，分区分表技术，视图与物理化视图
持久化HIbernate，Mybatis
分布存储Hadoop，FastDFS，区块链
数据编码XML，JSON
Web应用服务器Apache，WebSphere，WebLogic，Tomcat，JBOSS，IIS
安全性SQL注入攻击
其他静态化，有状态与无状态，响应式Web设计，中台

演进过程

单体架构

垂直架构

使用缓存改善网站性能

缓存与数据库的数据一致性问题

数据库与缓存数据是否有可能不一致？如何解决？
有可能不一致。
大体思想如下：先写入数据库、再更新缓存

缓存技术对比
工作MemCacheRedis
数据类型简单key/value结构丰富的数据结构
持久性不支持支持
分布式存储客户端哈希分片/一致性哈希多种方式，主从、Sentinel、Cluster等
多线程支持支持支持 （Redis5.0之前不支持）
内存管理私有内存池/内存池无
事务支持不支持有限支持
数据容灾不支持，不能做数据恢复支持，可以在灾难发生时，恢复数据
Redis分布式存储方案
分布式存储方案核心特点
主从模式一主多从，故障时手动切换
哨兵模式有哨兵的一主多从，主节点故障自动选择新的主节点
集群模式分节点对等集群，分slots，不同slots的信息存储到不同节点

在这里插入图片描述

Redis集群切片的常见方式
集群切片方式核心特点
客户端分片在客户端通过key的hash值对应到不同的服务器
中间件实现分片在应用软件和Redis中间，例如：Twemproxy、Codis等，由中间件实现服务到后台Redis节点的路由分派
客户端服务端协作分片Redis Cluster模式，客户端可采用一致性哈希，服务端提供错误节点的重定向服务solt上。不同的solt对应到不同服务
Redis数据类型
类型特点示例
String（字符串）存储二进制，，最大512M缓存，计数，共享Session
Hash（字典）无序字典，数组+链表，适合存对象。Key对应一个HashMap。针对一组数据存储、读取、修改用户属性
List（列表）Linked List：双向链表，有序，增删快，查询慢；Array List：数组方式，有序，增删慢，查询快消息队列，文章列表，记录前N个最新登录的用户ID列表
Set（集合）键值对无序，唯一。增删查复杂度均为O(1),支持交/并/差集操作独立IP，共同爱好，标签
Sorted Set【ZSet】（有序集合）键值对有序，唯一，自带按权重排序效果排行榜
Redis 淘汰算法
淘汰作用范围机制名策略
使用服务集群改善网站并发能力

相关文章：

大型网站系统架构演化（Web）

大型网站系统架构演化 大型网站系统架构演化需要关注的维度涉及的技术演进过程单体架构垂直架构使用缓存改善网站性能缓存与数据库的数据一致性问题缓存技术对比Redis分布式存储方案Redis集群切片的常见方式Redis数据类型Redis 淘汰算法使用服务集群改善网站并发能力 大型网站系…...

编程日记 2023/12/3 7:42:41

三轴加速度计LIS2DW12开发(2)----基于中断信号获取加速度数据

三轴加速度计LIS2DW12开发.2--轮基于中断信号获取加速度数据 概述视频教学样品申请生成STM32CUBEMX串口配置IIC配置CS和SA0设置INT1设置串口重定向参考程序初始换管脚获取ID复位操作BDU设置开启INT1中断设置传感器的量程配置过滤器链配置电源模式设置输出数据速率中断判断加速…...

编程日记 2023/12/3 7:39:38

Shell循环：whileuntil

一、特点：循环次数[一定]是固定的 二、while语句结构 while 条件测试 do 循环体 done 当条件测试成立（条件测试为真），执行循环体 演示： 需求：每秒显示一个数字，一…...

编程日记 2023/12/3 7:38:37

Redis 安装部署

文章目录 1、前言2、安装部署2.1、单机模式2.1.1、通过 yum 安装（不推荐，版本老旧）2.1.1、通过源码编译安装（推荐） 2.2、主从模式2.3、哨兵模式2.4、集群模式2.5、其他命令2.6、其他操作系统 3、使用3.1、Java 代码 —…...

编程日记 2023/12/3 7:36:35

项目中遇到的半导体公司

作为一个技术人，我并不是亲美，从技术的实事求是角度讲，不得不感叹欧美的半导体技术。他们的datasheet能学到的东西太多太多；我甚至佩服他们缜密的逻辑。从他们的文章中领悟我们技术到底有多low，没办法一个一个了解所有…...

编程日记 2023/12/3 7:35:34

汇编：call与ret/retf指令

一、call指令 ​​​​​​​ 1.1 依据位移进行转移：call 标号 1.2 实现段间转移：call far ptr 标号 1.3 转移地址在寄存器中：call 16位寄存器 1.4 转移地址在内存中 1.4.1 call word ptr 内存单元地址 1.4.2 call dword ptr 内存单元地址…...

编程日记 2023/12/3 7:34:33

Fiddler抓包工具之高级工具栏中的重定向AutoResponder的用法

重定向AutoResponder的用法 关于Fiddler的AutoResponder重定向功能，主要是时进行会话的拦截，然后替换原始资源的功能。 它与手动修该reponse是一样的，只是更加方便了，可以创建相应的rules，适合批处理的重定向功能。 …...

编程日记 2023/12/3 7:33:32

如何基于OpenCV和Sklearn库开展数据降维

大家在做数据分析或者机器学习应用过程中，不可避免的需要对数据进行降维操作，好多垂直行业业务中经常出现数据量少但维度巨大的情况。数据降维的目的是为了剔除不相关或冗余特征，使得数据易用，去除无用数据，实现数据可…...

编程日记 2023/12/3 7:32:30

详解SpringAop开发过程中的坑

😉😉 学习交流群： ✅✅1：这是孙哥suns给大家的福利！ ✨✨2：我们免费分享Netty、Dubbo、k8s、Mybatis、Spring...应用和源码级别的视频资料 🥭🥭3：QQ群：583783…...

编程日记 2023/12/3 7:31:29

【海思SS528 | VDEC】MPP媒体处理软件V5.0 | VDEC的使用总结

😁博客主页😁：🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑：🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 🤣本文内容🤣&a…...

编程日记 2023/12/3 7:28:27

Kubernetes sample-controller 例子介绍

sample-controller sample-controller 是 K8s 官方自定义 CDR 及控制器是实现的例子 通过使用这个自定义 CDR 控制器及阅读它的代码，基本可以了解如何制作一个 CDR 控制器 CDR 运作原理 网上有更好的文章，说明其运作原理： https://www.z…...

编程日记 2023/12/3 7:27:26

【C/C++指针】指针*与引用的区别

指针变量的值是所指对象的地址（准确说是首地址，其类型定义其所指对象的字节长度）引用变量的值是所引用对象本身的值 1 初始化 指针变量 可不初始化 且 可以更换指向对象 int *p;//此时是个野指针，该指针变量的值是任意值&#x…...

编程日记 2023/12/3 7:25:24

【ArcGIS Pro微课1000例】0039：制作全球任意经纬网的两种方式

本文讲解在ArcGIS Pro中制作全球任意经纬网的两种方式。 文章目录 一、生成全球经纬网矢量1. 新建地图加载数据2. 创建经纬网矢量数据二、布局生成经纬网1. 新建布局2. 创建地图框2. 创建经纬网一、生成全球经纬网矢量 以1：100万比例尺地图分幅为例，创建经差6、维差4的经纬网…...

编程日记 2023/12/3 7:24:23

【二叉树】练习题终章

二叉树的销毁 void BTreeDestroy(BTNode* root) {if (root NULL)return;BTreeDestroy(root->left);BTreeDestroy(root->right);free(root); }递归展示图 使用后序销毁，如果用前序销毁的话，就会找不到根对应的子树的地址.下面就不能被销毁了&…...

编程日记 2023/12/3 7:23:22

flutter开发实战-实现获取视频的缩略图封面video_thumbnail

flutter开发实战-实现获取视频的缩略图封面video_thumbnail 在很多时候，我们查看视频的时候，视频没有播放时候，会显示一张封面，可能封面没有配置图片，这时候就需要通过获取视频的缩略图来显示封面了。这里使用了video…...

编程日记 2023/12/3 7:22:21

Prompt Toolkit探索：打造交互式CLI应用

简介：prompt_toolkit 是一个 Python 的库，它提供了一系列功能丰富的用户界面元素，比如自动完成、语法高亮、多行编辑、提示等等，让你可以轻松地构建出功能强大的命令行工具。而且，这个库还被 IPython 和 pgcli 这样的知…...

编程日记 2023/12/3 7:19:19

【已解决】AttributeError: module ‘gradio‘ has no attribute ‘outputs‘

问题描述 AttributeError: module gradio has no attribute outputs 不知道作者用的是哪个gradio版本，最新的版本报错AttributeError: module gradio has no attribute outputs ， 换一个老一点的版本会报错AttributeError: module gradio has no attribu…...

编程日记 2023/12/3 7:17:17

WPF Mvvm模式下面如何将事件映射到ViewModel层

前言 平常用惯了Command绑定，都快忘记传统的基于事件编程模式了，但是Commond模式里面有个明显的问题，就是你无法获取到事件源的参数。很多大聪明肯定会说，这还不简单，通过自己写控件，给控件加个自定义属性不就行了，想要啥事件就写啥事件进去，完全自主可控。但是对于写…...

编程日记 2023/12/3 7:15:15

C# WPF上位机开发（计算器界面设计）

【 声明：版权所有，欢迎转载，请勿用于商业用途。 联系信箱：feixiaoxing 163.com】 c# wpf最大的优势就是开发业务软件比较快、效率比较高。一般来说，它的界面和逻辑部分可以同时开发。界面的部分用xaml编写即可&#xf…...

编程日记 2023/12/3 7:14:14

[c]比较月亮大小

本题的难点就是分情况讨论 #include<stdio.h> int main() {int n;scanf("%d",&n);int arr2[n];int p;for(int m0;m<n-1;m){scanf("%d",&arr2[m]);//输入n个数保存到数组}if(n1)//当输入一个数据时&#xff0c;输入0&#xff0c;可以判断…...

编程日记 2023/12/3 7:11:11

【Java 基础】16 泛型

文章目录 什么是泛型&#xff1f;泛型的声明泛型的使用泛型方法通配符和泛型上下界1&#xff09;通配符2&#xff09;泛型上下界 泛型的好处注意事项 泛型提供了一种在编写代码时更好地 支持类型安全的机制。通过泛型&#xff0c;我们可以编写更加 通用、 灵活、 可读性高的…...

编程日记 2023/12/3 7:10:10

Android framework定制1--＞用户无操作一段时间，自动播放客户提供的视频，用户操作后退出播放

在PowerManagerService.java中监听用户操作&#xff0c;10秒无操作则打开预置的apk播放视频&#xff0c;直接上代码&#xff1a; --- a/frameworks/base/services/core/java/com/android/server/power/PowerManagerService.javab/frameworks/base/services/core/java/com/andr…...

编程日记 2023/12/3 7:05:05

Vmware17虚拟机安装windows10系统

不要去什么系统之家之类的下载镜像&#xff0c;会不好安装&#xff0c;镜像被魔改过了&#xff0c;适合真实物理机上的系统在PE里安装系统&#xff0c;建议下载原版系统ISO文件 安装vmware17pro 下载地址https://dwangshuo.jb51.net/202211/tools/VMwareplayer17_855676.rar 解…...

编程日记 2023/12/3 7:01:02

Golang实践录：读取yaml配置文件

本文对 yaml 文件进行解析。 下载 yaml执行 go get github.com/spf13/viper 安装。 golang 有很多库可以解释 yaml 文件。本文选用 viper 进行解析&#xff0c;执行 go get github.com/spf13/viper 安装。 yaml语法规则 yaml对大小写敏感。yaml的层级关系只能使用空格缩进&a…...

编程日记 2023/12/3 6:59:00

oracle sql相关语法

SQL*PLUS 在SQL*PLUS执行&#xff0c;会在执行后显示查询的执行计划和统计信息 SET AUTOTRACE ON;SELECT * FROM your_table WHERE column_name value;SET AUTOTRACE OFF;PLSQL PLSQL查询sql界面&#xff0c;鼠标右键&#xff0c;点击执行计划&#xff0c;会出现sql的执行计…...

编程日记 2023/12/3 6:55:57

el-table,列表合并,根据名称列名称相同的品名将其它列值相同的进行合并

el-table,列表合并,根据名称列名称相同的品名将其它列值相同的进行合并,并且不能跨品名合并 如图 用到el-table合并行的方法合并 tableSpanMethod({ row, column, rowIndex, columnIndex }) {if (column.property "materielName") {//合并商品名const _row this…...

编程日记 2023/12/3 6:54:56

微信小程序显示二维码？

wxml <canvas style"width: 100%;height: 100%;margin-left: 20%;" id"Canvase" type"2d"></canvas> js // pages/code/code.js Page({/*** 页面的初始数据*/data: {code: ,},/*** 生命周期函数--监听页面加载*/onLoad(options) {…...

编程日记 2023/12/3 6:53:55

JavaWeb开发全流程笔记

JavaWeb 前端Web开发javaScript1.JS引入2.JS基础语法3.JS函数4.JS对象 BOMDOM文档对象模型JS事件监听VueVue常用指令Vue的生命周期 AjaxAxios 前端工程化环境准备NodeJS安装和Vue-cli安装vue项目Vue组件库Element组件的使用 Vue路由Nginx打包部署 后端Web开发MavenSpringBootHT…...

编程日记 2023/12/3 6:52:55

LLM；超越记忆《第 2 部分 》

一、说明 在这篇博客中&#xff0c;我深入研究了将大型语言模型&#xff08;LLM&#xff09;提升到基本记忆之上的数学框架。我们探索了动态上下文学习、连续空间插值及其生成能力&#xff0c;揭示了 LLM 如何理解、适应和创新超越传统机器学习模型。 LLM代表了人工智能的重大飞…...

编程日记 2023/12/3 6:50:52

Python中的加法测试题实现

随机生成5道10以内的加法测试题&#xff0c;用户在10秒内使用键盘输入答案。完成全部5道答题之后&#xff0c;计算机生成答题记录报告&#xff0c;并对答题情况进行分析&#xff0c;显示“答对了”&#xff0c;或“答错了”、并显示正确答案。如果未能按时完成&#xff0c;则显…...

编程日记 2023/12/3 6:48:51