当前位置： 首页 > news >正文

19-02 基于业务量级的架构技术选型演进

news 文章来源：https://blog.csdn.net/m0_56709616/article/details/130842663 2025/5/19 1:47:39

从零开始——单服务应用

单体应用技术选型

  • （GitHub、Gitee…）搜索是否有线程的产品
  • 用最熟悉的技术，最快的速度上线
  • 如果有经费：考虑商业化解决方案

个人小程序怎么做技术选型的

  • 搜索是否有快速搭建下程序的软件
  • 技术选型
    • 后端技术选型
      • 用最熟悉的技术，达到最快的开发速度
      • MySQL、MyBatis、SoringBoot
    • 前端技术选型
      • 在这里插入图片描述

应用服务、数据服务分离

  • 企业级应用的起步阶段
  • 两个目的
    • 选择合适的技术实现项目的落地
    • 为项目未来的发展方向定好基调
    • 在这里插入图片描述

要考虑的问题

  • 运行平台的选择
  • 选择商业解决方案还是开源解决方案
  • 确定项目的研发模式
  • 确定具体使用的技术

事半功倍——引入缓存系统

要考虑的问题

  • 在哪个位置使用缓存
  • 采用什么类型的缓存
  • 采用那种缓存模式
  • 具体用什么缓存组件

缓存位置

  • 客户端缓存
    • 浏览器中的缓存
    • APP缓存
  • 网络中缓存
    • 代理服务器缓存
    • CDN缓存
  • 服务端缓存

如何确定缓存的位置

  • 没有性能瓶颈不考虑，那里慢就在那里用缓存

缓存类型

  • 内存缓存
    • 速度非常快，数据可能会丢失
    • 适用于速度要求非常高，容忍数据丢失的场景
    • 堆内缓存
      • 优点：
        • 无需序列化、反序列化
        • 性能很好
      • 缺点：
        • 会对GC造成影响
        • 容量受限于堆内存的大小
        • 一般为软引用或弱引用存储
      • 堆内缓存适用场景
        • 存储非常热的数据
  • 磁盘缓存
    • 性能比内存缓存差，数据不会丢失
    • 适用于需要持久化的场景

负载均衡

在这里插入图片描述

基于DNS的负载均衡

  • 在DNS服务器上为多个地址配置相同的解析记录
  • 优点：
    • 把负载均衡的工作交给了DNS服务器，减少了网站管理的维护工作
    • 技术实现比较灵活、方便、简单易行、成本低
    • 适用面广，能适用于大多数TCP/IP应用
  • 缺点：
    • 一般不能反映服务器当前运行状态
    • 某台服务器下线之后，即使修改了DNS记录，要想让记录生效可能需要很长时间
    • 保证DNS解析指向的目标地址高可用、地址不会经常修改
    • 一般来说，大型网站会用DNS作为一级负载均衡
      • DNS指向的IP，对应的并不是一台机器，而是高可用的服务器集群
      • dig命令可查询记录

基于反向代理的负载均衡

  • 请求经过反向代理，由反向代理组件提供负载均衡算法，计算出一个服务器地址返回
  • 代表实现
    • NGINX
    • HAProxy
    • Apache

互联网项目负载均衡器演变的典型过程（经验）

  • 项目初期：NGINX
  • 中期：结合Keepalived实现NGINX的高可用
  • 之后，再搭载LVS或F5，从而扩展多个NGINX
  • 如果一个LVS集群顶不住的饿话，会再结合DNS扩展LVS

有状态VS无状态

  • 状态：服务器是否要存储用户的登录状态
  • 服务器端是否要维护用户的会话

有状态

粘性会话

  • 当客户端在一台Web Server上登录后，以后的请求都会绑定到该Web Server实例
  • 在这里插入图片描述
  • 优缺点
    • 无需引入额外组件
    • 实现简单
    • 存在单点问题：需要额外实现故障转移
    • 可能有不均衡问题

会话共享

在这里插入图片描述

  • 使用session保持会话，多个应用实例存储到一个中央存储中去
  • 优缺点
    • 需要额外引入组件，即使任意Web应用崩溃依然可用
    • 但Session Store一旦崩溃，所有会话都会丢失

会话复制

在这里插入图片描述

  • Web Server实例之间互相复制会话
  • 优缺点
    • 无需实现故障转移
    • 无需引入额外组件
    • 会话复制消耗带宽和内存

无状态

  • 服务器端不去记录用户的登录状态：服务器端不再去维护会话
  • 用户登录时，办法一个token，这个token一般是加密的
  • 之后每个请求都会带上这个token（放在header、URL参数、Cookie中传递）
  • 有状态的缺点 = 无状态的优点
  • 无状态的缺点：
    • 一旦把token颁发给用户，就很难控制它的下线时间
      在这里插入图片描述

有状态 vs 无状态

在这里插入图片描述

读写分离

在这里插入图片描述

CDN

  • 静态文件：效果非常好
  • 动态数据：效果不佳
  • 动态内容静态化
  • 动静分离

CDN组成原理

在这里插入图片描述

CDN技术选型要考虑的问题

  • 自建 or 商用
    • 优先使用商用CDN
    • 当商用CDN满足不了业务需求，顶不住的时候，再考虑自建
    • 原因：自建很不划算
    • 小米、快手、大众点评 => 都是商用CDN
  • 如何挑选CDN
    • 速度
      • 节点数
      • 带宽能力
      • 节点分布
    • 功能

      • 加速优化

        • DNS优化
        • 在这里插入图片描述

      • 监控统计

        • 实时监控：点击率、命中率、占用流量
        • 访问日志监控

      • 安全性

        • 防盗链
        • IP黑白名单
    • 价格
      • 按带宽峰值计费
      • 按流量计费

全文检索

  • 减轻了数据库的查询压力
  • 提升应用性能，提高用户体验
  • 实现全文检索的五种路径
    • 使用数据库内置的全文搜索能力
    • 使用和数据库深度集成的全文搜索
    • 使用开源全文所搜引擎
    • 使用商用全文搜索引擎
    • 自研全文搜索引擎

使用数据库内置的全文搜索能力

在这里插入图片描述

  • 优点
    • 学习成本低
    • 方便
    • 无需引入新的组件，保持了架构上的简单性
  • 缺点
    • 搜索引擎没有和数据库分离，数据库的职责不够单一
    • 全文搜索的能力受限于数据库的查询能力
  • 不建议使用

使用和数据库深度集成的全文搜索

  • 代表实现：Sphinx
    • 可独立运行
    • 可以和MySQL、PostgreSQL深度集成
  • 选型建议
    • Sphinx在业界非常流行
    • 如果看中运维成本，同时对扩展性没有太高要求，可以尝试
  • Tips
    • Sphinx相对于其他全文搜索引擎来说，功能并不是很强
    • 国内文档不多
    • 越来越多的企业在从Sphinx往第三种模式迁移

使用开源全文所搜引擎

  • 目前最主流的方式
    • 选择丰富
    • 扩展性非常好
  • 缺点
    • 需要独立部署搜索引擎
    • 需使用搜索引擎特有语法操作搜索引擎
      • 既是缺点也有优点，缺点在于有学习成本，好处就是能够支持更加复杂的查询；另外像Elasticsearch之类的搜索引擎既支持DSL，也支持SQL
    • 搜索引擎和数据库是独立的两个软件，需要考虑数据一致性
      • 借助logstash-input-jdbc之类的插件同步
      • 应用写入数据库的同时也写到搜索引擎
  • 选型建议：可以放心使用

使用商用全文搜索引擎

  • 阿里云Open Search
  • 微软的Microsoft Azure Search
  • 成功案例不多
  • 选型建议
    • 商用产品有良好的服务，省事、省心，可以放心使用
    • 要考虑商用产品封闭性所带来的影响：例如厂商很难根据你的特殊需求专门定制

自研全文搜索引擎

  • 阿里、苏宁、万得资讯、东方财富
  • 优点：核心技术在自己手上，有更好的灵活度，遇到问题可以从底层调整与优化
  • 缺点：遂团队的技术要求会比较高，成本也非常高

在这里插入图片描述

相关文章：

19-02 基于业务量级的架构技术选型演进

从零开始——单服务应用 单体应用技术选型 （GitHub、Gitee…）搜索是否有线程的产品用最熟悉的技术，最快的速度上线如果有经费：考虑商业化解决方案 个人小程序怎么做技术选型的 搜索是否有快速搭建下程序的软件技术选型 后端技…...

编程日记 2023/6/1 2:03:46

Server - 高性能的 PyTorch 训练环境配置 (PyTorch3D 和 FairScale)

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/130863537 PyTorch3D 是基于 PyTorch 的 3D 数据深度学习库，提供了高效、模块化和可微分的组件，以简化 3D 深度学…...

编程日记 2023/6/1 1:58:45

小猫踩球-第14届蓝桥杯省赛Scratch中级组真题第2题

[导读]：超平老师的《Scratch蓝桥杯真题解析100讲》已经全部完成，后续会不定期解读蓝桥杯真题，这是Scratch蓝桥杯真题解析第137讲。 小猫踩球，本题是2023年5月7日举行的第14届蓝桥杯省赛Scratch图形化编程中级组真题第2题&#xf…...

编程日记 2023/6/1 1:53:44

嵌入式开发从入门到精通之第二十一节：三轴加速度传感器（BMA250E）

目录 1、工作模式 2、中断支持的模式 2.1 新数据的产生 2.2 任何斜率的变化的监测...

编程日记 2023/6/1 1:48:43

代码随想录算法训练营第三十六天|435. 无重叠区间 763.划分字母区间 56. 合并区间

目录 LeeCode 435. 无重叠区间 LeeCode 763.划分字母区间 LeeCode 56. 合并区间 LeeCode 435. 无重叠区间 435. 无重叠区间 - 力扣（LeetCode） 思路1：按照右边界排序，从左向右记录非交叉区间的个数。最后用区间总数减去非交叉…...

编程日记 2023/6/1 1:43:42

shell 脚本

Shell概述 shell是一个命令行解释器，它接收应用程序/用户命令，然后调用操作系统内核 脚本入门 脚本格式 脚本以#!/bin/bash开头（指定解析器） helloworld # 创建脚本 [linuxlocalhost datas]$ cat helloworld.sh #!/bin/bas…...

编程日记 2023/6/1 1:38:41

Linux :: 【基础指令篇 :: 用户管理（补充）：(4)】::用户切换

前言：本篇是 Linux 基本操作篇章的内容！ 笔者使用的环境是基于腾讯云服务器：CentOS 7.6 64bit。 学习集： C 入门到入土！！！学习合集Linux 从命令到网络再到内核！学习合集 目录索引&am…...

编程日记 2023/6/1 1:33:40

打印机无法扫描的原因及解决方法

在家庭和办公环境中，打印机已成为不可或缺的设备。它不仅可以打印文件，还可以扫描文档并将它们转换为数字数据。但有时，打印机可能无法扫描文档或图片。以下是可能导致这些问题的原因和解决方法。 出现打印机无法扫描的原因： 1.…...

编程日记 2023/6/1 1:28:39

【Mysql】 数据类型

文章目录 【Mysql】 数据类型数据类型分类数值类型1. tinyint类型2. bit类型3. 小数类型 字符串类型1.char2.varchar3. 日期和时间类型4. enum 和 set 【Mysql】 数据类型 mysql中数据类型的作用： 约束操作者的行为更清晰的代码逻辑不同的功用 – 例如&#xff0c…...

编程日记 2023/6/1 1:23:38

mysql中如何使用乐观锁和悲观锁

MySQL中可以使用SELECT ... FOR UPDATE语句来实现悲观锁。这个语句会在查询时锁定被查询的行，在事务结束前都不会释放锁。 例如，我们可以使用以下的 SQL 语句来锁定一个特定的行： BEGIN; SELECT * FROM table WHERE id 1 FOR UPDATE; ... C…...

编程日记 2023/6/1 1:18:37

Logstash技术栈总结

Logstash 是一个可以传输和处理你的日志、事务或其他数据的功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助你解析，丰富，转换和缓冲来自各种来源的数据。 工作原理 Logstash 事件处理有三个阶段：inputs …...

编程日记 2023/6/1 1:13:36

解决：在单项目组件里面引入 base.scss/ base.less 等的外部文件不成功的问题

1、问题展示： 其一、问题描述： 在单文件组件里面使用封装在 base.scss 或 base.less 里面的样式用法一直不成功； 其二、代码： // 虽然已经标明了用的是 scss 的语法，但是页面调用 .scss 里的 style 样式还是不成功&a…...

编程日记 2023/6/1 1:08:35

论文分享 | WSBERT：Weighted Sampling for Masked Language Modeling

本次分享阿里巴巴达摩院语音实验室、新南威尔士大学与香港科技大学（广州）等在ICASSP2023会议发表的论文《Weighted Sampling for Masked Language Modeling》。该论文主要提出了两种简单有效的加权采样策略，来缓解掩码语言模型（ML…...

编程日记 2023/6/1 1:03:29

java 在线音乐网站系统Myeclipse开发mysql数据库struts2结构java编程计算机网页项目

一、源码特点 java 在线音乐网站系统 是一套完善的web设计系统，对理解JSP java编程开发语言有帮助struts2开发技术，系统具有完整的源代码和数据库，系统主要采用B/S模式开发。开发环境为 TOMCAT7.0,Myeclipse8.5开发，数据库为Mys…...

编程日记 2023/6/1 0:58:28

软件测试基础教程学习1

文章目录 软件测试概述1.1 什么是软件测试1.2 软件测试的目的1.3 对软件测试的理解1.4 软件测试的原则1.5 测试人员的职责1.6 测试人员的素质要求 软件测试概述 1.1 什么是软件测试 1）软件测试要发现软件的错误。 2）软件测试最终要以软件满足用户需求为…...

编程日记 2023/6/1 0:53:27

浅谈一下@Async和SpringSecurityContext可能会遇到的问题和解决方案

Async和SpringSecurityContext 场景回溯 在执行一个用时较长的批量插入业务的时候,我尝试使用Async异步对业务进行优化,但是却给我报了空指针的错误,定位之后发现 此处我是基于SpringSecurity来获取用户的 是currentUserService获取到的当前登陆用户为空导致的,但是当前确实是…...

编程日记 2023/6/1 0:48:26

VUE常见面试题

1.为什么要使用Vue？ 答：Vue是一款优秀的前端框架，它可以帮助我们快速构建高效、可复用、易维护的Web应用程序，并提供了丰富的API和生态系统。 2. Vue有哪些生命周期钩子函数？ 答：Vue有8个生命周期钩子函…...

编程日记 2023/6/1 0:43:25

字符串匹配算法--KMP算法--BM算法

该算法解决的是字符串匹配问题，即查看字符串中是否含有完整的匹配字符串。如在java的string的contains方法匹配问题最简单的就是暴力破解了。在java的contains也是这么实现的，效率是低一点的。如果想要更快的速度可以自己写KMP算法。 代码实现体验 Knut…...

编程日记 2023/6/1 0:38:24

swagger的简单介绍

目录 swagger是什么？ swagger有什么用？ Swagger包含的工具集： swagger的使用步骤： swagger的相关注解： Docket的源码 了解swagger的作用和概念了解前后端分离在SpringBoot中集成Swagger swagger是什么？…...

编程日记 2023/6/1 0:33:22

HNU-电路与电子学-小班3

第三次讨论 1 、直接用晶体管而不是逻辑门实现异或门，并解释这个电路是如何工作的。 （6个 MOS 管构成） 2 、通信双方约定采用 7 位海明码进行数据传输。请为发送方设计海明码校验位 生成电路，采用功能块和逻辑门为接收方设计海…...

编程日记 2023/6/1 0:28:21

[机缘参悟-98] ：层次不同、维度不同、视角不同、结论不同

目录 全局VS具备， 总体V部分 认知的六个认知层次： 认知的六个立体化维度： 0、维空间，点思维 1、一维空间，直线思维 2、二维空间，平面思维 3、三维空间：立体思维。 4、四维空间&#xff…...

编程日记 2023/6/1 0:23:20

chatgpt-web发布之docker打包流程

docker打包流程 1、使用docker前置准备： 电脑下载docker桌面版，以及开启虚拟机步骤：https://blog.csdn.net/qq_34905631/article/details/126573826下载docker桌面版 ：https://docs.docker.com/desktop/install/windows-install…...

编程日记 2023/6/1 0:18:19

动态优化会议地点

前言 在现在快节奏的工作节奏下，大家的活动范围越来越广，但是出行成本也相应提高。在集体会面的时候，如何选择合适的地点成为了一个棘手的问题。本文将介绍如何通过动态优化选择会议地点，以达到平均交通成本最低的目标。 动态优化…...

编程日记 2023/6/1 0:13:18

Golang每日一练(leetDay0076) 第k大元素、组合总和III

目录 215. 数组中的第K个最大元素 Kth-largest-element-in-an-array 🌟🌟 216. 组合总和 III Combination Sum iii 🌟🌟 🌟 每日一练刷题专栏 🌟 Rust每日一练 专栏 Golang每日一练 专栏 Python每日…...

编程日记 2023/6/1 0:08:17

可节省60% MCU开发成本的NV080D-S8，单片机语音芯片在恒温碗上的应用

社会在不断进步，科技在不断发展，如今的恒温碗不仅带有温度显示功能，更附带有语音播报，能更好地知晓当前饭菜，变凉或过烫的情况，有效避免伤害宝宝脆弱的肠胃； 广州九芯电子推出了一款&#xff0c…...

编程日记 2023/6/1 0:03:16

Java并发常见面试题

参考：javauide、程序员大斌、面试宝典 1.并发与并行的区别 并发：两个及两个以上的作业在同一 时间段 内执行。并行：两个及两个以上的作业在同一 时刻 执行。2.同步和异步的区别 同步：发出一个调用之后，在没有得到结果之前， 该调用就不可以返回，一直等待。异步：调用在发…...

编程日记 2023/5/31 23:58:15

基于vue3+pinia2仿ChatGPT聊天实例|vite4.x仿chatgpt界面

使用vue3pinia2开发仿制chatgpt界面聊天实例Vue3-Chatgpt 基于Vue3.xPinia2VueRouterVue3-Markdown等技术构建仿ChatGPT网页端聊天程序。支持经典分栏界面布局、light/dark模式、全屏半屏显示、Markdown语法解析、侧边栏隐藏等功能。 技术框架 编辑工具：Cursor框架…...

编程日记 2023/5/31 23:53:14

JDK动态代理和CGLIB动态代理

JDK动态代理和CGLIB动态代理 JDK动态代理和CGLIB动态代理 JDK动态代理和CGLIB动态代理 ① JDK动态代理只提供接口的代理，不支持类的代理，要求被代理类实现接口。JDK动态代理的核心是InvocationHandler接口和Proxy类，在获取代理对象时&#x…...

编程日记 2023/5/31 23:48:13

Jetpack Hilt 框架的基本使用

什么是 Hilt？ Hilt 是一个功能强大、用法简单的依赖注入框架，于 2020 年加入到 Jetpack 家族中。它是 Android 团队联系了 Dagger2 团队，一起开发出来的一个专门面向 Android 的依赖注入框架。相比于 Dagger2，Hilt 最明显的特征就…...

编程日记 2023/5/31 23:43:12

exec()在不同namespace执行结果的区别

记录一个很tricky的问题，下面这段code在执行func1时会出现NameError: name List is not defined，但执行func2时一切正常。 import typescontent """ from typing import Listclass GeneratedData:qna: List"""def func1…...

编程日记 2023/5/31 23:38:11