【系统设计】主动查询与主动推送：如何选择合适的数据传输策略

基本描述总结

主动查询机制：系统A主动向系统B请求数据，采用严格的权限控制和身份认证，防止未授权的数据访问。数据在传输过程中使用TLS加密，并通过动态脱敏处理隐藏敏感信息。

推送机制：系统B在数据更新时主动向系统A推送数据，在推送前对敏感数据进行脱敏处理，确保数据安全。数据传输采用加密和数字签名，接收方确认数据完整性。

场景描述

我方（提供数据侧），客户侧（需要获取数据侧），假设客户需要我方提供相关业务数据，可以通过俩个方式处理：
主动查询机制：提供公开可访问的接口，由客户决定访问时间和数据处理
主动推送机制：在特定的业务事件触发时，主动推送给与客户约定的推送接口或者消息队列上。

主动查询机制分析

主动查询机制是指系统A需要从系统B获取数据时，由系统A主动向系统B发起数据请求。由请求方（系统A）主动发起数据请求。请求前必须通过严格的身份验证和权限控制，防止未授权的数据访问。

【身份认证与授权控制】

目的： 确保只有经过验证和授权的用户或系统可以访问数据，防止未授权的数据泄露或篡改。
方式：

• 多因素认证（MFA）：要求请求方在发起请求时进行多因素认证，如使用用户名/密码+动态验证码或硬件令牌，以增加身份验证的安全性。
• 基于OAuth 2.0的认证：采用OAuth 2.0协议，通过授权服务器颁发访问令牌（Access Token）来验证请求方身份，令牌中包含用户的权限范围、有效时间等信息。
• 角色和权限管理（RBAC/ABAC）：使用基于角色（RBAC）或属性（ABAC）的访问控制策略，根据用户或系统的角色、属性和上下文，决定其访问哪些数据和服务的权限。
• 接口非对称加密：在非对称加密中，系统B创建一对密钥：公钥和私钥。公钥用于加密数据，私钥用于解密数据。以下是非对称加密的机制设计步骤：
  公钥：公开给系统A（请求方），用于加密请求数据或验证数字签名。
  私钥：由系统B（响应方）安全保管，用于解密请求数据或生成数字签名。

【数据脱敏与隐私保护】

目的： 保护用户隐私，确保敏感数据在不同权限级别的请求方之间得到合理控制。

• 动态数据脱敏：在响应请求时，根据请求方的权限级别，实时对返回的数据进行脱敏处理。例如，将敏感信息（如身份证号、信用卡号）只显示部分内容，隐藏其余部分。
• 敏感数据标记与分级：在数据层面对敏感数据进行标记和分类，例如：高度敏感、中度敏感和公开数据。根据数据类型和请求方权限，选择合适的脱敏规则。
• 图片和文件的脱敏：对于包含敏感信息的图片或文件（如身份证、人脸、证件图片等），使用图像处理算法进行模糊化或打码处理。
• 图片的过期机制：在系统设计中，增加图片的过期机制可以有效地控制敏感数据的存储时长，防止数据滥用和泄露，并与客户约定在获取到数据后即时下载保存。通过设计图片过期机制，可以有效管理图片的存储生命周期，增强数据安全和合规性，确保系统的安全和高效运行。

【数据传输加密与完整性验证】
目的： 确保数据在传输过程中不被非法截取、篡改或伪造，维护数据的机密性和完整性。
· 使用TLS加密：所有的请求和响应数据在传输过程中使用TLS（Transport Layer Security）加密协议，以防止数据被中间人截获或篡改。
· 数据签名与完整性验证：使用数字签名（如HMAC或基于PKI的数字签名）来确保数据的完整性和来源的真实性。接收方在收到数据后，对签名进行验证，确保数据未被篡改。
· 支持HTTP/2或HTTP/3协议：这些协议在提高传输效率的同时，提供更强的安全性，减少潜在的攻击面。

【请求频率控制与速率限制】

目的： 防止恶意用户通过频繁的请求导致服务器资源耗尽，同时保障系统的稳定性和可用性。

• 速率限制（Rate Limiting）：在服务器端设置每个用户或IP的请求速率限制（例如每分钟100个请求），防止恶意用户频繁访问导致服务器过载或被攻击。
• 请求队列与优先级：对请求进行排队处理，根据请求的优先级（如系统管理员请求、普通用户请求）决定处理顺序，防止高优先级请求被低优先级请求阻塞。
• 自适应阻塞机制：对于短时间内大量的重复请求或异常请求，动态调整其阻塞策略，避免潜在的DDoS（分布式拒绝服务）攻击。

【安全审计与日志记录】

目的： 提供系统行为的可追溯性，及时发现潜在的安全威胁和违规操作，提升整体安全性。

• 详细日志记录：记录每个查询请求的相关信息，包括请求时间、来源IP、用户ID、请求参数、响应结果等。所有的日志都应加密存储，以防止被篡改
• 日志分析与监控：定期分析日志，利用机器学习或规则引擎检测异常行为，如频繁的失败请求、异常的数据访问模式等。
• 审计追踪：对于关键操作（如数据导出、大批量数据查询等），需要进行审计追踪，记录详细的操作历史，支持事后审计和分析。

主动推送机制分析

在主动推送机制中，由数据提供方（系统B）主动将更新的数据推送给请求方（系统A），这种机制通常用于需要及时将数据变化通知到其他系统的场景。在设计主动推送机制时，需要考虑多方面的因素，确保数据的安全性、可靠性、实时性和系统的扩展性。

数据加密与传输安全，数据脱敏和过期机制等和数据查询机制类似，都是需要考虑的点。

推送方式

重试机制

目的： 提高数据推送的可靠性，确保在网络波动或系统故障情况下，数据能够最终一致地到达接收方。

• 消息队列管理：使用消息队列（如Kafka、RabbitMQ）来管理推送数据，以提高数据传输的可靠性和系统的扩展性。消息队列应支持持久化和分布式架构，确保在服务故障或重启后消息不会丢失。
• 重试策略：当推送失败时，系统B应实现重试机制，按照一定的重试策略（如指数回退、最大重试次数）重新尝试发送数据，确保数据最终被成功接收。
• 幂等性支持：确保每条推送消息具有唯一标识（如UUID），接收方能够识别重复的消息并进行去重处理，避免重复消费导致的数据不一致。

推送频率控制与限流

目的： 控制数据推送的频率和数量，防止系统过载，保障服务质量和系统稳定性。

设计要点：

• 限流与速率限制：设置每个接收方的推送速率限制（如每秒钟的推送次数上限），防止系统过载或被滥用。限流策略可以基于接收方的优先级、网络状况等动态调整。
• 批量推送与合并：在数据频繁更新的情况下，可以采用批量推送策略，将多个小数据合并成一个大数据包进行推送，减少网络请求数量，提高推送效率。
• 推送优先级管理：根据推送数据的类型或重要性，设置不同的推送优先级。对于重要数据（如紧急告警或关键事件），应优先推送，确保及时到达接收方。

推送确认与回执机制

目的： 确保推送数据被成功接收和处理，提高数据传输的可靠性和可追溯性。

• 消息确认：系统A在接收到推送数据后，应发送确认回执给系统B，确认消息已成功接收和处理。可以使用HTTP状态码（如200 OK）或自定义协议的确认消息格式。
• 失败处理：如果系统A没有在规定时间内返回确认回执，系统B应触发重试机制或记录该次推送失败，并根据失败原因采取相应措施（如告警或降级处理）。
• 可靠的交付保证：系统B应根据推送数据的重要性，选择不同的交付策略（如确保至少一次交付、确保最多一次交付或精确一次交付）。

其他考虑因素

• 日志记录与监控：记录所有推送操作的详细日志，包括数据内容、推送时间、接收方信息、推送结果等，支持事后审计和异常分析。
• 安全性与合规性：在设计中应遵循相关的数据保护法律法规，确保推送数据的存储、传输和处理符合合规要求。
• 系统扩展性与负载均衡：支持多节点部署和负载均衡机制，确保系统能够扩展以处理大量并发推送请求。
• 在主动推送机制中，处理重复数据推送是一个重要的设计考量。重复数据可能会因网络重试、系统故障、消息队列重复投递等原因发生，导致数据的不一致性和冗余。有效的重复数据处理机制可以确保数据的一致性和准确性