深入浅出TypedArray:网络数据处理、WebGPU与加密实战
JavaScript的TypedArray是现代Web开发中处理二进制数据的利器。本文将结合网络数据传输、WebGPU编程和简单加密算法三个实战场景,带你领略TypedArray的强大能力。
一、TypedArray基础认知
TypedArray家族包括Int8Array、Uint16Array、Float32Array等11种视图类型(关于视图类型的解释请参看:深入理解 JavaScript 中的视图类型),它们共同操作ArrayBuffer底层二进制缓冲区。与传统Array相比:
// 普通数组
const arr = [1, 2, 3]; // 每个元素占8字节// TypedArray
const typedArr = new Int8Array([1, 2, 3]); // 每个元素占1字节
在 JavaScript 中, TypedArray 是一种用于处理二进制数据的数组类型,它允许直接操作底层内存中的数据。与传统的 JavaScript 数组( Array )不同, TypedArray 是类型化的,这意味着它只能存储特定类型的数据(如整数、浮点数等),并且在底层以连续的内存块形式存储。
1. TypedArray 的种类
JavaScript 提供了多种类型的 TypedArray ,每种类型对应一种数据格式,包括:
| 类型化数组类型 | 数据类型 | 字节 | 值范围 |
|---|---|---|---|
| Int8Array | 8位有符号整数 | 1 | -128 到 127 |
| Uint8Array | 8位无符号整数 | 1 | 0 到 255 |
| Uint8ClampedArray | 8位无符号整数(溢出时钳制) | 1 | 0 到 255 |
| Int16Array | 16位有符号整数 | 2 | -32768 到 32767 |
| Uint16Array | 16位无符号整数 | 2 | 0 到 65535 |
| Int32Array | 32位有符号整数 | 4 | -2147483648 到 2147483647 |
| Uint32Array | 32位无符号整数 | 4 | 0 到 4294967295 |
| Float32Array | 32位浮点数 | 4 | IEEE 754 单精度浮点数 |
| Float64Array | 64位浮点数 | 8 | IEEE 754 双精度浮点数 |
2. 创建 TypedArray
TypedArray 的创建通常基于一个共享的底层缓冲区,通常是 ArrayBuffer 或 SharedArrayBuffer 。例如:
const buffer = new ArrayBuffer(16); // 创建一个大小为 16 字节的缓冲区
const int8Array = new Int8Array(buffer); // 创建一个 Int8Array,映射整个缓冲区
console.log(int8Array.length); // 输出:16
你也可以指定缓冲区的偏移量和长度:
const int16Array = new Int16Array(buffer, 0, 4); // 从偏移量 0 开始,长度为 4 的 Int16Array
console.log(int16Array.length); // 输出:4
3. TypedArray 的特点
- 内存效率: TypedArray 在底层以连续的内存块存储数据,适合处理大量数据,如图像像素、音频样本等。
- 性能优势:由于数据类型固定, TypedArray 的访问和操作速度比普通数组更快。
- 共享缓冲区:多个 TypedArray 可以共享同一个底层缓冲区,它们的修改会相互影响。例如:
const buffer = new ArrayBuffer(8);
const int32Array = new Int32Array(buffer);
const uint8Array = new Uint8Array(buffer);int32Array[0] = 0x12345678; // 设置 32 位整数
console.log(uint8Array); // 输出:[120, 86, 52, 18](字节顺序取决于平台)
4. 使用场景
- 图像处理:操作像素数据(如 Uint8ClampedArray )。
- 音频处理:处理音频样本数据(如 Float32Array )。
- WebAssembly:与 WebAssembly 共享内存,用于高性能计算。
- 二进制数据处理:读取或写入二进制文件(如文件上传、下载)。
5. 与普通数组的互操作
TypedArray 和普通数组可以通过 Array.from() 或扩展运算符相互转换:
const typedArray = new Uint8Array([1, 2, 3]);
const regularArray = Array.from(typedArray); // 或 [...typedArray]
console.log(regularArray); // 输出:[1, 2, 3]
6. 注意事项
- 字节序问题: TypedArray 的字节序取决于运行环境(大端或小端)。如果需要跨平台操作,可能需要手动处理字节序。
- 性能优化: TypedArray 的性能优势在于处理大量数据时,对于小规模数据,普通数组可能更方便。
TypedArray 是 JavaScript 中用于高效处理二进制数据的强大工具。它提供了多种数据类型选择,支持共享缓冲区,并且在性能和内存效率上有显著优势。如果你需要处理图像、音频或其他二进制数据, TypedArray 是一个非常合适的选择。后面我们分别以网络数据处理、WebGPU编程与加密处理为例演示TypedArray在实际编程中的应用。
二、网络数据处理实战
1. 接收二进制数据
使用Fetch API获取PNG图片并解析元数据:
fetch('image.png').then(response => response.arrayBuffer()).then(buffer => {const view = new DataView(buffer);const pngHeader = String.fromCharCode(view.getUint8(1),view.getUint8(2),view.getUint8(3));console.log(`PNG标识:${pngHeader}`); // 输出PNG});
2. 处理WebSocket数据流
构建二进制协议解析器:
const ws = new WebSocket('wss://example.com/data');
ws.binaryType = 'arraybuffer';ws.onmessage = (event) => {const buffer = event.data;const dataView = new DataView(buffer);const protocolVersion = dataView.getUint8(0);const timestamp = dataView.getBigUint64(1);const payload = new Float32Array(buffer, 9);
};
三、WebGPU中的TypedArray应用
1. 创建顶点缓冲区
const vertices = new Float32Array([// 位置 // 颜色-0.5, -0.5, 1, 0, 0,0.5, -0.5, 0, 1, 0,0.0, 0.5, 0, 0, 1
]);const vertexBuffer = device.createBuffer({size: vertices.byteLength,usage: GPUBufferUsage.VERTEX,mappedAtCreation: true
});new Float32Array(vertexBuffer.getMappedRange()).set(vertices);
vertexBuffer.unmap();
2. 计算着色器数据交互
// CPU端数据准备
const inputData = new Uint32Array([1, 2, 3, 4, 5]);
const outputBuffer = device.createBuffer({size: inputData.byteLength,usage: GPUBufferUsage.STORAGE | GPUBufferUsage.COPY_SRC
});// GPU计算完成后读取数据
const result = new Uint32Array(inputData.length);
await device.queue.readBuffer(outputBuffer, 0, result.buffer);
四、数据加密案例:XOR加密
1. 加密函数实现
function xorEncrypt(key, str) {const encoder = new TextEncoder();const data = encoder.encode(str);const result = new Uint8Array(data.length);for (let i = 0; i < data.length; i++) {result[i] = data[i] ^ key.charCodeAt(i % key.length);}return result;
}
2. 完整加密/解密流程
// 加密过程
const original = "Secret Message";
const encrypted = xorEncrypt("mykey", original);// 传输加密数据(模拟)
const transmittedData = encrypted.buffer;// 解密过程
function xorDecrypt(key, buffer) {const data = new Uint8Array(buffer);const decoder = new TextDecoder();const result = new Uint8Array(data.length);for (let i = 0; i < data.length; i++) {result[i] = data[i] ^ key.charCodeAt(i % key.length);}return decoder.decode(result);
}console.log(xorDecrypt("mykey", transmittedData)); // 输出"Secret Message"
五、性能优化建议
- 内存复用:对频繁操作的数据使用单个ArrayBuffer
const sharedBuffer = new ArrayBuffer(1024);
const intView = new Int32Array(sharedBuffer);
const floatView = new Float32Array(sharedBuffer);
- 批量操作:使用set()代替循环赋值
const source = new Uint8Array(1024);
const target = new Uint8Array(2048);
target.set(source, 512); // 批量复制
- 视图转换:避免不必要的类型转换
// 高效转换
const uintArray = new Uint16Array(buffer);
const intArray = new Int16Array(uintArray.buffer);
六、总结
TypedArray在Web开发的各个领域发挥着关键作用,掌握TypedArray不仅能提升程序性能,更能打开处理二进制数据的新视野。随着WebAssembly和WebGPU等技术的发展,TypedArray的重要性将愈发凸显。
扩展阅读:
MDN TypedArray文档
WebGPU规范
ArrayBuffer与性能优化
相关文章:
深入浅出TypedArray:网络数据处理、WebGPU与加密实战
JavaScript的TypedArray是现代Web开发中处理二进制数据的利器。本文将结合网络数据传输、WebGPU编程和简单加密算法三个实战场景,带你领略TypedArray的强大能力。 一、TypedArray基础认知 TypedArray家族包括Int8Array、Uint16Array、Float32Array等11种视图类型&a…...
nordic(nrf52832、nrf52840)如何使用SES(SEGGER Embedded Studio)编辑编译工程?
nordic官方例程中一般都会给出好几个不同的编译环境供用户选择,一般是 keil工程、armgcc工程、IAR工程、ses工程等。 一、segger embedded studio如何添加工程.h头文件? 1)首先打开options 2)下拉选中common 3)找到common下的Pre…...
LabVIEW利用CANopen的Batch SDO写入
本示例展示了如何通过CANopen协议向设备写入Batch SDO(批量服务数据对象)。Batch SDO允许用户在一次操作中配置多个参数,适用于设备的批量配置和参数设置。此方法能够简化多个参数的写入过程,提高设备管理效率。 主要步骤…...
P11071 「QMSOI R1」 Distorted Fate Solution
Description 给定序列 a ( a 1 , a 2 , ⋯ , a n ) a(a_1,a_2,\cdots,a_n) a(a1,a2,⋯,an),有 m m m 个操作分两种: modify ( l , r , x ) \operatorname{modify}(l,r,x) modify(l,r,x):对每个 i ∈ [ l , r ] i \in [l,r] i∈…...
WebSocket在分布式环境中的局限性及解决方案
WebSocket 在分布式环境中存在一些局限性,特别是当系统需要扩展多个服务实例时,单个 WebSocket 连接的管理和消息推送就变得比较复杂。因此,必须采取一些额外的措施来确保 WebSocket 能在多个服务实例之间正确工作。 WebSocket 在分布式环境…...
Flutter 跳转后不允许返回
如果在 Flutter 中使用 Navigator.pushNamed(context, /),默认情况下它会将新的页面压入栈中,这样用户可以按返回键返回上一页。但如果你不想让用户返回,而是直接跳转到 / 并清除导航栈,可以使用 pushReplacementNamed 或 pushNam…...
spconv 安装测试
pip install spconv 报错: File "/usr/local/lib/python3.10/dist-packages/torch/nn/modules/module.py", line 1736, in _wrapped_call_impl return self._call_impl(*args, **kwargs) File "/usr/local/lib/python3.10/dist-packages/torch/nn/modules/mod…...
关于es6-module的语法
ES6(ECMAScript 2015)引入了模块化的概念,旨在使 JavaScript 更加模块化、可维护和可重用。ES6 模块允许我们在不同的文件中组织和管理代码,使得不同模块之间的依赖关系更加清晰。 1. 导出(Export) 1.1 命…...
python旅游推荐系统+爬虫+可视化(协同过滤算法)
✅️基于用户的协同过滤算法 ✅️有后台管理 ✅️2w多数据集 这个旅游数据分析推荐系统采用了Python语言、Django框架、MySQL数据库、requests库进行网络爬虫开发、机器学习中的协同过滤算法、ECharts数据可视化技术,以实现从网站抓取旅游数据、个性化推荐和直观展…...
【弹性计算】IaaS 和 PaaS 类计算产品
《弹性计算产品》系列,共包含以下文章: 云服务器:实例、存储、网络、镜像、快照容器、裸金属云上运维IaaS 和 PaaS 类计算产品 😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀…...
视频转序列帧
视频转序列帧 介绍操作总结 介绍 这篇文章不是单独讲视频转序列帧所有的方法,这里是针对我后面要做序列帧动画优化的一个工具篇幅。这里我用的premiere Pro 2020下面会讲方法简称pr。 操作 打开pr点击新建项目 输入名称点击确认 将需要转换的视频导入到媒体浏览…...
大模型应用怎么学习,在哪里实现开发:Dify、AnyThingLLM、LangFlow
大模型应用怎么学习,在哪里实现开发 目录 大模型应用怎么学习,在哪里实现开发Dify、AnyThingLLM、LangFlow的官网地址及使用方法DifyAnyThingLLMLangFlowDify、AnyThingLLM、LangFlow是什么怎么使用DifyAnyThingLLMLangFlowDify、AnyThingLLM、LangFlow名字的含义Dify、AnyTh…...
LLM有哪些可控超参数
LLM有哪些可控超参数 目录 LLM有哪些可控超参数生成控制类采样相关类推理优化类惩罚类其他类计算资源与批量处理类上下文与Token相关类内存相关类生成控制类 以流式返回对话响应:指模型在生成回复时,是否以逐字或逐句的流式方式返回给用户,而不是等全部生成完再返回,能提升…...
C++共享指针实战
需求: 有三个类,分别是A,B, R。在B类里new 了一个R的智能指针, 这个R的生命周期和B相同。同时A类也存了一个B中存放关于R的智能指针。B销毁同时A指向R的指针也失效,并调用R的析构函数,如何实现 #include <iostream…...
算法分析—— 《归并排序》
《排序数组》 题目描述: 给你一个整数数组 nums,请你将该数组升序排列。 你必须在 不使用任何内置函数 的情况下解决问题,时间复杂度为 O(nlog(n)),并且空间复杂度尽可能小。 示例 1: 输入:nums [5,2…...
SpringBoot启动时报错:cannot use an unresolved DNS server address: I:53
报错如下: 2025-02-17 13:59:41.374 [main] ERROR org.springframework.boot.SpringApplication:835 - Application run failed org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name mySwaggerResourceProvider def…...
AI进展不止于基准:深度解析Grok 3的局限
基准测试长期以来一直是AI评估的基石,但任何认真的AI科学家都知道它们是可以被“游戏化”的。 我曾经详细写过这个问题,甚至LMsys也不得不调整其盲测格式——将Grok 3用不同的标签代替,而不仅仅是隐藏品牌——以减少品牌偏见。 高能力AI,尤其是像GPT-4级别的模型,或那些依…...
物联网技术赋能预测性维护的深度剖析与前景展望
一、引言 1.1 研究背景与意义 随着信息技术的飞速发展,物联网技术已逐渐渗透到各个行业领域,成为推动产业变革和创新的重要力量。物联网通过将各种设备、物品与互联网连接,实现数据的采集、传输和交互,为各行业带来了前所未有的智能化和自动化水平提升。在工业领域,设备…...
Python变量作用域250218
函数调用时,会创建自己的独有的作用域作用域是以函数为作用域的而且使用条件语句,可能让定义一些变量的代码运行,从而创建其内部变量,如果定义条件不成立,这些变量就不会被创建并被使用变量只要在函数中出现࿰…...
SQL Server 运算符优先级
在 SQL Server 中,运算符的优先级决定了在没有使用括号明确指定计算顺序时,运算符的执行顺序。 运算符优先级列表 括号 () 一元运算符 (正号)-(负号)~(按位取反) 乘法、除法和取模…...
Miniconda + VSCode 的Python环境搭建
目录: 安装 VScode 安装 miniconda 在VScode 使用conda虚拟环境 运行Python程序 1.安装 vscode 编辑器 官网链接:Visual Studio Code - Code Editing. Redefined 下载得到:,双击安装。 安装成功…...
AI提示词进阶:RTGO与CO-STAR框架实战指南
掌握提示词设计是解锁AI生产力的关键。本文将深入解析两大顶尖框架RTGO与CO-STAR,通过程序员视角拆解技术原理,配合真实案例演示如何根据场景精准选型。 一、框架定位与技术特性对比 维度RTGO框架CO-STAR框架架构四层递进式结构六维网状结构响应速度0.8…...
【python】4_异常
目录 一、异常处理 1、异常捕获 基本捕获语法: 捕获指定异常: 捕获多个异常: 捕获所有异常: 异常else & finally: 2、异常的传递性 二、模块 模块的导入方式 1、语法 2、as 定义别名 一、异常处理 1、异常…...
Python Spider
Python Spider,即Python爬虫,是一种使用Python编程语言编写的自动化程序,用于从互联网上抓取数据。这些程序通常模拟人类用户的网络行为,如访问网页、提交表单、点击链接等,以收集所需的信息。Python爬虫广泛应用于数据…...
防御保护选路练习
拓扑 配置 IP的基本配置 r2 [R2]int g0/0/0 [R2-GigabitEthernet0/0/0]ip add 12.0.0.2 255.255.255.0 [R2]int g0/0/2 [R2-GigabitEthernet0/0/2]ip add 210.1.1.254 255.255.255.0 [R2-GigabitEthernet0/0/2]int g0/0/1 [R2-GigabitEthernet0/0/1]ip add 200.1.1.254 255.…...
AI性能极致体验:通过阿里云平台高效调用满血版DeepSeek-R1模型
前言 解决方案链接: https://www.aliyun.com/solution/tech-solution/deepseek-r1-for-platforms?utm_contentg_1000401616 DeepSeek是近期爆火的开源大语言模型(LLM),凭借其强大的模型训练和推理能力,受到越来越多…...
Windows本地部署DeepSeek
文章目录 一、准备工作1、准备服务器2、准备APP 二、部署deepseek-r11、脚本部署2、脚本部署 三、ChatBox集成 一、准备工作 1、准备服务器 本案例使用Windows电脑 2、准备APP Download Ollama Download Chatbox 二、部署deepseek-r1 1、脚本部署 双击安装完Ollama,默认…...
力扣高频sql 50题(基础版) :NULL, 表连接,子查询,case when和avg的结合
NULL的处理 nvl(字段,num) 和数字进行比较需要先使用nvl(字段,num)函数处理空值 思路: 没有被id 2 的客户推荐>> 过滤条件 referee_id !2 没有被id 2 的客户推荐>>被其他客户推荐, 但是也有可能没有被任何客户推荐>>NULL 考点: NULL是 不一个具体的数…...
通俗理解-L、-rpath和-rpath-link编译链接动态库
一、参考资料 链接选项 rpath 的应用和原理 | BewareMyPower的博客 使用 rpath 和 rpath-link 确保 samba-util 库正确链接-CSDN博客 编译参数-Wl和rpath的理解_-wl,-rpath-CSDN博客 Using LD, the GNU linker - Options Directory Options (Using the GNU Compiler Colle…...
【Python】02-Python简介
文章目录 1、计算机语言简介2、编译型语言和解释性语言3、Python简介3.1 简介3.2 用途 4、开发环境搭建5、交互界面6、Sublime和Python整合 1、计算机语言简介 计算机语言 定义:人类与计算机之间进行信息交流的工具,它通过特定的符号、语法规则和语义结构…...
