C语言基础项目：实现一个轻量级时间序列数据预处理模块

C语言基础项目实现一个轻量级时间序列数据预处理模块最近在折腾一些嵌入式设备上的AI推理项目发现一个挺有意思的问题那些高大上的模型比如处理时间序列的模型往往需要先把原始数据“收拾”一下才能喂进去。Python生态里这类库多如牛毛但一放到资源紧张的MCU或者对延迟极其敏感的边缘设备上就有点水土不服了。Python解释器本身的开销、内存的动态分配在那些地方都成了负担。于是我就想能不能回归最朴素的C语言自己造一个轻巧的轮子目标很明确一个纯粹的、不依赖任何第三方库的C模块专门干时间序列数据预处理的活儿。它要能从文件里读取数据能做滑动窗口能平滑一下噪声还能把数据规整到同一个尺度上。最关键的是它得足够快、足够省内存能轻松编译成静态库塞进任何C/C项目里作为模型推理流水线最前端、最坚实的一环。今天我就带你从零开始手把手实现这个模块。不用担心我们一步步来从最基础的文件操作和内存管理讲起。只要你写过一些C代码理解指针和结构体跟上这个教程绝对没问题。完成后你会得到一个可以直接用在你自己项目里的、高性能的预处理工具。1. 我们要做什么项目目标与设计在写第一行代码之前我们得先想清楚这个模块到底要解决什么问题以及它长什么样。核心目标做一个专为时间序列数据设计的、高性能、低开销的C语言预处理库。它不追求功能大而全而是聚焦在模型推理前最常用的几个操作上。具体功能清单数据读取从CSV格式的文件里把时间序列数据比如传感器读数读进内存。我们假设数据就是一列数值没有复杂的时间戳或者时间戳我们暂时忽略。滑动窗口这是时间序列分析的基石。比如我们要用过去10个数据点预测下一个点就需要从一长串数据里依次截取出一个个长度为10的“窗口”。数据平滑原始数据常有毛刺噪声。我们用最简单的移动平均方法让曲线看起来更平缓一些有时能提升模型的稳定性。数据归一化也叫Min-Max Scaling。把数据线性变换到[0, 1]或者[-1, 1]的区间里。这对很多模型尤其是神经网络至关重要能加速训练并提升效果。设计思路纯C零依赖只用C标准库stdio.h, stdlib.h, math.h等确保极致的可移植性。面向接口的简单设计我们会定义几个清晰的结构体TimeSeries,SlidingWindow等和函数接口。使用者只需要调用类似ts_load_from_csv,sw_create_window这样的函数。手动内存管理这是C语言的精髓也是性能的关键。我们会仔细分配每一块内存并在用完后妥善释放杜绝内存泄漏。输出为静态库最后我们会把所有的.c文件编译成一个.a(Linux) 或.lib(Windows) 文件。你的主程序只需要链接这个库和头文件就能使用所有功能。听起来是不是有点跃跃欲试了我们这就开始搭建环境。2. 从零开始搭建你的项目环境这个项目对环境要求极低几乎任何能写C语言的地方都可以。你需要准备的东西一个文本编辑器或IDEVSCode、CLion、Vim甚至记事本都行。我个人喜欢VSCode装个C/C插件就很方便。一个C语言编译器最推荐GCC(GNU Compiler Collection)。Linux和Mac通常自带Windows可以用MinGW-w64或MSYS2来安装。在终端里输入gcc --version看看有没有输出有就说明准备好了。一个终端命令行窗口用来运行编译命令。创建项目文件夹 在你的工作目录下新建一个文件夹比如叫c_timeseries_preprocess。然后在这个文件夹里创建下面这些子文件夹和文件这是我们的项目结构蓝图c_timeseries_preprocess/ ├── include/ # 存放头文件 (.h) │ └── timeseries.h # 模块的主头文件声明所有公开的接口 ├── src/ # 存放源代码文件 (.c) │ ├── timeseries.c # 核心数据结构与基础函数实现 │ ├── sliding_window.c # 滑动窗口相关函数实现 │ └── preprocessing.c # 平滑、归一化等预处理函数实现 ├── test/ # 存放测试代码和测试数据 │ ├── main.c # 我们的测试主程序 │ └── sample_data.csv # 示例数据文件 └── Makefile # (可选) 编译脚本方便我们一键编译现在打开你的编辑器我们先来定义模块的“使用说明书”——头文件。3. 定义模块的接口编写头文件头文件.h就像是这个模块的菜单和说明书。它告诉使用者我们提供了哪些“菜品”数据结构和“服务”函数但不会透露具体的“烹饪方法”实现。在include/timeseries.h文件中我们写下如下内容#ifndef TIMESERIES_H #define TIMESERIES_H #include stddef.h // 为了使用 size_t 类型 /* 核心数据结构时间序列 */ typedef struct { double* data; // 指向存储数据数组的指针 size_t length; // 时间序列的长度数据点个数 double min_val; // 数据中的最小值用于归一化等 double max_val; // 数据中的最大值 } TimeSeries; /* 核心数据结构滑动窗口 */ typedef struct { double* window; // 指向当前窗口数据的指针通常是原始数据的一部分视图或拷贝 size_t size; // 窗口的大小 size_t start_idx; // 窗口在原始时间序列中的起始索引 } SlidingWindow; /* 基础功能创建与销毁 */ TimeSeries* ts_create(size_t length); void ts_free(TimeSeries* ts); /* 数据IO从CSV文件加载 */ TimeSeries* ts_load_from_csv(const char* filename, int column_index); /* 滑动窗口操作 */ SlidingWindow* sw_create(const TimeSeries* ts, size_t window_size, size_t start); void sw_free(SlidingWindow* sw); int sw_move_next(SlidingWindow* sw, const TimeSeries* ts); // 移动到下一个窗口 /* 预处理算法 */ void ts_simple_moving_average(TimeSeries* ts, size_t window_size); void ts_minmax_normalize(TimeSeries* ts, double new_min, double new_max); #endif // TIMESERIES_H我来解释几个关键点#ifndef ... #define ... #endif这是头文件保护防止同一个头文件被多次包含导致编译错误。这是个好习惯一定要有。TimeSeries结构体它封装了一段连续的数据double* data并记录了长度和极值。极值会在归一化时用到我们先存起来。SlidingWindow结构体它表示原始数据上的一个“视图”。window指针可以直接指向原始数据的某一段避免拷贝我们这里为了简单和安全后续实现会选择拷贝数据到新数组。函数声明注意看函数名我们用了ts_和sw_作为前缀这是为了避免命名冲突。函数参数和返回类型也定义得很清晰。头文件写好了接下来就是最核心的部分——实现这些函数。4. 实现核心功能一步步填充源代码我们将分三个源文件来实现功能让代码结构更清晰。4.1 基础骨架与数据加载 (src/timeseries.c)这个文件实现时间序列的创建、销毁和从CSV加载数据。#include timeseries.h #include stdio.h #include stdlib.h #include string.h /* 创建一个指定长度的、空的时间序列对象 */ TimeSeries* ts_create(size_t length) { if (length 0) { return NULL; } TimeSeries* ts (TimeSeries*)malloc(sizeof(TimeSeries)); if (!ts) { perror(Failed to allocate memory for TimeSeries); return NULL; } ts-data (double*)malloc(length * sizeof(double)); if (!ts-data) { perror(Failed to allocate memory for data); free(ts); return NULL; } ts-length length; ts-min_val 0.0; ts-max_val 0.0; // 注意这里没有初始化data数组的内容通常是加载数据后填充 return ts; } /* 释放时间序列对象占用的所有内存 */ void ts_free(TimeSeries* ts) { if (ts) { free(ts-data); // 先释放内部的数据数组 free(ts); // 再释放结构体本身 } } /* 从CSV文件加载一列数据到时间序列。 filename: 文件路径 column_index: 要读取的列索引从0开始 */ TimeSeries* ts_load_from_csv(const char* filename, int column_index) { FILE* file fopen(filename, r); if (!file) { perror(Failed to open file); return NULL; } // 第一遍统计有多少行数据简单起见假设每行一个数据点在我们需要的列上 size_t line_count 0; char buffer[1024]; while (fgets(buffer, sizeof(buffer), file)) { line_count; } rewind(file); // 重置文件指针到开头准备第二遍读取 // 创建时间序列对象 TimeSeries* ts ts_create(line_count); if (!ts) { fclose(file); return NULL; } // 第二遍解析并加载数据 size_t idx 0; double current_min 1e30; // 初始化为一个大数 double current_max -1e30; // 初始化为一个小数 while (fgets(buffer, sizeof(buffer), file) idx line_count) { char* token; int current_col 0; double value 0.0; int found 0; // 使用strtok按逗号分割每一行 token strtok(buffer, ,\n); while (token ! NULL) { if (current_col column_index) { if (sscanf(token, %lf, value) 1) { // 成功解析一个double ts-data[idx] value; // 同时更新最小最大值 if (value current_min) current_min value; if (value current_max) current_max value; found 1; } break; } token strtok(NULL, ,\n); current_col; } if (found) { idx; } // 如果没找到指定列可以跳过或处理错误这里简单跳过 } fclose(file); // 实际加载的数据点可能少于行数例如有空行或解析失败 ts-length idx; // 更新为实际加载的长度 ts-min_val current_min; ts-max_val current_max; // 如果实际没读到数据清理并返回NULL if (idx 0) { ts_free(ts); return NULL; } return ts; }代码解读ts_create典型的C语言内存分配模式。先为结构体分配内存再为内部的数组分配内存。一定要检查malloc是否成功。ts_free释放内存的顺序与分配相反先释放内部指针指向的内存再释放结构体本身。ts_load_from_csv这是一个稍复杂的函数。我们读了两遍文件第一遍数行数以确定数组大小第二遍解析数据。strtok函数用于分割字符串sscanf用于将字符串转换为浮点数。同时我们在加载过程中就计算了最小值和最大值避免了后续再遍历一次。4.2 实现滑动窗口 (src/sliding_window.c)滑动窗口是时间序列处理的核心概念。我们的实现选择将窗口数据拷贝一份这样更安全窗口的生命周期独立于原始数据。#include timeseries.h #include stdlib.h #include string.h /* 在给定的时间序列上从指定起始位置创建一个滑动窗口 */ SlidingWindow* sw_create(const TimeSeries* ts, size_t window_size, size_t start) { // 参数检查 if (!ts || window_size 0 || start window_size ts-length) { return NULL; } SlidingWindow* sw (SlidingWindow*)malloc(sizeof(SlidingWindow)); if (!sw) { return NULL; } sw-window (double*)malloc(window_size * sizeof(double)); if (!sw-window) { free(sw); return NULL; } // 将原始数据中对应段拷贝到窗口内 memcpy(sw-window, (ts-data[start]), window_size * sizeof(double)); sw-size window_size; sw-start_idx start; return sw; } /* 释放滑动窗口 */ void sw_free(SlidingWindow* sw) { if (sw) { free(sw-window); free(sw); } } /* 将窗口向前移动一步起始索引1并更新窗口内的数据。 成功返回1如果已经到达序列末尾无法移动则返回0 */ int sw_move_next(SlidingWindow* sw, const TimeSeries* ts) { if (!sw || !ts) { return 0; } size_t next_start sw-start_idx 1; // 检查移动后窗口是否超出序列范围 if (next_start sw-size ts-length) { return 0; // 无法移动 } // 一种高效的更新方式丢弃窗口最旧的数据从原始序列中拷贝一个新的数据进来 // 这里我们简单地进行一次新的memcpy。对于大窗口有更优的更新算法如环形缓冲区。 memcpy(sw-window, (ts-data[next_start]), sw-size * sizeof(double)); sw-start_idx next_start; return 1; }代码解读sw_create创建窗口时我们使用memcpy将原始数据的一段完整地拷贝到新申请的内存中。这样即使原始数据被释放或修改窗口数据依然有效。sw_move_next这是滑动窗口的“滑动”动作。每次调用窗口的起始位置加1并重新从原始数据中拷贝新的窗口数据。对于非常大的窗口频繁的memcpy可能成为性能瓶颈这时可以考虑用环形缓冲区来优化每次只更新一个数据点。但为了代码清晰我们先采用这种简单实现。4.3 实现预处理算法 (src/preprocessing.c)最后我们来实现移动平均和归一化这两个预处理函数。#include timeseries.h #include stdlib.h #include string.h /* 对时间序列进行简单移动平均平滑。 注意此操作会修改原始数据且序列开头 (window_size-1) 个点会被无效数据填充。 一种改进是返回一个新的平滑后的序列。这里为了简单我们做原地修改。*/ void ts_simple_moving_average(TimeSeries* ts, size_t window_size) { if (!ts || window_size ts-length || window_size 2) { return; // 参数无效或窗口太大/太小 } // 为平滑结果分配临时空间 double* smoothed (double*)malloc(ts-length * sizeof(double)); if (!smoothed) { return; } // 前 (window_size-1) 个点无法计算完整的移动平均我们先置为原值或0 for (size_t i 0; i window_size - 1; i) { smoothed[i] ts-data[i]; // 也可以选择置为0或不做处理 } // 计算移动平均 for (size_t i window_size - 1; i ts-length; i) { double sum 0.0; for (size_t j 0; j window_size; j) { sum ts-data[i - j]; // 对窗口内的点求和 } smoothed[i] sum / window_size; } // 将结果拷贝回原数组 memcpy(ts-data, smoothed, ts-length * sizeof(double)); free(smoothed); // 释放临时数组 // 注意平滑后数据的min_val和max_val可能已经改变这里我们没有更新。 // 严谨的做法是重新计算或者在使用min/max前重新计算。 } /* 将时间序列数据线性归一化到 [new_min, new_max] 区间 */ void ts_minmax_normalize(TimeSeries* ts, double new_min, double new_max) { if (!ts || ts-length 0) { return; } // 确保我们有有效的极值。如果ts-min_val ts-max_val需要特殊处理避免除零。 if (ts-min_val ts-max_val) { // 所有值相同可以统一设为新区间的中点或直接返回 double mid_val (new_min new_max) / 2.0; for (size_t i 0; i ts-length; i) { ts-data[i] mid_val; } ts-min_val ts-max_val mid_val; return; } double old_range ts-max_val - ts-min_val; double new_range new_max - new_min; for (size_t i 0; i ts-length; i) { // 归一化公式: new_value new_min (old_value - old_min) / old_range * new_range ts-data[i] new_min ((ts-data[i] - ts-min_val) / old_range) * new_range; } // 更新结构体中的极值记录 ts-min_val new_min; ts-max_val new_max; }代码解读ts_simple_moving_average我们创建了一个临时数组来存储平滑后的结果避免在计算过程中覆盖原始数据影响后续计算。注意序列开头的几个点无法进行完整的窗口平均这里我们简单地将它们保持原样。这个函数会直接修改传入的TimeSeries的data数组。ts_minmax_normalize这是标准的Min-Max归一化实现。我们使用了结构体中预先计算好的min_val和max_val。代码中特别处理了所有数据都相同的情况旧范围为零避免除以零的错误。归一化后我们更新了结构体中的极值记录因为它们已经变成了新的区间边界。核心功能都实现了现在我们需要写个程序来测试一下我们的劳动成果。5. 测试我们的模块编写示例程序在test/目录下我们先创建一个简单的CSV测试文件sample_data.csvtimestamp,value 1,10.5 2,12.1 3,11.3 4,13.7 5,12.9 6,14.0 7,13.2 8,15.5 9,14.8 10,16.1然后创建我们的测试主程序test/main.c#include stdio.h #include stdlib.h #include ../include/timeseries.h // 包含我们的头文件 int main() { printf( C语言时间序列预处理模块测试 \n\n); // 1. 从CSV文件加载数据 printf(1. 从CSV加载数据...\n); TimeSeries* ts ts_load_from_csv(sample_data.csv, 1); // 读取第2列索引1的value if (!ts) { printf(加载数据失败\n); return 1; } printf( 成功加载 %zu 个数据点。\n, ts-length); printf( 最小值: %.2f, 最大值: %.2f\n\n, ts-min_val, ts-max_val); // 2. 打印原始数据 printf(2. 原始数据:\n); for (size_t i 0; i ts-length; i) { printf( [%zu]: %.2f\n, i, ts-data[i]); } printf(\n); // 3. 测试滑动窗口 (窗口大小3) printf(3. 滑动窗口测试 (窗口大小3):\n); size_t window_size 3; SlidingWindow* sw sw_create(ts, window_size, 0); // 从索引0开始 if (sw) { int window_count 0; do { printf( 窗口[%zu-%zu]: , sw-start_idx, sw-start_idx sw-size - 1); for (size_t i 0; i sw-size; i) { printf(%.2f , sw-window[i]); } printf(\n); window_count; } while (sw_move_next(sw, ts)); // 移动到下一个窗口直到不能移动为止 printf( 共生成 %d 个窗口。\n\n, window_count); sw_free(sw); // 别忘了释放窗口 } // 4. 测试移动平均平滑 (窗口大小3) printf(4. 应用简单移动平均平滑 (窗口大小3)...\n); // 为了不影响后续归一化测试我们创建一个副本 TimeSeries* ts_for_smooth ts_create(ts-length); if (ts_for_smooth) { memcpy(ts_for_smooth-data, ts-data, ts-length * sizeof(double)); ts_for_smooth-min_val ts-min_val; ts_for_smooth-max_val ts-max_val; ts_simple_moving_average(ts_for_smooth, window_size); printf( 平滑后数据 (前%d个点未完全平滑):\n, (int)window_size - 1); for (size_t i 0; i ts_for_smooth-length; i) { printf( [%zu]: %.2f\n, i, ts_for_smooth-data[i]); } ts_free(ts_for_smooth); } printf(\n); // 5. 测试Min-Max归一化 (归一化到[0, 1]) printf(5. 应用Min-Max归一化 (目标区间[0, 1])...\n); ts_minmax_normalize(ts, 0.0, 1.0); printf( 归一化后数据:\n); for (size_t i 0; i ts-length; i) { printf( [%zu]: %.4f\n, i, ts-data[i]); } printf( 新的最小值: %.2f, 新的最大值: %.2f\n\n, ts-min_val, ts-max_val); // 6. 清理内存 ts_free(ts); printf(测试完成内存已释放。\n); return 0; }这个测试程序完整地演示了模块的所有功能加载数据、打印、创建滑动窗口、平滑、归一化。注意我们如何小心翼翼地管理内存创建副本、及时释放。6. 编译、运行与打包万事俱备只欠编译。我们打开终端进入项目根目录c_timeseries_preprocess。第一步编译源代码为目标文件(.o)gcc -c -I./include src/timeseries.c -o timeseries.o gcc -c -I./include src/sliding_window.c -o sliding_window.o gcc -c -I./include src/preprocessing.c -o preprocessing.o-I./include告诉编译器在哪里寻找头文件。-c表示只编译不链接生成.o文件。第二步将目标文件打包成静态库在Linux/macOS下ar rcs libtimeseries.a timeseries.o sliding_window.o preprocessing.o在Windows下使用MinGWar rcs libtimeseries.lib timeseries.o sliding_window.o preprocessing.oar是归档工具rcs是参数replace, create, symbol table。这样就生成了一个静态库文件。第三步编译测试程序并链接我们的库gcc -I./include test/main.c -L. -ltimeseries -o test_program -lm-I./include: 指定头文件路径。-L.: 告诉链接器在当前目录(.)下寻找库文件。-ltimeseries: 链接名为libtimeseries.a的库链接器会自动加上lib前缀和.a后缀。-o test_program: 指定输出的可执行文件名。-lm: 链接数学库因为我们的代码里用了math.h虽然这个简单例子没用到但加上是好习惯。第四步运行测试程序./test_program如果一切顺利你将在终端看到加载的数据、滑动窗口的结果、平滑后的数据以及归一化后的数据。使用Makefile自动化可选每次都敲这么多命令太麻烦。在项目根目录创建一个Makefile文件CC gcc CFLAGS -I./include -Wall -O2 LIB_NAME libtimeseries.a SRC src/timeseries.c src/sliding_window.c src/preprocessing.c OBJ $(SRC:.c.o) TEST_SRC test/main.c TEST_EXEC test_program all: $(LIB_NAME) $(TEST_EXEC) $(LIB_NAME): $(OBJ) ar rcs $ $^ %.o: %.c $(CC) $(CFLAGS) -c $ -o $ $(TEST_EXEC): $(TEST_SRC) $(LIB_NAME) $(CC) $(CFLAGS) $ -L. -ltimeseries -o $ -lm clean: rm -f $(OBJ) $(LIB_NAME) $(TEST_EXEC) .PHONY: all clean现在你只需要在终端输入make就能自动完成所有编译和链接。输入make clean可以清理生成的文件。7. 回顾与展望整个项目做下来感觉又回到了C语言那种“一切尽在掌控”的编程乐趣中。我们从一个具体的需求出发设计数据结构实现核心算法最后打包成库并测试。这个轻量级的模块虽然功能基础但架构清晰没有多余的依赖性能开销极小非常适合嵌入到那些对资源锱铢必较的环境里。你可以直接把这个libtimeseries.a静态库和timeseries.h头文件拷贝到你的其他C/C项目中通过简单的包含和链接就能获得时间序列预处理的能力。它完全可以作为更复杂的数据分析管道或机器学习模型推理流水线的前置环节。当然这个模块还有很多可以完善和扩展的地方。比如滑动窗口的移动可以优化成更高效的算法可以增加更多预处理方法比如标准化Z-score、差分处理CSV解析器可以做得更健壮处理引号、空值等还可以增加将处理后的数据保存回文件的功能。这些都可以作为你后续练习和扩展的方向。希望这个项目能帮你巩固C语言基础并理解如何将一个实际需求模块化、工程化。编程最有意思的部分不就是亲手把想法变成一行行代码然后看着它跑起来吗获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。