当前位置: 首页 > news >正文

关于pandas dataframe数据转换为JSON格式存储在Redis后,读取数据时发生数据篡改的问题以及解决办法

问题:当时处理股票数据,获取到以dataframe数据结构的股票,由于Redis 是一个内存中的数据结构存储系统,但是不接受dataframe数据结构的数据,选择将其先转化为JSON格式,但发现再将JSON格式转化为原数据时,数据发生篡改。
如 002855是股票'捷荣技术'的股票代码,会被篡改为2855,001301是'尚太科技'的股票代码,会被篡改为1301,造成这样的原因是JSON数据转换时将原字符串类型的数据自动转为了数字
解决方法:我使用了pickle模块,将dataframe对象转换为字节流进行存储,下面是示例代码:

# get_stock_historical_data 函数用于从Redis中获取股票的历史数据(近六个月到最近一个交易日),如果没有缓存数据则从数据源获取,并存储到Redis中的哈希表中。
def get_stock_six_months_historical_data(stock_code):cached_stock_six_months_historical_df_bytes = r.hget('stock_six_months_historical_df_bytes', stock_code)if cached_stock_six_months_historical_df_bytes:stock_six_months_historical_df = pickle.loads(cached_stock_six_months_historical_df_bytes)else:stock_six_months_historical_df = ak.stock_zh_a_hist(symbol=stock_code, period="daily",start_date=six_months_ago.strftime("%Y%m%d"),end_date=latest_trade_date.strftime("%Y%m%d"),adjust="")stock_six_months_historical_df_bytes = pickle.dumps(stock_six_months_historical_df)r.hset('stock_six_months_historical_df_bytes', stock_code, stock_six_months_historical_df_bytes)r.expire('stock_six_months_historical_df_bytes', 60 * 60 * 2)return stock_six_months_historical_df

相关文章:

关于pandas dataframe数据转换为JSON格式存储在Redis后,读取数据时发生数据篡改的问题以及解决办法

问题:当时处理股票数据,获取到以dataframe数据结构的股票,由于Redis 是一个内存中的数据结构存储系统,但是不接受dataframe数据结构的数据,选择将其先转化为JSON格式,但发现再将JSON格式转化为原数据时&…...

Go 语言编译环境

1. 请简要介绍一下Go语言的特点。 Go语言是一种静态类型、编译型语言,由Google开发。它的主要特点包括: 简洁高效:Go语言的语法非常简洁,易于学习和使用。同时,Go语言的执行效率高,适合开发高性能的后端服…...

Leetcode刷题详解——衣橱整理

1. 题目链接:LCR 130. 衣橱整理 2. 题目描述: 家居整理师将待整理衣橱划分为 m x n 的二维矩阵 grid,其中 grid[i][j] 代表一个需要整理的格子。整理师自 grid[0][0] 开始 逐行逐列 地整理每个格子。 整理规则为:在整理过程中&am…...

短视频ai剪辑分发账号矩阵系统(招商oem)----源头技术开发

短视频ai剪辑分发账号矩阵系统 1. 视频剪辑工具——原创短视频一键生成,视频剪辑亮点分析 (1)多模式智能剪辑 包含智能混剪逻辑、智能组合、场景顺序、图片生成视频等多种模式。在视频创作上也做了简化,即使是没有剪辑能力的创…...

Ubuntu18.04安装Loam保姆级教程

系统环境:Ubuntu18.04.6 LTS 1.Loam的安装前要求: 1.1 ROS安装:参考我的另一篇博客 Ubuntu18.04安装ROS-melodic保姆级教程_灬杨三岁灬的博客-CSDN博客还是那句话,有时候加了这行也不好使,我是疯狂试了20次&#xf…...

Rust 语言中的结构体

目录 1、结构体 2、结构体的定义和实例化 2.1 使用字段初始化简写语法 2.2 使用结构体更新语法从其他实例创建实例 2.3 没有命名字段的元组结构体 2.4 没有任何字段的类单元结构体 2.5 结构体示例程序 3、方法 3.1 关联函数 3.2 多个 impl 块 1、结构体 struct&…...

Unity开发之C#基础-异常处理(Try Catch)

前言 其实本来这章应该将栈和队列的 但是后来想想 栈和队列在实际应用很少跟多的是大家了解一下栈和队列的基本常识比如先进先出的是谁后进先出的是谁这种 csdn有很多介绍栈和队列的文章 我觉得都比我理解深刻所以大家可以去搜索参照一下 今天我们继续往下讲解 如何自己主动的…...

Epoxy:跨不同数据存储的 ACID 事务

Epoxy 利用 Postgres 事务数据库作为主数据库/协调数据库,并扩展多版本并发控制 (MVCC) 以实现跨数据存储隔离。它通过乐观并发控制 (OCC) 和两阶段提交 (2PC) 协议提供隔离性以及原子性和持久性。 环氧树脂被用作五种不同数据存储的接口层:Postgres, M…...

鸿蒙:从0到“Hello Harmony”

效果展示 一.概述 明年华为鸿蒙就不再兼容Android生态了,作为拥有7亿终端用户的华为,建立自己的生态也是理所当然。 所以对HarmonyOS的研究也是众多开发者绕不开的坎了。 今天这篇博文主要实现一个“Hello Harmony!”的Demo。 二.官方链接…...

istio安装文档

1、重装命令 istioctl manifest generate --set profiledemo | kubectl delete --ignore-not-foundtrue -f - 2、下载 参考:02、istio部署到k8s中 - 简书 (jianshu.com) 参考 Istio / 入门 curl -L https://istio.io/downloadIstio | ISTIO_VERSION1.20.0 TAR…...

修改CentOS默认mail发件人名称

修改CentOS默认mail发件人名称 在CentOS中,可以通过修改邮件发送配置文件来修改默认的邮件发件人名称。以下是一些步骤,您可以根据您的实际情况进行修改: 打开终端或SSH连接到CentOS服务器。使用文本编辑器(如vi或nano&#xff0…...

Trigger替换Demo

maven工程 pom依赖 <dependency><groupId>org.quartz-scheduler</groupId><artifactId>quartz</artifactId><version>2.2.1</version> </dependency> import org.quartz.Job; import org.quartz.JobExecutionContext; imp…...

iApp祁天社区UI成品源码 功能齐全的社区应用

iApp祁天社区UI成品源码是一个非常实用的资源&#xff0c;提供了完整的源代码&#xff0c;可以帮助您快速搭建一个功能齐全的社区应用。 这个源码具有丰富的UI设计&#xff0c;经过精心调整和优化&#xff0c;确保用户体验流畅而舒适。它不仅具备基本的社区功能&#xff0c;如…...

python基于BAC0库进行bacnet IP的读写

python基于BAC0库进行bacnet IP的读写 实现内容&#xff1a;基于BAC0库实现对一台虚拟bacnet设备的扫描、点位读取和点位数据写入。 开发环境 python3.9 pip下载BAC0库 功能实现 # 扫描设备myIPAddr 192.168.90.81/24bacnet BAC0.lite(ipmyIPAddr)devices bacnet.whois(…...

CSDN每日一题学习训练——Python版(简化路径,不同的二叉搜索树)

版本说明 当前版本号[20231116]。 版本修改说明20231116初版 目录 文章目录 版本说明目录简化路径题目解题思路代码思路参考代码 不同的二叉搜索树题目解题思路代码思路参考代码 简化路径 题目 给你一个字符串 path &#xff0c;表示指向某一文件或目录的 Unix 风格 绝对路…...

milvus集合管理

一、创建集合 集合由一个或多个分区组成。在创建新集合时&#xff0c;Milvus会创建一个默认分区_default 1.准备模式 需要创建的集合必须包含一个主键字段和一个向量字段。INT64和String是主键字段支持的数据类型。 首先&#xff0c;准备必要的参数&#xff0c;包括字段模式、…...

基于SSM的教学管理系统设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…...

【第2章 Node.js基础】2.7 Node.js 的流(一)可写流

&#x1f308;可写流 &#x1f680;什么是可写流 可写流是对数据被写入的目的地的一种抽象。 所有可写流都实现了 stream.Writable类定义的接口。 可写流的例子包括&#xff0c;也都是实现了可写流接口的双工流 客户端的 HTTP 请求、服务器的HTTP 响应、fs 的写入流、zlib…...

【kerberos】使用 curl 访问受 Kerberos HTTP SPNEGO 保护的 URL

前言&#xff1a; 大数据集群集成 Kerberos 后&#xff0c;很多 WEBUI 打开都会提示输入用户名和密码。由于我想获取 flink 任务的详情&#xff0c;且KNOX 并不支持Flink api&#xff0c;查看KNOX 直接的列表&#xff1a;https://docs.cloudera.com/cdp-private-cloud-base/7.…...

基于SSM的智慧养老平台设计与实现

末尾获取源码 开发语言&#xff1a;Java Java开发工具&#xff1a;JDK1.8 后端框架&#xff1a;SSM 前端&#xff1a;采用JSP技术开发 数据库&#xff1a;MySQL5.7和Navicat管理工具结合 服务器&#xff1a;Tomcat8.5 开发软件&#xff1a;IDEA / Eclipse 是否Maven项目&#x…...

3分钟解决网易云音乐格式限制:免费NCM转换工具完全指南

3分钟解决网易云音乐格式限制&#xff1a;免费NCM转换工具完全指南 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 你是否曾因网易云音乐下载的NCM格式文件无法在车载音响或普通播放器中播放而烦恼&#xff1f;今天&#xff0c;我将…...

Lovable不是UI美化!揭秘神经科学验证的4层用户依恋模型与落地SDK架构

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;Lovable不是UI美化&#xff01;揭秘神经科学验证的4层用户依恋模型与落地SDK架构 Lovable并非视觉动效堆砌&#xff0c;而是基于fMRI与眼动追踪实验验证的神经认知路径——当用户在300ms内完成「感知→…...

AI-HF_Patch终极指南:3步解锁AI-Shoujo完整游戏体验的秘诀

AI-HF_Patch终极指南&#xff1a;3步解锁AI-Shoujo完整游戏体验的秘诀 【免费下载链接】AI-HF_Patch Automatically translate, uncensor and update AI-Shoujo! 项目地址: https://gitcode.com/gh_mirrors/ai/AI-HF_Patch 还在为AI-Shoujo游戏的语言障碍、模组冲突和功…...

抖音视频批量下载完整解决方案:从单视频到全自动归档管理

抖音视频批量下载完整解决方案&#xff1a;从单视频到全自动归档管理 【免费下载链接】douyin-downloader A practical Douyin downloader for both single-item and profile batch downloads, with progress display, retries, SQLite deduplication, and browser fallback su…...

告别手动计算!用Biopython+DSSP批量分析蛋白质溶剂可及性(附完整脚本)

告别手动计算&#xff01;用BiopythonDSSP批量分析蛋白质溶剂可及性&#xff08;附完整脚本&#xff09; 蛋白质溶剂可及性&#xff08;RSA&#xff09;是结构生物学中的关键参数&#xff0c;它量化了氨基酸残基在蛋白质表面暴露于溶剂的程度。传统手动计算方式在面对大规模PD…...

MyBinder实战:零配置在iPad上运行Python数据分析

1. 项目概述&#xff1a;当iPad遇上Python&#xff0c;一次环境配置的“降维打击” 几年前&#xff0c;当我第一次在编程工作坊里&#xff0c;看到有学员掏出iPad&#xff0c;一脸期待地问我“老师&#xff0c;这个能跑今天的代码吗&#xff1f;”时&#xff0c;我的回答通常是…...

Windows安卓子系统WSA:三个实用技巧让你在Windows上流畅运行手机应用

Windows安卓子系统WSA&#xff1a;三个实用技巧让你在Windows上流畅运行手机应用 【免费下载链接】WSA Developer-related issues and feature requests for Windows Subsystem for Android 项目地址: https://gitcode.com/gh_mirrors/ws/WSA 你是否曾经梦想过在Windows…...

Taotoken的计费透明与账单追溯功能让我的每一分钱都花得明白

&#x1f680; 告别海外账号与网络限制&#xff01;稳定直连全球优质大模型&#xff0c;限时半价接入中。 &#x1f449; 点击领取海量免费额度 Taotoken的计费透明与账单追溯功能让我的每一分钱都花得明白 作为独立开发者或小型技术团队的负责人&#xff0c;管理项目成本是日…...

5大长期记忆系统终极横评!谁是AI Agent的「最强大脑」

&#x1f680; 5大长期记忆系统终极横评&#xff01;谁是AI Agent的「最强大脑」&#xff1f; AI Agent 的「长期记忆」能力&#xff0c;决定了它能否真正拥有"持续学习"和"深度理解"的核心竞争力。 我们耗时数周&#xff0c;对 虾觅 Xiami、AgentMemory…...

Windows 环境下 NVM 安装与 Node.js 版本管理完全指南

&#x1f4a1; 为什么需要 NVM&#xff1f; 作为前端开发者&#xff0c;你是否遇到过这些困扰&#xff1a; 场景痛点新项目要求 Node 20&#xff0c;老项目依赖 Node 16频繁卸载重装&#xff0c;浪费时间团队协作时环境不一致代码在同事电脑上跑不通全局安装的依赖版本冲突升…...