DolphinDB 基准性能测试工具：金融模拟数据生成模块合集
测试 DolphinDB 数据库性能时，往往需要快速写入一些测试数据。为方便用户快速完成简单的基准性能测试，金融 Mock 数据生成模块覆盖了常用的金融数据集，满足用户生成模拟数据的需求。基于本模块生成的模拟数据不具有实际意义，建议仅作读写性能测试和基础功能体验使用。
本模块基于 DolphinDB 2.00.13 开发，请使用 2.00.13 及以上版本进行测试。
1. 环境配置
本教程的模块代码文件（ MockData.dos ）可在附录中获取，将 MockData.dos 文件移至节点的 [home]/modules 目录下即完成环境配置。其中 [home] 目录由系统配置参数 home 决定，可以通过 getHomeDir() 函数查看。
更多 DolphinDB 模块的说明，请参阅：DolphinDB 教程：模块。
2. 使用说明
通过 use 关键字导入模块。导入模块后，可以通过以下两种方式来使用模块内的自定义函数：
(1) 直接调用模块中的函数，生成1天10个股票的 Level-2 快照数据，一共有48020行：
use MockData
t = stockSnapshot(tradeDate=2020.01.06, securityNumber=10)(2) 通过模块中的函数的完整路径来调用：
use MockData
t = MockData::stockSnapshot(tradeDate=2020.01.06, securityNumber=10)若导入的不同模块中含有相同名称的函数，则必须通过第二种方式调用。
3. 模拟数据生成函数说明
本模块仅生成交易日的数据，当输入日期为非交易日时，会返回空数据表。交易日通过 DolphinDB 内置交易日历获取。由于存在多个交易所的交易日历，本文使用上交所的交易日历作为金融 Mock 数据生成模块的交易日。更多 DolphinDB 内置交易日历的说明，请参阅：交易日历。
模拟数据生成函数参考真实市场的交易量。对于每只标的，生成的一天数据量都相同，且生成的数据在一天中的交易时间段内均匀分布。生成的相关数值指标由随机数和固定值组成，不具备实际意义。具体数据量和说明如下表所示：
| 函数名 | 单日单标的数据量（行） | 说明 | 函数名 | 单日单标的数据量（行） | 说明 |
|---|---|---|---|---|---|
| stockSnapshot | 4,802 | 每 3 秒生成一只标的数据 | XBondTrade | 120 | 按固定数据量在交易时间内均匀分布，约 2 分钟生成一只标的数据 |
| stockEntrust | 28,802 | 每 0.5 秒生成一只标的数据 | dailyFactor（单因子） | 1 | 每 1 天生成一只标的因子数据 |
| stockTrade | 28,802 | 每 0.5 秒生成一只标的数据 | halfHourFactor（单因子） | 8 | 每 30 分钟生成一只标的因子数据 |
| stockMinuteKLine | 242 | 每 1 分钟生成一只标的数据 | tenMinutesFactor（单因子） | 240 | 每 10 分钟生成一只标的因子数据 |
| stockDailyKLine | 1 | 每 1 天生成一只标的数据 | minuteFactor（单因子） | 240 | 每 1 分钟生成一只标的因子数据 |
| optionsSnapshot | 900 | 按固定数据量在交易时间内均匀分布，约 19 秒生成一只标的数据 | secondFactor（单因子） | 14,400 | 每 1 秒生成一只标的因子数据 |
| futuresSnapshot | 2,000 | 按固定数据量在交易时间内均匀分布，约 9 秒生成一只标的数据 | level2Factor（单因子） | 4,800 | 每 3 秒生成一只标的因子数据 |
| ESPDepth | 80 | 按固定数据量在交易时间内均匀分布，约 3 分钟生成一只标的数据 | tickFactor（单因子） | 28,800 | 每 0.5 秒生成一只标的因子数据 |
| ESPTrade | 10 | 按固定数据量在交易时间内均匀分布，约 30 分钟生成一只标的数据 | futuresFactor（单因子） | 66,600 | 每 0.5 秒生成一只标的因子数据 |
| XBondDepth | 1,000 | 按固定数据量在交易时间内均匀分布，约 17 秒生成一只标的数据 |
3.1 股票数据
股票数据主要有 Level-2 快照、逐笔委托以及逐笔成交等类型，可通过本模块中的函数生成这些数据。下面对数据生成模块的相关函数进行说明。
3.1.1 stockSnapshot
语法
stockSnapshot(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示快照数据的日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
详情
创建一天的 Level-2 快照模拟数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，股票标的数量通过 securityNumber 指定。
例子
snapshotData = stockSnapshot(tradeDate=2020.01.06, securityNumber=10)3.1.2 stockEntrust
stockEntrust(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示逐笔委托数据的日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
详情
创建一天的逐笔委托数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，股票标的数量通过 securityNumber 指定。
例子
entrustData = stockEntrust(tradeDate=2020.01.06, securityNumber=10)3.1.3 stockTrade
stockTrade(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示逐笔成交数据的日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
详情
创建一天的逐笔成交数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，股票标的数量通过 securityNumber 指定。
例子
tradeData = stockTrade(tradeDate=2020.01.06, securityNumber=10)3.1.4 stockMinuteKLine
stockMinuteKLine(startDate, endDate, securityNumber)参数
- startDate：DATE 类型的标量，表示分钟 K 数据的起始日期。
- endDate：DATE 类型的标量，表示分钟 K 数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
详情
创建指定时间范围内分钟 K 线数据，并以表的数据形式返回。交易的起始日期通过 startDate 指定，交易的结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定。
例子
minuteKLineData = stockMinuteKLine(startDate=2020.09.05, endDate=2021.01.07, securityNumber=10)3.1.5 stockDailyKLine
stockDailyKLine(startDate, endDate, securityNumber)参数
- startDate：DATE 类型的标量，表示日 K 数据的起始日期。
- endDate：DATE 类型的标量，表示日 K 数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
详情
创建指定时间范围内的日 K 线数据，并以表的数据形式返回。交易的起始日期通过 startDate 指定，交易的结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定。
例子
dailyKLineData = stockDailyKLine(startDate=2015.01.01, endDate=2021.01.30, securityNumber=1000)3.2 期权数据
3.2.1 optionsSnapshot
optionsSnapshot(tradeDate, instrumentNumber)参数
- tradeDate：DATE 类型的标量，表示期权数据的日期。
- instrumentNumber：INT 类型的标量，表示期权合约数量。
详情
创建一个单日的期权快照数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，期权标的数量通过 instrumentNumber 指定。
例子
optionsSnapshotData = optionsSnapshot(tradeDate=2020.01.06, instrumentNumber=14000)3.3 期货数据
3.3.1 futuresSnapshot
futuresSnapshot(tradeDate, instrumentNumber)参数
- tradeDate：DATE 类型的标量，表示期货数据的日期。
- instrumentNumber：INT 类型的标量，表示期货合约数量。
详情
创建一个单日的期货数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，期权标的数量通过 instrumentNumber 指定。
例子
FuturesData = futuresSnapshot(tradeDate=2020.06.01, instrumentNumber=2000)3.4 银行间债券数据
银行间债券数据有 ESP 报价、ESP 成交、XBond 报价、XBond 成交类型，可通过本模块中的函数生成这些数据。下面对数据生成模块的相关函数进行说明。
3.4.1 ESPDepth
ESPDepth(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示银行间债券 ESP 报价数据的日期。
- securityNumber：INT 类型的标量，表示银行间债券 ESP 标的数量。
详情
创建一个单日的银行间债券 ESP 报价数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 ESP 标的数量通过 securityNumber 指定。
例子
ESPDepthData = ESPDepth(tradeDate=2020.06.01, securityNumber=4000)3.4.2 ESPTrade
ESPTrade(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示银行间债券 ESP 成交数据的日期。
- securityNumber：INT 类型的标量，表示银行间债券 ESP 标的数量。
详情
创建一个单日的银行间债券 ESP 成交数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 ESP 标的数量通过 securityNumber 指定。
例子
ESPTradeData = ESPTrade(tradeDate=2020.06.01, securityNumber=3000)3.4.3 XBondDepth
XBondDepth(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示银行间债券 XBond 报价数据的日期。
- securityNumber：INT 类型的标量，表示银行间债券 XBond 标的数量。
详情
创建一个单日的银行间债券 XBond 报价数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 XBond 标的数量通过 securityNumber 指定。
例子
XBondDepthData = XBondDepth(tradeDate=2020.06.01, securityNumber=200)3.4.4 XBondTrade
XBondTrade(tradeDate, securityNumber)参数
- tradeDate：DATE 类型的标量，表示银行间债券 XBond 成交数据的日期。
- securityNumber：INT 类型的标量，表示银行间债券 XBond 标的数量。
详情
创建一个单日的银行间债券 XBond 成交数据，并以表的数据形式返回。交易日期通过 tradeDate 指定，银行间债券 XBond 标的数量通过 securityNumber 指定。
例子
XBondTradeData = XBondTrade(tradeDate=2020.06.01, securityNumber=200)3.5 因子库数据
因子库数据有各种频率因子数据类型，可通过本模块中的函数生成这些数据。下面对数据生成模块的相关函数进行说明。
3.5.1 dailyFactor
dailyFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的日频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
dailyFactorData = dailyFactor(startDate=2016.01.01,endDate=2021.12.31,securityNumber=500, factorNumber=100)上述代码会生成一个大小约为1.8GB，变量名为 dailyFactorData 的内存表。
3.5.2 halfHourFactor
halfHourFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的半小时频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
halfHourFactorData = halfHourFactor(startDate=2021.06.01,endDate=2021.12.31,securityNumber=500, factorNumber=100)上述代码会生成一个大小约为1.7GB，变量名为 halfHourFactorData 的内存表。
3.5.3 tenMinutesFactor
tenMinutesFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的十分钟频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
tenMinutesFactorData = tenMinutesFactor(startDate=2021.09.01,endDate=2021.12.31,securityNumber=500, factorNumber=100)上述代码会生成一个大小约为2.2GB，变量名为 tenMinutesFactorData 的内存表。
3.5.4 minuteFactor
minuteFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的分钟频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
minuteFactorData = minuteFactor(startDate=2021.12.01,endDate=2021.12.31,securityNumber=100, factorNumber=100)minuteFactor上述代码会生成一个大小约为1.5GB，变量名为 minuteFactorData 的内存表。
3.5.5 secondFactor
secondFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的秒钟频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
secondFactorData = secondFactor(startDate=2021.12.15, endDate=2021.12.31, securityNumber=50, factorNumber=10)上述代码会生成一个大小约为2.6GB，变量名为 secondFactorData 的内存表。
3.5.6 level2Factor
level2Factor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的 Level-2 快照频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
level2FactorData = level2Factor(startDate=2021.12.01,endDate=2021.12.31,securityNumber=50, factorNumber=10)上述代码会生成一个大小约为1.5GB，变量名为 level2FactorData 的内存表。
3.5.7 tickFactor
tickFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的逐笔频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
tickFactorData = tickFactor(startDate=2021.12.01,endDate=2021.12.31,securityNumber=50, factorNumber=10)上述代码会生成一个大小约为8.6GB，变量名为 tickFactorData 的内存表。
3.5.8 futuresFactor
futuresFactor(startDate, endDate, securityNumber, factorNumber)参数
- startDate：DATE 类型的标量，表示因子数据的起始日期。
- endDate：DATE 类型的标量，表示因子数据的结束日期。
- securityNumber：INT 类型的标量，表示股票标的数量。
- factorNumber：INT 类型的标量，表示因子数量。
详情
创建指定时间范围内的期货500ms频因子数据，并以表的数据形式返回。起始日期通过 startDate 指定，结束日期通过 endDate 指定，股票标的数量通过 securityNumber 指定，因子数量通过 factorNumber 指定。
例子
futuresFactorData = futuresFactor(startDate=2021.12.15,endDate=2021.12.31,securityNumber=50, factorNumber=10)上述代码会生成一个大小约为10.6GB，变量名为 futuresFactorData 的内存表。
4. 库表生成函数说明
由于不同类型的金融数据具有不同的表结构，自行创建这些库表会非常繁琐。在该模块中，我们将提供针对不同数据类型的库表创建函数，以便用户更轻松地创建所需的库表。本模块的建库建表代码参考自 best_practices_for_partitioned_storage.md · 浙江智臾科技有限公司/Tutorials_CN - Gitee.com
4.1 股票数据
4.1.1 stockSnapShotPT
stockSnapShotPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储快照数据的数据库名。
- tbName：STRING 类型的标量，表示存储快照数据的数据表名。
详情
创建存储快照数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = stockSnapShotPT("dfs://merge_TB", "merge_snapshotTB")4.1.2 stockEntrustPT
stockEntrustPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储逐笔委托数据的数据库名。
- tbName：STRING 类型的标量，表示存储逐笔委托数据的数据表名。
详情
创建存储逐笔委托数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = stockEntrustPT("dfs://merge_TB", "merge_entrustTB")4.1.3 stockTradePT
stockTradePT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储逐笔成交数据的数据库名。
- tbName：STRING 类型的标量，表示存储逐笔成交数据的数据表名。
详情
创建存储逐笔成交数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = stockTradePT("dfs://merge_TB", "merge_tradeTB")4.1.4 stockMinuteKLinePT
stockMinuteKLinePT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储分钟 K 数据的数据库名。
- tbName：STRING 类型的标量，表示存储分钟 K 数据的数据表名。
详情
创建存储分钟K数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = stockMinuteKLinePT("dfs://k_minute_level", "k_minute")4.1.5 stockDailyKLinePT
stockDailyKLinePT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储日 K 数据的数据库名。
- tbName：STRING 类型的标量，表示存储日 K 数据的数据表名。
详情
创建存储日 K 数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = stockDailyKLinePT("dfs://k_day_level", "k_day")4.2 期货数据
4.2.1 futuresPT
futuresPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储期货数据的数据库名。
- tbName：STRING 类型的标量，表示存储期货数据的数据表名。
详情
创建存储期货数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = futuresPT("dfs://ctp_futures", "futures")4.3 期权数据
4.3.1 optionsPT
optionsPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储期权数据的数据库名。
- tbName：STRING 类型的标量，表示存储期权数据的数据表名。
详情
创建存储期权数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = optionsPT("dfs://ctp_options", "options")4.4 银行间债券
4.4.1 ESPDepthPT
ESPDepthPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储银行间债券 ES P报价数据的数据库名。
- tbName：STRING 类型的标量，表示存储银行间债券 ESP 报价数据的数据表名。
详情
创建银行间债券ESP报价数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = ESPDepthPT("dfs://ESPDepth", "ESPDepthtable")4.4.2 ESPTradePT
ESPTradePT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储银行间债券 ESP 成交数据的数据库名。
- tbName：STRING 类型的标量，表示存储银行间债券 ESP 成交数据的数据表名。
详情
创建银行间债券ESP成交数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = ESPTradePT("dfs://ESPTrade", "ESPTradetable")4.4.3 XBondDepthPT
XBondDepthPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储银行间债券 XBond 报价数据的数据库名。
- tbName：STRING 类型的标量，表示存储银行间债券 XBond 报价数据的数据表名。
详情
创建银行间债券XBond报价数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = XBondDepthPT("dfs://XBondDepth", "XBondDepthtable")4.4.4 XBondTradePT
XBondTradePT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储银行间债券 XBond 成交数据的数据库名。
- tbName：STRING 类型的标量，表示存储银行间债券 XBond 成交数据的数据表名。
详情
创建银行间债券 XBond 成交数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = XBondTradePT("dfs://XBondTrade", "XBondTradetable")4.5 因子库数据
4.5.1 dailyFactorPT
dailyFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储日频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储日频因子数据的数据表名。
详情
创建日频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = dailyFactorPT("dfs://dayFactorDB", "dayFactorTB")4.5.2 halfHourFactorPT
halfHourFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储半小时频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储半小时频因子数据的数据表名。
详情
创建半小时频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = halfHourFactorPT("dfs://halfhourFactorDB", "halfhourFactorTB")4.5.3 tenMinutesFactorPT
tenMinutesFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储十分钟频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储十分钟频因子数据的数据表名。
详情
创建十分钟频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = tenMinutesFactorPT("dfs://tenMinutesFactorDB", "tenMinutesFactorTB")4.5.4 minuteFactorPT
minuteFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储分钟频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储分钟频因子数据的数据表名。
详情
创建分钟频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = minuteFactorPT("dfs://minuteFactorDB", "minuteFactorTB")4.5.5 secondFactorPT
secondFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储秒钟频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储秒钟频因子数据的数据表名。
详情
创建秒钟频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = secondFactorPT("dfs://secondFactorDB", "secondFactorTB")4.5.6 level2FactorPT
level2FactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储Level-2 快照频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储Level-2 快照频因子数据的数据表名。
详情
创建Level-2 快照频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = level2FactorPT("dfs://level2FactorDB", "level2FactorTB")4.5.7 tickFactorPT
tickFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储逐笔频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储逐笔频因子数据的数据表名。
详情
创建逐笔频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = tickFactorPT("dfs://tickFactorDB", "tickFactorTB")4.5.8 futuresFactorPT
futuresFactorPT(dbName, tbName)参数
- dbName：STRING 类型的标量，表示存储期货500ms频因子数据的数据库名。
- tbName：STRING 类型的标量，表示存储期货500ms频因子数据的数据表名。
详情
创建期货500ms频因子数据的数据库表，并返回数据表的句柄。数据库名通过 dbName 指定，数据表名通过 tbName 指定。
例子
t = futuresFactorPT("dfs://futuresFactorDB", "futuresFactorTB")5. 应用示例
用户可以将第 3 节中生成的模拟数据，存入第 4 节所创建的数据库表，以 Level2 快照行情为例，代码如下：
use MockDatasnapshotData = stockSnapshot(tradeDate=2020.01.06, securityNumber=10)
t = snapShotPT("dfs://merge_TB", "merge_snapshotTB")
t.append!(snapshotData)相应的金融数据可存入对应数据库表，Mock 数据生成函数与数据库表创建函数的对应关系如下：
| 数据生成函数 | 数据库表创建函数 | |
|---|---|---|
| 1 | stockSnapshot | stockSnapShotPT |
| 2 | stockEntrust | stockEntrustPT |
| 3 | stockTrade | stockTradePT |
| 4 | stockMinuteKLine | stockMinuteKLinePT |
| 5 | stockDailyKLine | stockDailyKLinePT |
| 6 | optionsSnapshot | optionsPT |
| 7 | futuresSnapshot | futuresPT |
| 8 | ESPDepth | ESPDepthPT |
| 9 | ESPTrade | ESPTradePT |
| 10 | XBondDepth | XBondDepthPT |
| 11 | XBondTrade | XBondTradePT |
| 12 | dailyFactor | dailyFactorPT |
| 13 | halfHourFactor | halfHourFactorPT |
| 14 | tenMinutesFactor | tenMinutesFactorPT |
| 15 | minuteFactor | minuteFactorPT |
| 16 | secondFactor | secondFactorPT |
| 17 | level2Factor | level2FactorPT |
| 18 | tickFactor | tickFactorPT |
| 19 | futuresFactor | futuresFactorPT |
6. 常见问题
6.1 创建数据库表时报错：CacheEngineOOM
执行数据插入数据库表的代码后可能会出现 CacheEngineOOM 的问题，示例代码如下：
minuteKLineData = genStockMinuteKLine(startDate=2020.01.01, endDate=2020.06.30, securityNumber=2000)
t = createMinuteKLineTable("dfs://MinuteK", "MinuteK")
t.append!(minuteKLineData)报出如下错误：
::append!(t, minuteKLineData) => [appendDFSTablet] parallel execution of save table failed with error msg: ChunkCacheEngine is out of memory, possibly due to a transaction that tries to write data larger than the available memory.解决方法：
- 方法一：减小一次写入的数据量。
- 方法二：增大 CacheEngine 的大小。可以调用 setOLAPCacheEngineSize 在线增大 OLAP Cache Engine 的容量，需要注意同时修改配置项 OLAPCacheEngineSize，否则重启后在线修改的容量会失效。
6.2 查询数据库时报错：The query is too large
执行查询数据库表的代码后可能会出现查询分区数量过多的问题，示例代码如下：
temp = select top 100 * from loadTable(db_path, tb_name)报出如下错误：
The number of partitions [880900] relevant to the query is too large. Please add more specific filtering conditions on partition columns in WHERE clause, or consider changing the value of the configuration parameter maxPartitionNumPerQuery.解决方法：
- 方法一：查询时通过 WHERE 语句减少查询涉及的分区数量。
- 方法二：增大单个查询语句可查找的最大分区数，系统默认值是 65536，可以通过参数 maxPartitionNumPerQuery 进行配置并在重启后生效。
6.3 模拟数据生成返回0行记录
成功执行模拟数据生成函数后，返回的结果表里仅有0行记录，示例代码如下：
snapshotData = stockSnapshot(tradeDate=2020.01.05, securityNumber=10)
select * from snapshotData 2020.01.05 为非交易日。本模块仅生成交易日的数据，当输入日期为非交易日时，会返回空数据表。交易日通过交易日历进行获取，且默认使用上交所交易日历。
解决方法：
- tradeDate 填入真实的交易日。
6.4 创建分布式数据库表时报错
执行创建数据库表的代码后可能会出现无法写入一个已经存在的数据库的问题，示例代码如下：
t = ESPDepthPT("dfs://merge_TB", "merge_TB")报出如下错误：
MockData::ESPDepthPT: db = database(newdbName, VALUE, 2022.06.01 .. 2023.01.01, , "TSDB") => It is not allowed to overwrite an existing database.解决方法：
建议使用其他名字或者删掉该数据库再创建该数据库表。
删除指定数据库的代码如下：
dropDatabase("dfs://merge_TB")检查指定数据库是否存在的代码如下：
existsDatabase("dfs://merge_TB")附录
MockData
相关文章：
DolphinDB 基准性能测试工具：金融模拟数据生成模块合集
测试 DolphinDB 数据库性能时，往往需要快速写入一些测试数据。为方便用户快速完成简单的基准性能测试，金融 Mock 数据生成模块覆盖了常用的金融数据集，满足用户生成模拟数据的需求。基于本模块生成的模拟数据不具有实际意义，建议仅…...
BUUCTF—[BJDCTF2020]The mystery of ip
题解 打开环境点击上面的flag可以看到这个IP页面。 抓个包看看有啥东西无，可以看到在返回包有IP。 看到IP就想到X-Forwarded-For这个玩意，我们用X-Forwarded-For随便添加个IP看看。可以看到返回的IP内容变成了123。 X-Forwarded-For:123 推测它会输出我…...
leecode100题-双指针-三数之和
给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请你返回所有和为 0 且不重复的三元组。 答案中不可以包含重复的三元组。 示例 1： 输入…...
计算机毕业设计PySpark+Django考研分数线预测 考研院校推荐系统 考研推荐系统 考研爬虫 考研大数据 Hadoop 大数据毕设 机器学习 深度学习
《PySparkDjango考研分数线预测与推荐系统》开题报告 一、研究背景与意义 随着教育水平的提高和就业竞争的加剧，越来越多的学生选择继续深造，参加研究生入学考试（考研）。然而，考研信息繁杂，选择专业和院校…...
Go语言多态实践以及gin框架c.BindJSON序列化遇到的坑
遇到的问题 如果定义的接收结构体字段是interface{}，在调用gin的 c.BindJSON 方法后会直接转为map， 导致无法断言为其他类型 场景 在创建工程请求中，根据工程类别的不同会有多种创建参数，比如 // A 类型需要编译 所以有这些字…...
SpringCloud神领物流学习笔记：项目概述（一）
SpringCloud神领物流学习笔记：项目概述（一） 文章目录 SpringCloud神领物流学习笔记：项目概述（一）1、项目介绍2、基本业务流程3、系统架构4、技术架构 1、项目介绍 神领物流是一个基于微服务架构体系的【…...
RocketMQ异步报错:No route info of this topic
在SpringBoot中发送RocketMQ异步消息的时候报错了，提示org.apache.rocketmq.client.exception.MQClientException: No route info of this topic, testTopic1 这里给出具体的解决方案 一、Broker模块不支持自动创建topic，并且topic没有被手动创建过 R…...
Node.js学习记录（一）
目录 一、文件读取 readFile 二、写入文件 writeFile 三、动态路径 __dirname：表示当前文件所处的目录、path.join 四、获取路径文件名 path.basename 五、提取某文件中的css、JS、html 六、http 七、启动创建web服务器 服务器响应 八、将资源请求的 url 地…...
【AI】Pytorch_模型构建
建议点赞收藏关注！持续更新至pytorch大部分内容更完。 本文已达到10w字，故按模块拆开，详见目录导航。 整体框架如下 数据及预处理 模型及其构建 损失函数及优化器 本节目录 模型线性回归逻辑回归LeNetAlexNet 构建模块组织复杂网络初始化网络…...
FFmpeg源码：avcodec_descriptor_get函数分析
一、avcodec_descriptor_get函数的声明 avcodec_descriptor_get函数声明在FFmpeg源码（本文演示用的FFmpeg源码版本为7.0.1）的头文件libavcodec/codec_desc.h中： /*** return descriptor for given codec ID or NULL if no descriptor exist…...
为数据仓库构建Zero-ETL无缝集成数据分析方案（下篇）
对于从事数据分析的小伙伴们来说，最头疼的莫过于数据处理的阶段。在我们将数据源的原始数据导入数据仓储进行分析之前，我们通常需要进行ETL流程对数据格式进行统一转换，这个流程需要分配专业数据工程师基于业务情况完成，整个过程十…...
ElMessageBox消息确认框组件在使用时如何设置第三个或多个自定义按钮
ElMessageBox自带两个按钮一个确认一个取消，当还想使用该组件还想再加个功能组件时,就需要自定义个按钮加到组件里 第二种方法可以通过编写自定义弹窗来完成,个人觉得代码量增多过于繁琐,当然也可以实现 先定义方法负责获取dom父节点，创建新的子元素加…...
javaWeb【day04】--（MavenSpringBootWeb入门）
01. Maven课程介绍 1.1 课程安排 学习完前端Web开发技术后，我们即将开始学习后端Web开发技术。做为一名Java开发工程师，后端Web开发技术是我们学习的重点。 1.2 初识Maven 1.2.1 什么是Maven Maven是Apache旗下的一个开源项目，是一款用于…...
[Linux]：文件(下)
✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯，先赞后看哦~🎈🎈 所属专栏：Linux学习 贝蒂的主页：Betty’s blog 1. 重定向原理 在明确了文件描述符的概念及其分配规则后，我们就可…...
【学习笔记】手写Tomcat 一
目录 HTTP协议请求格式 HTTP协议响应格式 Socket 解读代码 服务端优化 解读代码 作业 1. 响应一个 HTML 页面给客户端，游览器把接收到的内容进行渲染 2. 文件的媒体类型是写死的，肯定不行，怎么变成动态？ 昨天作业答案 …...
springboot基础-Druid数据库连接池使用
文章目录 引入Druid组件（maven）配置数据源Druid配置项1. 数据源配置2. 监控配置3. 安全配置4. SQL拦截配置 示例配置相关地址 Druid是阿里巴巴开源的一个高性能的Java数据库连接池组件，它提供了强大的监控统计功能和工具支持。Druid不仅可以作…...
C语言文件操作全攻略：从打开fopen到读写r,w，一网打尽
前言 在C语言中，文件操作是一项基础而强大的功能，它允许程序与存储在硬盘上的数据进行交互。无论是读取配置文件、处理日志文件，还是创建新的数据文件，C语言都提供了丰富的函数库来支持这些操作。本文将整合并详细介绍fopen(), 对…...
【0328】Postgres内核之 “User ID state”
1. User ID state 我们必须追踪与“用户ID（user ID）”概念相关的多个不同值。Postgres内核中有共有以下几个 User ID。 ✔ AuthenticatedUserId ✔ SessionUserId ✔ OuterUserId ✔ CurrentUserId 1.1 User ID 概念相关的不同值 AuthenticatedUserId AuthenticatedUserId…...
VisualStudio环境搭建C++
Visual Studio环境搭建 说明 C程序编写中，经常需要链接头文件(.h/.hpp)和源文件(.c/.cpp)。这样的好处是：控制主文件的篇幅，让代码架构更加清晰。一般来说头文件里放的是类的申明，函数的申明，全局变量的定义等等。源…...
linux 文件压缩并且切割压缩
Linux系统中，split命令是一个非常实用的工具，它可以将一个大文件分割成多个小文件 1、先将文件压缩 tar -cvf access.log.tar.gz access2、将文件压缩为每500mb一个文件，-b 500m 指定了每个分割文件的大小为500MB，-d 表示使用数字…...
19c补丁后oracle属主变化，导致不能识别磁盘组
补丁后服务器重启，数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后，存在与用户组权限相关的问题。具体表现为，Oracle 实例的运行用户（oracle）和集…...
进程地址空间（比特课总结）
一、进程地址空间 1. 环境变量 1 ）⽤户级环境变量与系统级环境变量 全局属性：环境变量具有全局属性，会被⼦进程继承。例如当bash启动⼦进程时，环 境变量会⾃动传递给⼦进程。 本地变量限制：本地变量只在当前进程(ba…...
PPT|230页| 制造集团企业供应链端到端的数字化解决方案：从需求到结算的全链路业务闭环构建
制造业采购供应链管理是企业运营的核心环节，供应链协同管理在供应链上下游企业之间建立紧密的合作关系，通过信息共享、资源整合、业务协同等方式，实现供应链的全面管理和优化，提高供应链的效率和透明度，降低供应链的成…...
ssc377d修改flash分区大小
1、flash的分区默认分配16M、 / # df -h Filesystem Size Used Available Use% Mounted on /dev/root 1.9M 1.9M 0 100% / /dev/mtdblock4 3.0M...
【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现（服务端执行命令请求的过程 - 初始化服务器）
服务端执行命令请求的过程 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 初始化服务器1. 初始化服务器状态结构初始化RedisServer变量 2. 加载相关系统配置和用户配置参数定制化配置参数案…...
VTK如何让部分单位不可见
最近遇到一个需求，需要让一个vtkDataSet中的部分单元不可见，查阅了一些资料大概有以下几种方式 1.通过颜色映射表来进行，是最正规的做法 vtkNew<vtkLookupTable> lut; //值为0不显示，主要是最后一个参数，透明度…...
Maven 概述、安装、配置、仓库、私服详解
目录 1、Maven 概述 1.1 Maven 的定义 1.2 Maven 解决的问题 1.3 Maven 的核心特性与优势 2、Maven 安装 2.1 下载 Maven 2.2 安装配置 Maven 2.3 测试安装 2.4 修改 Maven 本地仓库的默认路径 3、Maven 配置 3.1 配置本地仓库 3.2 配置 JDK 3.3 IDEA 配置本地 Ma…...
代理篇12|深入理解 Vite中的Proxy接口代理配置
在前端开发中，常常会遇到 跨域请求接口 的情况。为了解决这个问题，Vite 和 Webpack 都提供了 proxy 代理功能，用于将本地开发请求转发到后端服务器。 什么是代理（proxy）？ 代理是在开发过程中，前端项目通过开发服务器，将指定的请求“转发”到真实的后端服务器，从而绕…...
)
Angular微前端架构：Module Federation + ngx-build-plus (Webpack)
以下是一个完整的 Angular 微前端示例，其中使用的是 Module Federation 和 npx-build-plus 实现了主应用（Shell）与子应用（Remote）的集成。 🛠️ 项目结构 angular-mf/ ├── shell-app/ # 主应用&…...
html css js网页制作成品——HTML+CSS榴莲商城网页设计（4页）附源码
目录 一、👨🎓网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站效果 五、🪓 代码实现 🧱HTML 六、🥇 如何让学习不再盲目 七、🎁更多干货 一、👨…...