[量化投资-学习笔记014]Python+TDengine从零开始搭建量化分析平台-Python知识点汇总

以下内容总结了之前章节涉及到的 Python 知识点，看过之前的章节同学，就不用打开了。

1. Restful 访问 TDengine 数据库

知识点：

• 发送给 TDengine 的 HTTP Body 里面是 SQL 明文，请求方式为 POST。
• TDenging 返回的结果是 JSON 格式。
• 如果写入的数据包含中文，那么必须对 SQL 进行 encode("UTF-8")。

def request_post(url, sql, user, pwd):try:sql = sql.encode("utf-8")headers = {'Connection': 'keep-alive','Accept-Encoding': 'gzip, deflate, br'}result = requests.post(url, data=sql, auth=HTTPBasicAuth(user,pwd),headers=headers)text=result.content.decode()return textexcept Exception as e:print(e)def request_get(resInfo):load_data = json.loads(resInfo)data = load_data.get("data")return data        

2. SQL 拼接

如果要高效写入 TDengine，需要将多条记录拼接成一条 SQL（SQL 长度不能超过 1MB）。
以下程序会对一个二维数组进行遍历，逐个拼接成一条 SQL 并返回。

def join_sql(dbname,tbname,datalist):sql = 'insert into '+dbname+'.'+tbname+" values"for i in range(len(datalist)):sql = sql + '('for l in range(len(datalist[i])):if l == 0:sql = sql +'"'+str(datalist[i][l])+'"'else:sql = sql + str(datalist[i][l]) if l <= len(datalist[i])-2:sql = sql + ','sql = sql + ')'return sql

3. 多线程/进程

为提过程序的执行效率，可以采用多线程或多进程的方式。
以下程序对数组 flist 按照并发数 threadNum 进行分割，每个子线程/进程对传递的数组进行遍历,对每个值调用 csv_read 函数进行处理。

def thread_func(flist,tnum,list_num):for ll in range(list_num):ii=tnum*list_num+llif ii < len(flist):filename = str(flist[ii][0])csv_read(filename)def multi_thread(flist,wmethod):threads = []if len(flist) < threadNum:for i in range(len(flist)):filename = flist[i][0]csv_read(filename)else:listnum = int(len(flist)/threadNum)+1if wmethod == 'process':for tnum in range(threadNum):  t = multiprocessing.Process(target=thread_func,args=(flist,tnum,listnum))threads.append(t)else:for tnum in range(threadNum):             t = threading.Thread(target=thread_func,args=(flist,tnum,listnum))threads.append(t)for t in threads:  t.start()for t in threads:  t.join()

4. 绘图

绘图需要使用 matplotlib 模块。
知识点：

• 绘制多个子图 plt.subplot(3, 1, 1)
• 绘制曲线 plt.plot(df.index, df['close'])
• 绘制柱状图 plt.bar(range(len(profits)),profits)
• x轴名称 plt.xlabel('tdate')
• x轴名称 plt.ylabel('Price')

以下示例在一个图片里面绘制了收盘价、MACD、收益曲线三个子图。

plt.figure(figsize=(12, 8))
plt.subplot(3, 1, 1)
plt.plot(df.index, df['close'])
plt.title(fcode)
plt.xlabel('tdate')
plt.ylabel('Price')plt.subplot(3, 1, 2)
plt.title("MACD")
plt.plot(df['DIF'],'r',linewidth=1.0,label='DIF')
plt.plot(df['DEA'],'y',linewidth=1.0,label='DEA')
plt.legend()
plt.grid()plt.subplot(3, 1, 3)
plt.title("收益曲线")
plt.plot(profits,'r',linewidth=1.0,label='Profit')
plt.bar(range(len(profits)),profits)
plt.ylabel('RMB')
plt.legend()
plt.grid()plt.tight_layout()
plt.show()

如果要显示中文，则需要进行如下设置：

matplotlib.rcParams['font.sans-serif'] = ['SimHei']
matplotlib.rcParams['font.family']='sans-serif'
matplotlib.rcParams['axes.unicode_minus'] = False