当前位置: 首页 > news >正文

go入门实践五-实现一个https服务

文章目录

  • 前言
  • 生成证书
    • 申请免费的证书
    • 使用Go语言生成自签CA证书
  • https的客户端和服务端
    • 服务端代码
    • 客户端代码
  • tls的客户端和服务端
    • 服务端
    • 客户端

前言

在公网中,我想加密传输的数据。(1)很自然,我想到了把数据放到http的请求中,然后通过tls确保数据安全。(2)更进一步,只要数据可以解析,则无需http协议,直接通过tls协议加密传输即可。本文分别尝试了这两个方案。

尝试实现方案之前,我们考虑需要实现哪些内容。(1)如何获取证书。(2)golang中如何实现一个https的客户端和服务器。(3)golang中如何实现一个tls的客户端和服务器。(4)http的request和response的构建,发送和解析。(5)对于客户端, 应用层(http)是否应该复用网络层(tcp)的连接; 哪些需求下不能复用; (6)不考虑传输层的网络细节。

注:本文不涉及相关内容的背景知识介绍。本文完整代码见仓库。


生成证书

如果有已经购买的域名,可以申请一个免费的通配符证书,便于日常使用。

没有域名的话:可以通过命令行生成证书,见:windows和linux上证书的增删查。也可以通过go代码来创建证书。


申请免费的证书

首先是安装acme.sh

sudo apt-get -y install socatda1234cao@vultr:~$ curl https://get.acme.sh | sh -s email=da1234cao@163.com% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed
100  1032    0  1032    0     0   4384      0 --:--:-- --:--:-- --:--:--  4410% Total    % Received % Xferd  Average Speed   Time    Time     Time  CurrentDload  Upload   Total   Spent    Left  Speed
100  216k  100  216k    0     0   715k      0 --:--:-- --:--:-- --:--:--  715k
[Fri Aug 11 06:17:18 AM UTC 2023] Installing from online archive.
[Fri Aug 11 06:17:18 AM UTC 2023] Downloading https://github.com/acmesh-official/acme.sh/archive/master.tar.gz
[Fri Aug 11 06:17:19 AM UTC 2023] Extracting master.tar.gz
[Fri Aug 11 06:17:19 AM UTC 2023] Installing to /home/da1234cao/.acme.sh
[Fri Aug 11 06:17:19 AM UTC 2023] Installed to /home/da1234cao/.acme.sh/acme.sh
[Fri Aug 11 06:17:19 AM UTC 2023] Installing alias to '/home/da1234cao/.bashrc'
[Fri Aug 11 06:17:19 AM UTC 2023] OK, Close and reopen your terminal to start using acme.sh
[Fri Aug 11 06:17:19 AM UTC 2023] Installing cron job
8 0 * * * "/home/da1234cao/.acme.sh"/acme.sh --cron --home "/home/da1234cao/.acme.sh" > /dev/null
[Fri Aug 11 06:17:19 AM UTC 2023] Good, bash is found, so change the shebang to use bash as preferred.
[Fri Aug 11 06:17:20 AM UTC 2023] OK
[Fri Aug 11 06:17:20 AM UTC 2023] Install success!

为了使用方便,我这里申请一个泛域名证书。我的域名是在阿里云购买的,所以本文仅尝试获取阿里云的泛域名证书。

参考:阿里云域名使用ACME自动申请免费的通配符https域名证书、acme.sh 使用泛域名|阿里云DNS |免费申请证书。

大概过程是:AccessKey管理->创建子用户->允许open API访问->添加DNS管理权限。将获取到的AccessKey 和 Secret 写到acme.sh.env配置文件里面。

export Ali_Key="*****"
export Ali_Secret="*******"

执行source ~/.bashrc

然后开始申请证书。

sudo ufw status
sudo ufw allow 80# --debug 参数查看执行过程
# 没有web服务,80端口空闲, acme.sh 还能假装自己是一个webserver, 临时听在80 端口, 完成验证
## 如果执行报错;稍等等会再尝试;
acme.sh --issue --dns dns_ali -d *.da1234cao.top --standalone --debug[Fri Aug 11 07:07:43 AM UTC 2023] Your cert is in: /home/da1234cao/.acme.sh/*.da1234cao.top_ecc/*.da1234cao.top.cer
[Fri Aug 11 07:07:43 AM UTC 2023] Your cert key is in: /home/da1234cao/.acme.sh/*.da1234cao.top_ecc/*.da1234cao.top.key
[Fri Aug 11 07:07:43 AM UTC 2023] The intermediate CA cert is in: /home/da1234cao/.acme.sh/*.da1234cao.top_ecc/ca.cer
[Fri Aug 11 07:07:43 AM UTC 2023] And the full chain certs is there: /home/da1234cao/.acme.sh/*.da1234cao.top_ecc/fullchain.cer
[Fri Aug 11 07:07:43 AM UTC 2023] _on_issue_success
# 查看证书信息
openssl x509 -noout -text -in '*.da1234cao.top.cer'Signature Algorithm: ecdsa-with-SHA384Issuer: C = AT, O = ZeroSSL, CN = ZeroSSL ECC Domain Secure Site CAValidityNot Before: Aug 11 00:00:00 2023 GMTNot After : Nov  9 23:59:59 2023 GMTSubject: CN = *.da1234cao.top  <-----# 查看key信息
openssl ec -noout -text -in '*.da1234cao.top.key'
read EC key
Private-Key: (256 bit)

使用Go语言生成自签CA证书

这里有比较详细的介绍:使用Go语言生成自签CA证书

package certificateimport ("crypto/rand""crypto/rsa""crypto/x509""crypto/x509/pkix""encoding/pem""io/ioutil""math/big""time"
)func Gencertificate(output string) error {// ref: https://foreverz.cn/go-cert// 生成私钥priv, err := rsa.GenerateKey(rand.Reader, 2048)if err != nil {return err}// x509证书内容var csr = &x509.Certificate{Version:      3,SerialNumber: big.NewInt(time.Now().Unix()),Subject: pkix.Name{Country:            []string{"CN"},Province:           []string{"Shanghai"},Locality:           []string{"Shanghai"},Organization:       []string{"httpsDemo"},OrganizationalUnit: []string{"httpsDemo"},CommonName:         "da1234cao.top",},NotBefore:             time.Now(),NotAfter:              time.Now().AddDate(1, 0, 0),BasicConstraintsValid: true,IsCA:                  false,KeyUsage:              x509.KeyUsageDigitalSignature | x509.KeyUsageKeyEncipherment,ExtKeyUsage:           []x509.ExtKeyUsage{x509.ExtKeyUsageServerAuth},}// 证书签名certDer, err := x509.CreateCertificate(rand.Reader, csr, csr, priv.Public(), priv)if err != nil {return err}// 二进制证书解析interCert, err := x509.ParseCertificate(certDer)if err != nil {return err}// 证书写入文件pemData := pem.EncodeToMemory(&pem.Block{Type:  "CERTIFICATE",Bytes: interCert.Raw,})if err = ioutil.WriteFile(output+"cert.pem", pemData, 0644); err != nil {panic(err)}// 私钥写入文件keyData := pem.EncodeToMemory(&pem.Block{Type:  "EC PRIVATE KEY",Bytes: x509.MarshalPKCS1PrivateKey(priv),})if err = ioutil.WriteFile(output+"key.pem", keyData, 0644); err != nil {return err}return nil
}

https的客户端和服务端

轮子已经有了,net/http。我没有看到net/http很好的入门教程。只能看下官方文档,网上翻翻一些简单的示例。

下面是一个示例。其中,必须一提的是,http请求结束后,连接可以仍然存在,放到闲置的连接池中。便于后续请求,复用之前的连接。我到源码里面去看了下,没太看懂,可见:Golang Http RoundTrip解析。


服务端代码

启动服务端后,对于/reflect路径的request,构建一个response。注意其中的header和body内容的填充。

func reflect(w http.ResponseWriter, r *http.Request) {log.Println("handle reflect")w.Header().Set("Content-Type", "text/plain; charset=utf-8")w.WriteHeader(http.StatusOK)bodyByte, _ := io.ReadAll(r.Body)log.Println("recv:", string(bodyByte))w.Write(bodyByte)
}func Start() error {listenPort := Conf.ListenPortlistenIp := Conf.ListenIpif listenPort <= 0 || listenPort > 65535 {log.Println("invalid listen port:", listenPort)return errors.New("invalid listen port")}http.HandleFunc("/reflect", reflect)err := http.ListenAndServeTLS(listenIp+":"+strconv.Itoa(listenPort), Conf.Protocol.Https.Certificate, Conf.Protocol.Https.Key, nil)return err
}

客户端代码

客户端可以选择是否验证服务端的证书。验证证书不重要,因为我信任这个域名解析过程(如果DNS没有被污染的话)。数据可以加密传输即可。代码中使用http.NewRequest构建一个请求,然后通过http.Client.Do发送请求(可能会复用之前的连接)。

func New() *http.Client {cli := &http.Client{Transport: &http.Transport{TLSClientConfig: &tls.Config{InsecureSkipVerify: Conf.SkipVerify},},}return cli
}func DoRequest(cli *http.Client, data []byte) (*http.Response, error) {req, err := http.NewRequest("POST", Conf.Protocol+"://"+Conf.ServerIp+":"+strconv.Itoa(Conf.ServerPort)+"/reflect", bytes.NewBuffer(data))if err != nil {log.Println("fail to consstruct request", err)}return cli.Do(req)
}func PrintResponse(resp *http.Response, err error) {if err == nil {if resp.StatusCode == http.StatusOK {body, _ := ioutil.ReadAll(resp.Body)log.Print(string(body))}log.Println("http status code:", resp.StatusCode)} else {log.Print(err)}
}

tls的客户端和服务端

当我们的应用层不需要http协议,只需要对应用层的数据进行加密传输。我们尝试下面的代码(下面代码中,我手动构建了http的request和response,是为了保证接收到完整的数据后再处理,仅此而已)。 使用的库是crypto/tls

服务端

func TLSDataHandle(conn net.Conn) {for {// 读取requestioBuf := bufio.NewReader(conn)req, err := http.ReadRequest(ioBuf)if err != nil {log.Println(err)return}defer req.Body.Close()defer conn.Close()bodyByte, _ := io.ReadAll(req.Body)log.Println("recv: ", string(bodyByte))// 构建一个responsebuf := bytes.NewBuffer(nil)buf.WriteString("HTTP/1.1 200 OK\r\n")buf.WriteString("Content-Length: " + strconv.Itoa(len(bodyByte)) + "\r\n")buf.WriteString("\r\n")buf.Write(bodyByte)// 发送responsebuf.WriteTo(conn)}
}func TLSStart() error {listenPort := Conf.ListenPortlistenIp := Conf.ListenIpif listenPort <= 0 || listenPort > 65535 {log.Println("invalid listen port:", listenPort)return errors.New("invalid listen port")}cert, err := tls.LoadX509KeyPair(Conf.Protocol.Https.Certificate, Conf.Protocol.Https.Key)if err != nil {log.Println("fail to laod x509 key pair", err)}config := &tls.Config{Certificates: []tls.Certificate{cert}}listener, _ := tls.Listen("tcp", listenIp+":"+strconv.Itoa(listenPort), config)for {conn, _ := listener.Accept()go TLSDataHandle(conn)}
}

客户端

func NewTlsConn() (net.Conn, error) {config := &tls.Config{InsecureSkipVerify: Conf.SkipVerify}return tls.Dial("tcp", Conf.ServerIp+":"+strconv.Itoa(Conf.ServerPort), config)
}func SendRequest(conn net.Conn, data []byte) {// 构造一个请求buf := bytes.NewBuffer(nil)buf.WriteString("POST /no_thing")buf.WriteString(" HTTP/1.1\r\n")buf.WriteString("Content-Length: " + strconv.Itoa(len(data)) + "\r\n")buf.WriteString("\r\n")buf.Write(data)// 发送请求buf.WriteTo(conn)// 读取回复ioBuf := bufio.NewReader(conn)res, err := http.ReadResponse(ioBuf, nil)if err != nil {log.Println(err)return}defer res.Body.Close()bodyByte, _ := io.ReadAll(res.Body)log.Println(string(bodyByte))
}

相关文章:

go入门实践五-实现一个https服务

文章目录 前言生成证书申请免费的证书使用Go语言生成自签CA证书 https的客户端和服务端服务端代码客户端代码 tls的客户端和服务端服务端客户端 前言 在公网中&#xff0c;我想加密传输的数据。(1)很自然&#xff0c;我想到了把数据放到http的请求中&#xff0c;然后通过tls确…...

面试之快速学习STL-set

set 和 map、multimap 容器不同&#xff0c;使用 set 容器存储的各个键值对&#xff0c;要求键 key 和值 value 必须相等使用 set 容器存储的各个元素的值必须各不相同从语法上讲 set 容器并没有强制对存储元素的类型做 const 修饰, 即 set 容器中存储的元素的值是可以修改的。…...

leetcode 1614.括号的最大嵌套深度

⭐️ 题目描述 &#x1f31f;leetcode链接&#xff1a;括号的最大嵌套深度 ps&#xff1a; 使用数据结构栈来存储 ( 在使用 maxDepth 变量记录栈顶 top 的最大值&#xff0c;当遇到 ) 时删除栈顶元素。举个例子 (1)((2))(((3)))&#xff0c;当遇到第一个 ( 时 top 1&#xff…...

Ajax 笔记(四)—— Ajax 进阶

笔记目录 4. Ajax 进阶4.1 同步代码和异步代码4.2 回调函数地狱4.2.1 解决方法一&#xff1a;Promise 链式调用4.2.2 解决方法二&#xff1a;async 函数和 await 4.3 Promise.all 静态方法4.4 事件循环4.4.1 事件循环4.4.2 宏任务与微任务 4.5 案例4.5.1 案例一-商品分类4.5.2 …...

Linux 5种网络IO模型

Linux IO模型 网络IO的本质是socket的读取&#xff0c;socket在linux系统被抽象为流&#xff0c;IO可以理解为对流的操作。刚才说了&#xff0c;对于一次IO访问&#xff08;以read举例&#xff09;&#xff0c;数据会先被拷贝到操作系统内核的缓冲区中&#xff0c;然后才会从操…...

Linux多线程【初识线程】

✨个人主页&#xff1a; 北 海 &#x1f389;所属专栏&#xff1a; Linux学习之旅 &#x1f383;操作环境&#xff1a; CentOS 7.6 阿里云远程服务器 文章目录 &#x1f307;前言&#x1f3d9;️正文1、什么是线程&#xff1f;1.1、基本概念1.2、线程理解1.3、进程与线程的关系…...

Python爬虫的应用场景与技术难点:如何提高数据抓取的效率与准确性

作为专业爬虫程序员&#xff0c;我们在数据抓取过程中常常面临效率低下和准确性不高的问题。但不用担心&#xff01;本文将与大家分享Python爬虫的应用场景与技术难点&#xff0c;并提供一些实际操作价值的解决方案。让我们一起来探索如何提高数据抓取的效率与准确性吧&#xf…...

Spring Cloud Gateway系例—参数配置(CORS 配置、SSL、元数据)

一、CORS 配置 你可以配置网关来控制全局或每个路由的 CORS 行为。两者都提供同样的可能性。 1. Global CORS 配置 “global” CORS配置是对 Spring Framework CorsConfiguration 的URL模式的映射。下面的例子配置了 CORS。 Example 77. application.yml spring:cloud:gat…...

QT:UI控件(按设计师界面导航界面排序)

基础部分 创建新项目&#xff1a;QWidget&#xff0c;QMainWindow&#xff0c;QDialog QMainWindow继承自QWidget&#xff0c;多了菜单栏; QDialog继承自QWidget&#xff0c;多了对话框 QMainWindow 菜单栏和工具栏&#xff1a; Bar: 菜单栏&#xff1a;QMenuBar&#xff0…...

AtCoder Beginner Contest 314-A/B/C

A - 3.14 题目要求输出圆周率保留小数几位后的结果 用字符串来存储长串的圆周率&#xff0c;截取字符串就可以了。 #include<iostream> using namespace std; int main() {string s"3.1415926535897932384626433832795028841971693993751058209749445923078164062…...

讯飞星火、文心一言和通义千问同时编“贪吃蛇”游戏,谁会胜出?

同时向讯飞星火、文心一言和通义千问三个国产AI模型提个相同的问题&#xff1a; “python 写一个贪吃蛇的游戏代码” 看哪一家AI写的程序直接能用&#xff0c;谁就胜出&#xff01; 讯飞星火 讯飞星火给出的代码&#xff1a; import pygame import sys import random# 初…...

数学建模之“聚类分析”原理详解

一、聚类分析的概念 1、聚类分析&#xff08;又称群分析&#xff09;是研究样品&#xff08;或指标&#xff09;分类问题的一种多元统计法。 2、主要方法&#xff1a;系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。这里主要介绍系统聚类法…...

【面试问题】当前系统查询接口需要去另外2个系统库中实时查询返回结果拼接优化思路

文章目录 场景描述优化思路分享资源 场景描述 接口需要从系统1查询数据&#xff0c;查出的每条数据需要从另一个系统2中再去查询某些字段&#xff0c; 比如&#xff1a;从系统1中查出100条数据&#xff0c;每条数据需要去系统2中再去查询出行数据&#xff0c;可能系统1一条数…...

Scada和lloT有什么区别?

人们经常混淆SCADA&#xff08;监督控制和数据采集&#xff09;和IIoT&#xff08;工业物联网&#xff09;。虽然SCADA系统已经存在多年&#xff0c;但IIoT是一种相对较新的技术&#xff0c;由于其能够收集和分析来自各种设备的大量数据而越来越受欢迎。SCADA和IIoT都用于提高工…...

Conda(Python管理工具)

1.简介 Conda是一个开源的包管理器和环境管理器&#xff0c;主要用于管理Python&#xff0c;但也可以用于其他语言。它主要用于安装、管理和更新软件包及其依赖项&#xff0c;以及创建、保存、加载和切换不同的开发环境。Conda可以在Windows、MacOS和Linux系统上使用&#xff…...

(14)嵌套列表,Xpath路径表达式,XML增删查改,Implicit,Operator,Xml序列化,浅拷贝与深拷贝

一、作业问题 1、问&#xff1a;listbox1.items[i]返回的object是指的字符串吗&#xff1f; 答&#xff1a;items是真正的对象集合&#xff0c;在Add时加的是Person对象p&#xff0c;则里面的item就是Person对象p。 但是&#xff0c;在listbox1显…...

软考笔记 信息管理师 高级

文章目录 介绍考试内容与时间教材 预习课程一些例子课本结构考试内容 1 信息与信息化1.1 信息与信息化1.1.1 信息1.1.2 信息系统1.1.3 信息化 1.2 现代化基础设施1.2.1 新型基础建设1.2.2 工业互联网1.2.3 车联网&#xff1a; 1.3 现代化创新发展1.3.1 农业农村现代化1.3.2 两化…...

124、SpringMVC处理一个请求的流程是怎样的?

SpringMVC处理一个请求的流程是怎样的? 一、处理流程二、流程图三、额外扩展(可不看)一、处理流程 Tomcat接收到一个请求后,会交给DispatcherServlet进行处理DispatcherServlet会根据请求的path找到对应的HandlerHandler就是一个加了@RequestMapping的方法,然后就利用反射…...

低成本高收益,五金店小程序的秘密武器

如今&#xff0c;随着移动互联网的快速发展&#xff0c;小程序成为了许多企业进行线上业务拓展的重要方式之一。对于那些不懂代码的人来说&#xff0c;制作一个小程序可能会让人觉得困难重重。但是&#xff0c;现在&#xff0c;借助乔拓云平台&#xff0c;不懂代码的人也能轻松…...

C语言宏定义详解

文章目录 宏定义无参宏定义带参宏定义固定参数宏可变参数宏 多语句宏处理连接符条件判断常见预定义宏 宏在C语言中是一段有名称的代码片段&#xff08;使用#define定义&#xff09;&#xff0c;在预处理阶段会把程序中的宏名替换为对应的代码片段&#xff0c;然后才进入编译阶段…...

Appium+python自动化(十六)- ADB命令

简介 Android 调试桥(adb)是多种用途的工具&#xff0c;该工具可以帮助你你管理设备或模拟器 的状态。 adb ( Android Debug Bridge)是一个通用命令行工具&#xff0c;其允许您与模拟器实例或连接的 Android 设备进行通信。它可为各种设备操作提供便利&#xff0c;如安装和调试…...

前端导出带有合并单元格的列表

// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...

UR 协作机器人「三剑客」:精密轻量担当(UR7e)、全能协作主力(UR12e)、重型任务专家(UR15)

UR协作机器人正以其卓越性能在现代制造业自动化中扮演重要角色。UR7e、UR12e和UR15通过创新技术和精准设计满足了不同行业的多样化需求。其中&#xff0c;UR15以其速度、精度及人工智能准备能力成为自动化领域的重要突破。UR7e和UR12e则在负载规格和市场定位上不断优化&#xf…...

如何在最短时间内提升打ctf(web)的水平?

刚刚刷完2遍 bugku 的 web 题&#xff0c;前来答题。 每个人对刷题理解是不同&#xff0c;有的人是看了writeup就等于刷了&#xff0c;有的人是收藏了writeup就等于刷了&#xff0c;有的人是跟着writeup做了一遍就等于刷了&#xff0c;还有的人是独立思考做了一遍就等于刷了。…...

Unity | AmplifyShaderEditor插件基础(第七集:平面波动shader)

目录 一、&#x1f44b;&#x1f3fb;前言 二、&#x1f608;sinx波动的基本原理 三、&#x1f608;波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、&#x1f30a;波动优化…...

docker 部署发现spring.profiles.active 问题

报错&#xff1a; org.springframework.boot.context.config.InvalidConfigDataPropertyException: Property spring.profiles.active imported from location class path resource [application-test.yml] is invalid in a profile specific resource [origin: class path re…...

Java数值运算常见陷阱与规避方法

整数除法中的舍入问题 问题现象 当开发者预期进行浮点除法却误用整数除法时,会出现小数部分被截断的情况。典型错误模式如下: void process(int value) {double half = value / 2; // 整数除法导致截断// 使用half变量 }此时...

C#学习第29天:表达式树(Expression Trees)

目录 什么是表达式树&#xff1f; 核心概念 1.表达式树的构建 2. 表达式树与Lambda表达式 3.解析和访问表达式树 4.动态条件查询 表达式树的优势 1.动态构建查询 2.LINQ 提供程序支持&#xff1a; 3.性能优化 4.元数据处理 5.代码转换和重写 适用场景 代码复杂性…...

Python Einops库:深度学习中的张量操作革命

Einops&#xff08;爱因斯坦操作库&#xff09;就像给张量操作戴上了一副"语义眼镜"——让你用人类能理解的方式告诉计算机如何操作多维数组。这个基于爱因斯坦求和约定的库&#xff0c;用类似自然语言的表达式替代了晦涩的API调用&#xff0c;彻底改变了深度学习工程…...

vue3 daterange正则踩坑

<el-form-item label"空置时间" prop"vacantTime"> <el-date-picker v-model"form.vacantTime" type"daterange" start-placeholder"开始日期" end-placeholder"结束日期" clearable :editable"fal…...