go语言基础---8

Http请求报文格式分析

package mainimport ("fmt""net"
)func main() {//监听listener, err := net.Listen("tcp", ":8000")if err != nil {fmt.Println("listener err", err)return}defer listener.Close()//阻塞等待用户的连接conn, err := listener.Accept()if err != nil {fmt.Println("Accept err = ", err)return}defer conn.Close()//接收客户端的数据buf := make([]byte, 1024*4)readSize, err := conn.Read(buf)if readSize == 0 { //对方断开，出问题了fmt.Println("Read err = ", err)return}fmt.Printf("#%v#", string(buf[:readSize]))}

#GET / HTTP/1.1 //请求行
Host: 127.0.0.1:8000
Connection: keep-alive
Cache-Control: max-age=0
sec-ch-ua: "Chromium";v="116", "Not)A;Brand";v="24", "Microsoft Edge";v="116"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "Windows"
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.69
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Sec-Fetch-Site: none
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Sec-Fetch-Dest: document
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6#

HTTP编程

go语言标准库内建提供了net/http包，涵盖了HTTP客户端和服务端的具体实现。使用net/http包，我们可以很方便地编写HTTP客户端或服务端的程序。

func ListenAndServe(addr string, handler Handler) error

ListenAndServe监听TCP地址addr，并且会使用handler参数调用Serve函数处理接收到的连接。handler参数一般会设为nil，此时会使用DefaultServeMux。

package mainimport "net/http"// HandleConn 第一个参数，给客户端回复数据，req 读取客户端发送的数据
func HandleConn(w http.ResponseWriter, req *http.Request) {_, err := w.Write([]byte("hello go")) //给客户端回复数据if err != nil {return}
}func main() {//HandleFunc注册一个处理器函数handler和对应的模式pattern（注册到DefaultServeMux）。//ServeMux的文档解释了模式的匹配机制。//注册处理函数，用户连接，自动调用指定的处理函数//func HandleFunc(pattern string, handler func(ResponseWriter, *Request))http.HandleFunc("/", HandleConn)//监听绑定//ListenAndServe监听TCP地址addr，//并且会使用handler参数调用Serve函数处理接收到的连接。handler参数一般会设为nil，此时会使用DefaultServeMux。http.ListenAndServe(":8000", nil)
}

http服务器获取客户端的一些信息

type Request struct {// Method指定HTTP方法（GET、POST、PUT等）。对客户端，""代表GET。Method string// URL在服务端表示被请求的URI，在客户端表示要访问的URL。//// 在服务端，URL字段是解析请求行的URI（保存在RequestURI字段）得到的，// 对大多数请求来说，除了Path和RawQuery之外的字段都是空字符串。// （参见RFC 2616, Section 5.1.2）//// 在客户端，URL的Host字段指定了要连接的服务器，// 而Request的Host字段（可选地）指定要发送的HTTP请求的Host头的值。URL *url.URL// 接收到的请求的协议版本。本包生产的Request总是使用HTTP/1.1Proto      string // "HTTP/1.0"ProtoMajor int    // 1ProtoMinor int    // 0// Header字段用来表示HTTP请求的头域。如果头域（多行键值对格式）为：//	accept-encoding: gzip, deflate//	Accept-Language: en-us//	Connection: keep-alive// 则：//	Header = map[string][]string{//		"Accept-Encoding": {"gzip, deflate"},//		"Accept-Language": {"en-us"},//		"Connection": {"keep-alive"},//	}// HTTP规定头域的键名（头名）是大小写敏感的，请求的解析器通过规范化头域的键名来实现这点。// 在客户端的请求，可能会被自动添加或重写Header中的特定的头，参见Request.Write方法。Header Header// Body是请求的主体。//// 在客户端，如果Body是nil表示该请求没有主体买入GET请求。// Client的Transport字段会负责调用Body的Close方法。//// 在服务端，Body字段总是非nil的；但在没有主体时，读取Body会立刻返回EOF。// Server会关闭请求的主体，ServeHTTP处理器不需要关闭Body字段。Body io.ReadCloser// ContentLength记录相关内容的长度。// 如果为-1，表示长度未知，如果>=0，表示可以从Body字段读取ContentLength字节数据。// 在客户端，如果Body非nil而该字段为0，表示不知道Body的长度。ContentLength int64// TransferEncoding按从最外到最里的顺序列出传输编码，空切片表示"identity"编码。// 本字段一般会被忽略。当发送或接受请求时，会自动添加或移除"chunked"传输编码。TransferEncoding []string// Close在服务端指定是否在回复请求后关闭连接，在客户端指定是否在发送请求后关闭连接。Close bool// 在服务端，Host指定URL会在其上寻找资源的主机。// 根据RFC 2616，该值可以是Host头的值，或者URL自身提供的主机名。// Host的格式可以是"host:port"。//// 在客户端，请求的Host字段（可选地）用来重写请求的Host头。// 如过该字段为""，Request.Write方法会使用URL字段的Host。Host string// Form是解析好的表单数据，包括URL字段的query参数和POST或PUT的表单数据。// 本字段只有在调用ParseForm后才有效。在客户端，会忽略请求中的本字段而使用Body替代。Form url.Values// PostForm是解析好的POST或PUT的表单数据。// 本字段只有在调用ParseForm后才有效。在客户端，会忽略请求中的本字段而使用Body替代。PostForm url.Values// MultipartForm是解析好的多部件表单，包括上传的文件。// 本字段只有在调用ParseMultipartForm后才有效。// 在客户端，会忽略请求中的本字段而使用Body替代。MultipartForm *multipart.Form// Trailer指定了会在请求主体之后发送的额外的头域。//// 在服务端，Trailer字段必须初始化为只有trailer键，所有键都对应nil值。// （客户端会声明哪些trailer会发送）// 在处理器从Body读取时，不能使用本字段。// 在从Body的读取返回EOF后，Trailer字段会被更新完毕并包含非nil的值。// （如果客户端发送了这些键值对），此时才可以访问本字段。//// 在客户端，Trail必须初始化为一个包含将要发送的键值对的映射。（值可以是nil或其终值）// ContentLength字段必须是0或-1，以启用"chunked"传输编码发送请求。// 在开始发送请求后，Trailer可以在读取请求主体期间被修改，// 一旦请求主体返回EOF，调用者就不可再修改Trailer。//// 很少有HTTP客户端、服务端或代理支持HTTP trailer。Trailer Header// RemoteAddr允许HTTP服务器和其他软件记录该请求的来源地址，一般用于日志。// 本字段不是ReadRequest函数填写的，也没有定义格式。// 本包的HTTP服务器会在调用处理器之前设置RemoteAddr为"IP:port"格式的地址。// 客户端会忽略请求中的RemoteAddr字段。RemoteAddr string// RequestURI是被客户端发送到服务端的请求的请求行中未修改的请求URI// （参见RFC 2616, Section 5.1）// 一般应使用URI字段，在客户端设置请求的本字段会导致错误。RequestURI string// TLS字段允许HTTP服务器和其他软件记录接收到该请求的TLS连接的信息// 本字段不是ReadRequest函数填写的。// 对启用了TLS的连接，本包的HTTP服务器会在调用处理器之前设置TLS字段，否则将设TLS为nil。// 客户端会忽略请求中的TLS字段。TLS *tls.ConnectionState
}

package mainimport ("fmt""net/http"
)// HandleConn 第一个参数，给客户端回复数据，req 读取客户端发送的数据
func HandleConn(w http.ResponseWriter, req *http.Request) {fmt.Println("r.Method = ", req.Method) //r.Method =  GETfmt.Println("r.URL = ", req.URL)       // /fmt.Println("Header = ", req.Header)fmt.Println("Body = ", req.Body)_, err := w.Write([]byte("hello go")) //给客户端回复数据if err != nil {return}
}func main() {//HandleFunc注册一个处理器函数handler和对应的模式pattern（注册到DefaultServeMux）。//ServeMux的文档解释了模式的匹配机制。//注册处理函数，用户连接，自动调用指定的处理函数//func HandleFunc(pattern string, handler func(ResponseWriter, *Request))http.HandleFunc("/", HandleConn)//监听绑定//ListenAndServe监听TCP地址addr，//并且会使用handler参数调用Serve函数处理接收到的连接。handler参数一般会设为nil，此时会使用DefaultServeMux。http.ListenAndServe(":8000", nil)
}

http客户端编程

type Response struct {Status     string // 例如"200 OK"StatusCode int    // 例如200Proto      string // 例如"HTTP/1.0"ProtoMajor int    // 例如1ProtoMinor int    // 例如0// Header保管头域的键值对。// 如果回复中有多个头的键相同，Header中保存为该键对应用逗号分隔串联起来的这些头的值// （参见RFC 2616 Section 4.2）// 被本结构体中的其他字段复制保管的头（如ContentLength）会从Header中删掉。//// Header中的键都是规范化的，参见CanonicalHeaderKey函数Header Header// Body代表回复的主体。// Client类型和Transport类型会保证Body字段总是非nil的，即使回复没有主体或主体长度为0。// 关闭主体是调用者的责任。// 如果服务端采用"chunked"传输编码发送的回复，Body字段会自动进行解码。Body io.ReadCloser// ContentLength记录相关内容的长度。// 其值为-1表示长度未知（采用chunked传输编码）// 除非对应的Request.Method是"HEAD"，其值>=0表示可以从Body读取的字节数ContentLength int64// TransferEncoding按从最外到最里的顺序列出传输编码，空切片表示"identity"编码。TransferEncoding []string// Close记录头域是否指定应在读取完主体后关闭连接。（即Connection头）// 该值是给客户端的建议，Response.Write方法的ReadResponse函数都不会关闭连接。Close bool// Trailer字段保存和头域相同格式的trailer键值对，和Header字段相同类型Trailer Header// Request是用来获取此回复的请求// Request的Body字段是nil（因为已经被用掉了）// 这个字段是被Client类型发出请求并获得回复后填充的Request *Request// TLS包含接收到该回复的TLS连接的信息。 对未加密的回复，本字段为nil。// 返回的指针是被（同一TLS连接接收到的）回复共享的，不应被修改。TLS *tls.ConnectionState
}

package mainimport ("fmt""net/http"
)func main() {response, err := http.Get("http://www.baidu.com")if err != nil {fmt.Println("Get response err = ", err)return}defer response.Body.Close() //内容在body里面fmt.Println("response.status = ", response.Status)         //response.status =  200 OKfmt.Println("response.StatusCode = ", response.StatusCode) //200fmt.Println("response.Header = ", response.Header)//fmt.Println("response.Body = ", response.Body) //response.Body =  &{[] 0xc000226080 <nil> <nil>}buf := make([]byte, 4*1024)var tmp stringfor true {BodySize, err := response.Body.Read(buf)if BodySize == 0 {fmt.Println("read err = ", err)break}tmp += string(buf[:BodySize])}fmt.Println("tmp = ", tmp)
}

单任务百度贴吧小爬虫

package mainimport ("fmt""net/http""os""strconv"
)// https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=150// HttpGet 爬取网页内容
func HttpGet(url string) (result string, err error) {response, err1 := http.Get(url)if err1 != nil {err = err1return}defer response.Body.Close()//读取网页bodybuf := make([]byte, 1024*4)for true {readSize, err := response.Body.Read(buf)if readSize == 0 { //读取结束，或者出问题fmt.Println("response body read err = ", err)break}result += string(buf[:readSize])}return
}func DoWork(start, end int) {fmt.Printf("正在爬取%d到%d的页面\n", start, end)//明确目标(要知道你准备在那个范围或者网站去搜索)for i := start; i <= end; i++ {//strconv.Itoa((i-1)*50)//整型转stringurl := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)fmt.Println("url =", url)//爬(将所有的网站的内容全部爬下来)result, err := HttpGet(url)if err != nil {fmt.Println("HttpGet err = ", err)continue}//把内容写入到文件fileName := strconv.Itoa(1) + ".html"file, err := os.Create(fileName)if err != nil {fmt.Println("create err = ", err)continue}_, err1 := file.WriteString(result)if err1 != nil {fmt.Println("write string err = ", err)continue} //写内容err2 := file.Close()if err2 != nil {fmt.Println("close err = ", err2)continue} //关闭文件}
}
func main() {var start, end intfmt.Println("请输入起始页(>=1):")fmt.Scan(&start)fmt.Println("请输入终止页(>=起始页):")fmt.Scan(&end)DoWork(start, end)
}

并发版网络爬虫

package mainimport ("fmt""net/http""os""strconv"
)// https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=150// HttpGet 爬取网页内容
func httpGet1(url string) (result string, err error) {response, err1 := http.Get(url)if err1 != nil {err = err1return}defer response.Body.Close()//读取网页bodybuf := make([]byte, 1024*4)for true {readSize, err := response.Body.Read(buf)if readSize == 0 { //读取结束，或者出问题fmt.Println("response body read err = ", err)break}result += string(buf[:readSize])}return
}// 爬取一个网页
func SpiderPage(i int, page chan int) {//strconv.Itoa((i-1)*50)//整型转stringurl := "https://tieba.baidu.com/f?kw=%E7%BB%9D%E5%9C%B0%E6%B1%82%E7%94%9F&ie=utf-8&pn=" + strconv.Itoa((i-1)*50)fmt.Printf("真正爬%d页的网页:%s\n", i, url)//爬(将所有的网站的内容全部爬下来)result, err := httpGet1(url)if err != nil {fmt.Println("HttpGet err = ", err)return}//把内容写入到文件fileName := strconv.Itoa(i) + ".html"file, err := os.Create(fileName)if err != nil {fmt.Println("create err = ", err)return}_, err1 := file.WriteString(result)if err1 != nil {fmt.Println("write string err = ", err)return} //写内容err2 := file.Close()if err2 != nil {fmt.Println("close err = ", err2)return} //关闭文件page <- i //写i
}
func doWork1(start, end int) {fmt.Printf("正在爬取%d到%d的页面\n", start, end)page := make(chan int)//明确目标(要知道你准备在那个范围或者网站去搜索)for i := start; i <= end; i++ {go SpiderPage(i, page)}for i := start; i <= end; i++ {fmt.Printf("第%d个页面爬取完成\n", <-page)}
}
func main() {var start, end intfmt.Println("请输入起始页(>=1):")fmt.Scan(&start)fmt.Println("请输入终止页(>=起始页):")fmt.Scan(&end)doWork1(start, end)
}