本文实例讲述了Go语言通过http抓取网页的方法。分享给大家供大家参考。具体实现方法如下:

图片 1

本文实例讲述了Go语言Web编程实现Get和Post请求发送与解析的方法。分享给大家供大家参考,具体如下:

复制代码 代码如下:

在Go语言里,标准库里面已经提供了很完整的net/http包了,很多Go语言框架的也是基于该包进行封装的。

这是一篇入门文章,通过一个简单的例子介绍Golang的Web编程主要用到的技术。

package main
import (
 “fmt”
 “log”
 “net/http”
 “net/url”
 “io/ioutil”
)
//指定代理ip
func getTransportFieldURL(proxy_addr *string) (transport
*http.Transport) {
 url_i := url.URL{}
 url_proxy, _ := url_i.Parse(*proxy_addr)
 transport = &http.Transport{Proxy : http.ProxyURL(url_proxy)}
 return
}
//从环境变量$http_proxy或$HTTP_PROXY中获取HTTP代理地址
func getTransportFromEnvironment() (transport *http.Transport) {
 transport = &http.Transport{Proxy : http.ProxyFromEnvironment}
 return
}
func fetch(url , proxy_addr *string) (html string) {
 transport := getTransportFieldURL(proxy_addr)
 client := &http.Client{Transport : transport}
 req, err := http.NewRequest(“GET”, *url, nil)
 if err != nil {
  log.Fatal(err.Error())
 }
 resp, err := client.Do(req)
 if err != nil {
  log.Fatal(err.Error())
 }
 if resp.StatusCode == 200 {
  robots, err := ioutil.ReadAll(resp.Body);
  resp.Body.Close()
  if err != nil {
   log.Fatal(err.Error())
  }
  html = string(robots);
 } else {
  html = “”
 }
 return
}
func main() {
 proxy_addr := “”
 url := “”
 html := fetch(&url, &proxy_addr)
 fmt.Println(html)
}

HTTP客户端

1.基本方法

Go语言在Client端的请求方法已经实现了一个默认的Client,即DefaultClient,当我们只需要调用基本的Http操作,不需要自己在进行一层封装添加其他东西时,则Go语言里面会调用该默认Client的Http方法

// DefaultClient is the default Client and is used by Get, Head, and
Post.

var DefaultClient = &Client{}

下面,介绍一下这些基本的Client端的方法

·http.Get()

// 在Go里面的实现(采用默认的Client调用)

func Get(url string) (resp *Response, err error)

{

return DefaultClient.Get(url)

}

例子

resp, err := http.Get(“”)

if err != nil

{

    return

}

defer resp.Body.Close() io.Copy(os.Stdout, resp.Body)

·http.Post()

func Post(url string, contentType string, body io.Reader) (resp
*Response, err error) {

    return DefaultClient.Post(url, contentType, body)

}

例子

resp, err :=
http.Post(“”,
“application/x-www-form-urlencoded”,
strings.NewReader(“mobile=xxxxxxxxxx&isRemberPwd=1”))

if err != nil

{

return

}

defer resp.Body.Close()

body, err := ioutil.ReadAll(resp.Body)

if err != nil {

return

}

fmt.Println(string(body))

·http.PostForm()

PostForm实现了编码为application/x-www-form-urlencoded的表单提交。

func PostForm(url string, data url.Values) (resp *Response, err
error)

{

    return DefaultClient.PostForm(url, data)

}

例子:

postParam := url.Values{ “mobile”: {“xxxxx”}, “isRemberPwd”: {1}, }

resp, err :=
http.PostForm(“”,
postParam)

if err != nil

{

return

}

defer resp.Body.Close()

body, err :=ioutil.ReadAll(resp.Body)

if err != nil

{

return

}

fmt.Println(string(body))

·http.Head()

Head只获取请求的url的头部数据

func Head(url string) (resp *Response, err error)

{

    return DefaultClient.Head(url)

}

// head实现,实际上也是调用了Do方法

func (c *Client) Head(url string) (resp *Response, err error)

{

    req, err := NewRequest(“HEAD”, url, nil)

    if err != nil

{

    return nil, err

}

return c.Do(req)

·http.Do()

当上面的方法不满足需求时,比如想自定义头部,传递cookie时,则就需要使用http的Do方法了

req, err := http.NewRequest(“GET”, “”, nil)

if err != nil

{ return }

req.Header.Add(“User-Agent”,”I am sean”)

client := &http.Client{}

resp ,err := client.Do(req)

if err != nil

{ fmt.Println(string(resp.Body)) }

在这一篇,就先这样讲一下Go语言中关于http的基础用法吧,关于Go的高级用法,下次再续,谢谢。

参考:《Go语言编程》

Go
net/http包

文章结构包括:

希望本文所述对大家的Go语言程序设计有所帮助。

  1. Client-Get 请求
  2. Client-Post 请求
  3. Server 处理 Get 和 Post 数据

您可能感兴趣的文章:

  • GO语言实现的http抓包分析工具pproxy介绍
  • go语言实现一个简单的http客户端抓取远程url的方法
  • go语言在请求http时加入自定义http
    header的方法
  • go语言简单的处理http请求的函数实例
  • go语言实现一个最简单的http文件服务器实例
  • go语言实现简单http服务的方法
  • Go语言服务器开发实现最简单HTTP的GET与POST接口
  • Go语言实现简单Web服务器的方法
  • Go语言实现简单的一个静态WEB服务器
  • Go语言实现的一个简单Web服务器
  • Go语言使用HTTP包创建WEB服务器的方法

在数据的封装中,我们部分采用了json,因而本文也涉及到Golang中json的编码和解码。

一、Client-Get

复制代码 代码如下:

package main
import (
        “fmt”
        “net/url”
        “net/http”
        “io/ioutil”
        “log”
)
func main() {
        u, _ := url.Parse(“”)
        q := u.Query()
        q.Set(“username”, “user”)
        q.Set(“password”, “passwd”)
        u.RawQuery = q.Encode()
        res, err := http.Get(u.String());
        if err != nil {
              log.Fatal(err) return
        }
        result, err := ioutil.ReadAll(res.Body)
        res.Body.Close()
        if err != nil {
              log.Fatal(err) return
        }
        fmt.Printf(“%s”, result)
}

二、Client-Post

复制代码 代码如下:

package main
import (
        “fmt”
        “net/url”
        “net/http”
        “io/ioutil”
        “log”
        “bytes”
        “encoding/json”
)
type Server struct {
        ServerName string
        ServerIP   string
}
type Serverslice struct {
        Servers []Server
        ServersID  string
}
func main() {
        var s Serverslice
        var newServer Server;
        newServer.ServerName = “Guangzhou_VPN”;
        newServer.ServerIP = “127.0.0.1”
        s.Servers = append(s.Servers, newServer)
        s.Servers = append(s.Servers, Server{ServerName:
“Shanghai_VPN”, ServerIP: “127.0.0.2”})
        s.Servers = append(s.Servers, Server{ServerName: “Beijing_VPN”,
ServerIP: “127.0.0.3”})
        s.ServersID = “team1”
        b, err := json.Marshal(s)
        if err != nil {
                fmt.Println(“json err:”, err)
        }
        body := bytes.NewBuffer([]byte(b))
        res,err := http.Post(“”,
“application/json;charset=utf-8”, body)
        if err != nil {
                log.Fatal(err)
                return
        }
        result, err := ioutil.ReadAll(res.Body)
        res.Body.Close()
        if err != nil {
                log.Fatal(err)
                return
        }
        fmt.Printf(“%s”, result)
}

三、Server

复制代码 代码如下:

package main
import (
        “fmt”
        “net/http”
        “strings”
        “html”
        “io/ioutil”
        “encoding/json”
)
type Server struct {
        ServerName string
        ServerIP   string
}
type Serverslice struct {
        Servers []Server
        ServersID  string
}
func main() {
        http.HandleFunc(“/”, handler)
        http.ListenAndServe(“:9001”, nil)
}
func handler(w http.ResponseWriter, r *http.Request) {
        r.ParseForm() //解析参数,默认是不会解析的
        fmt.Fprintf(w, “Hi, I love you %s”,
html.EscapeString(r.URL.Path[1:]))
        if r.Method == “GET” {
                fmt.Println(“method:”, r.Method) //获取请求的方法
                fmt.Println(“username”, r.Form[“username”])
                fmt.Println(“password”, r.Form[“password”])
                for k, v := range r.Form {
                        fmt.Print(“key:”, k, “; “)
                        fmt.Println(“val:”, strings.Join(v, “”))
                }
        } else if r.Method == “POST” {
                result, _:= ioutil.ReadAll(r.Body)
                r.Body.Close()
                fmt.Printf(“%s\n”, result)
                //未知类型的推荐处理方法
                var f interface{}
                json.Unmarshal(result, &f)
                m := f.(map[string]interface{})
                for k, v := range m {
                        switch vv := v.(type) {
                                case string:
                                        fmt.Println(k, “is string”,
vv)
                                case int:
                                        fmt.Println(k, “is int”, vv)
                                case float64:
                                        fmt.Println(k,”is float64″,vv)
                                case []interface{}:
                                        fmt.Println(k, “is an array:”)
                                        for i, u := range vv {
                                                fmt.Println(i, u)
                                        }
                                default:
                                        fmt.Println(k, “is of a type I
don’t know how to handle”)
                         }
                  }
                 //结构已知,解析到结构体
                 var s Serverslice;
                 json.Unmarshal([]byte(result), &s)
                 fmt.Println(s.ServersID);
                 for i:=0; i<len(s.Servers); i++ {
                         fmt.Println(s.Servers[i].ServerName)
                         fmt.Println(s.Servers[i].ServerIP)
                 }
        }
}

希望本文所述对大家Go语言程序设计有所帮助。

您可能感兴趣的文章:

  • 基于Django URL传参 FORM表单传数据 get
    post的用法实例
  • Go语言中利用http发起Get和Post请求的方法示例
  • Go语言服务器开发实现最简单HTTP的GET与POST接口
  • Go语言开发发送Get和Post请求的示例

Author

发表评论

电子邮件地址不会被公开。 必填项已用*标注