全网整合营销服务商

电脑端+手机端+微信端=数据同步管理

免费咨询热线:400-708-3566

如何用Golang实现并发HTTP请求_Golang 并发HTTP请求实践

使用goroutine和WaitGroup可实现Go语言中的并发HTTP请求,通过示例代码展示了基础并发、channel收集结果及worker池控制并发数的方法。

在Go语言中发起并发HTTP请求是构建高性能网络服务的常见需求。Golang原生支持并发,通过goroutine和channel可以轻松实现高效的并行请求处理。下面介绍几种实用的方法来实现并发HTTP请求,并给出可运行的示例代码。

使用Goroutine + WaitGroup发起并发请求

最基础的方式是为每个HTTP请求启动一个goroutine,使用sync.WaitGroup等待所有请求完成。

这种方式简单直观,适合不需要返回结果顺序的场景。

示例代码:

package main

import ( "fmt" "net/http" "sync" )

func fetch(url string, wg *sync.WaitGroup) { defer wg.Done() resp, err := http.Get(url) if err != nil { fmt.Printf("Error fetching %s: %v\n", url, err) return } defer resp.Body.Close() fmt.Printf("Fetched %s with status %s\n", url, resp.Status) }

func main() { urls := []string{ "https://www./link/5f69e19efaba426d62faeab93c308f5c", "https://www./link/98a733901e53052474f2320d0a3a9473", "https://www./link/7ac09a39f051ff62eefbafd363b1bbb3", }

var wg sync.WaitGroup
for _, url := range urls {
    wg.Add(1)
    go fetch(url, &wg)
}
wg.Wait()

}

通过Channel收集响应结果

如果需要收集每个请求的结果(如响应状态、数据),可以使用channel传递返回值。

这样既能并发执行,又能统一处理结果,避免竞态条件。

示例:

type result struct {
    url     string
    status  string
    err     error
}

func fetchWithResult(url string, ch chan<- result) { resp, err := http.Get(url) if err != nil { ch <- result{url: url, err: err} return } defer resp.Body.Close() ch <- result{url: url, status: resp.Status} }

func main() { urls := []string{ "https://www./link/4d2fe2e8601f7a8018594d98f28706f2", "https://www./link/8c4b0479f20772cb9b68cf5f161d1e6f", "https://www./link/ef246753a70fce661e16668898810624", }

ch := make(chan result, len(urls))
for _, url := range urls {
    go fetchWithResult(url, ch)
}

for range urls {
    r := <-ch
    if r.err != nil {
        fmt.Printf("Failed: %s -> %v\n", r.url, r.err)
    } else {
        fmt.Printf("Success: %s -> %s\n", r.url, r.status)
    }
}

}

控制并发数量:使用带缓冲的Worker池

无限制地创建goroutine可能导致系统资源耗尽。可以通过固定数量的worker从任务队列中取任务,实现并发控制。

这种方式适合大量URL请求的场景,防止对目标服务器造成过大压力。

实现方式:

  • 创建一个任务channel,放入所有待请求的URL
  • 启动固定数量的worker goroutine
  • 每个worker从channel读取URL并执行请求
  • 使用WaitGroup等待所有worker退出

示例代码片段:

func worker(tasks <-chan string, wg *sync.WaitGroup) {
    defer wg.Done()
    for url := range tasks {
        resp, err := http.Get(url)
        if err != nil {
            fmt.Printf("Error: %s -> %v\n", url, err)
            continue
        }
        fmt.Printf("OK: %s -> %s\n", url, resp.Status)
        resp.Body.Close()
    }
}

func main() { urls := []string{ / 大量URL / } tasks := make(chan string, len(urls)) for _, url := range urls { tasks <- url } close(tasks)

var wg sync.WaitGroup
for i := 0; i < 5; i++ { // 并发数为5
    wg.Add(1)
    go worker(tasks, &wg)
}
wg.Wait()

}

优化HTTP客户端配置

默认的http.Client可能不够高效。自定义Client可提升性能:

  • 复用TCP连接(启用Keep-Alive)
  • 设置合理的超时时间
  • 限制最大空闲连接数

示例配置:

client := &http.Client{
    Timeout: 10 * time.Second,
    Transport: &http.Transport{
        MaxIdleConns:        100,
        IdleConnTimeout:     90 * time.Second,
        DisableCompression:  true,
    },
}
// 使用 client.Do(req) 替代 http.Get

基本上就这些。Golang的并发模型让HTTP并发请求变得简单而高效。根据实际需求选择合适的模式——小规模请求用WaitGroup,需结果汇总用channel,大规模任务用worker池配合限流。合理配置HTTP客户端能进一步提升稳定性和吞吐量。


# golang  # go  # go语言  # ai  # 并发请求 


相关文章: 如何在宝塔面板创建新站点?  JS中使用new Date(str)创建时间对象不兼容firefox和ie的解决方法(两种)  广州顶尖建站服务:企业官网建设与SEO优化一体化方案  建站之星后台密码遗忘如何找回?  ,南京靠谱的征婚网站?  北京网站制作费用多少,建立一个公司网站的费用.有哪些部分,分别要多少钱?  外贸公司网站制作哪家好,maersk船公司官网?  如何彻底卸载建站之星软件?  商务网站制作工程师,从哪几个方面把握电子商务网站主页和页面的特色设计?  如何高效生成建站之星成品网站源码?  香港服务器建站指南:免备案优势与SEO优化技巧全解析  建站主机助手选型指南:2025年热门推荐与高效部署技巧  如何在Ubuntu系统下快速搭建WordPress个人网站?  如何在万网开始建站?分步指南解析  香港服务器网站搭建教程-电商部署、配置优化与安全稳定指南  网页设计网站制作软件,microsoft office哪个可以创建网页?  建站之星手机一键生成:多端自适应+小程序开发快速建站指南  如何制作网站标识牌,动态网站如何制作(教程)?  C#如何使用XPathNavigator高效查询XML  深圳网站制作设计招聘,关于服装设计的流行趋势,哪里的资料比较全面?  枣阳网站制作,阳新火车站打的到仙岛湖多少钱?  电影网站制作价格表,那些提供免费电影的网站,他们是怎么盈利的?  建站主机是否属于云主机类型?  济南网站建设制作公司,室内设计网站一般都有哪些功能?  ,有什么在线背英语单词效率比较高的网站?  武清网站制作公司,天津武清个人营业执照注销查询系统网站?  如何在腾讯云服务器上快速搭建个人网站?  智能起名网站制作软件有哪些,制作logo的软件?  小型网站建站如何选择虚拟主机?  网站制作说明怎么写,简述网页设计的流程并说明原因?  如何快速搭建高效WAP手机网站吸引移动用户?  上海网站制作开发公司,上海买房比较好的网站有哪些?  常州自助建站:操作简便模板丰富,企业个人快速搭建网站  合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍?  建站之星3.0如何解决常见操作问题?  建站之星导航如何优化提升用户体验?  如何通过山东自助建站平台快速注册域名?  巅云智能建站系统:可视化拖拽+多端适配+免费模板一键生成  如何在Golang中引入测试模块_Golang测试包导入与使用实践  建站之星如何实现PC+手机+微信网站五合一建站?  如何在Golang中指定模块版本_使用go.mod控制版本号  如何快速登录WAP自助建站平台?  公司网站制作价格怎么算,公司办个官网需要多少钱?  如何用wdcp快速搭建高效网站?  深圳网站制作费用多少钱,读秀,深圳文献港这样的网站很多只提供网上试读,但有些人只要提供试读的文章就能全篇下载,这个是怎么弄的?  如何用PHP快速搭建高效网站?分步指南  ui设计制作网站有哪些,手机UI设计网址吗?  5种Android数据存储方式汇总  黑客如何利用漏洞与弱口令入侵网站服务器?  制作无缝贴图网站有哪些,3dmax无缝贴图怎么调? 

您的项目需求

*请认真填写需求信息,我们会在24小时内与您取得联系。