使用goroutine和WaitGroup可实现Go语言中的并发HTTP请求,通过示例代码展示了基础并发、channel收集结果及worker池控制并发数的方法。
在Go语言中发起并发HTTP请求是构建高性能网络服务的常见需求。Golang原生支持并发,通过goroutine和channel可以轻松实现高效的并行请求处理。下面介绍几种实用的方法来实现并发HTTP请求,并给出可运行的示例代码。
最基础的方式是为每个HTTP请求启动一个goroutine,使用sync.WaitGroup等待所有请求完成。
这种方式简单直观,适合不需要返回结果顺序的场景。
示例代码:
package mainimport ( "fmt" "net/http" "sync" )
func fetch(url string, wg *sync.WaitGroup) { defer wg.Done() resp, err := http.Get(url) if err != nil { fmt.Printf("Error fetching %s: %v\n", url, err) return } defer resp.Body.Close() fmt.Printf("Fetched %s with status %s\n", url, resp.Status) }
func main() { urls := []string{ "https://www./link/5f69e19efaba426d62faeab93c308f5c", "https://www./link/98a733901e53052474f2320d0a3a9473", "https://www./link/7ac09a39f051ff62eefbafd363b1bbb3", }
var wg sync.WaitGroup for _, url := range urls { wg.Add(1) go fetch(url, &wg) } wg.Wait()}
通过Channel收集响应结果
如果需要收集每个请求的结果(如响应状态、数据),可以使用channel传递返回值。
这样既能并发执行,又能统一处理结果,避免竞态条件。
示例:
type result struct { url string status string err error }func fetchWithResult(
url string, ch chan<- result) { resp, err := http.Get(url) if err != nil { ch <- result{url: url, err: err} return } defer resp.Body.Close() ch <- result{url: url, status: resp.Status} }
func main() { urls := []string{ "https://www./link/4d2fe2e8601f7a8018594d98f28706f2", "https://www./link/8c4b0479f20772cb9b68cf5f161d1e6f", "https://www./link/ef246753a70fce661e16668898810624", }
ch := make(chan result, len(urls)) for _, url := range urls { go fetchWithResult(url, ch) } for range urls { r := <-ch if r.err != nil { fmt.Printf("Failed: %s -> %v\n", r.url, r.err) } else { fmt.Printf("Success: %s -> %s\n", r.url, r.status) } }}
控制并发数量:使用带缓冲的Worker池
无限制地创建goroutine可能导致系统资源耗尽。可以通过固定数量的worker从任务队列中取任务,实现并发控制。
这种方式适合大量URL请求的场景,防止对目标服务器造成过大压力。
实现方式:
示例代码片段:
func worker(tasks <-chan string, wg *sync.WaitGroup) {
defer wg.Done()
for url := range tasks {
resp, err := http.Get(url)
if err != nil {
fmt.Printf("Error: %s -> %v\n", url, err)
continue
}
fmt.Printf("OK: %s -> %s\n", url, resp.Status)
resp.Body.Close()
}
}
func main() {
urls := []string{ / 大量URL / }
tasks := make(chan string, len(urls))
for _, url := range urls {
tasks <- url
}
close(tasks)
var wg sync.WaitGroup
for i := 0; i < 5; i++ { // 并发数为5
wg.Add(1)
go worker(tasks, &wg)
}
wg.Wait()}
优化HTTP客户端配置
默认的http.Client可能不够高效。自定义Client可提升性能:
示例配置:
client := &http.Client{
Timeout: 10 * time.Second,
Transport: &http.Transport{
MaxIdleConns: 100,
IdleConnTimeout: 90 * time.Second,
DisableCompression: true,
},
}
// 使用 client.Do(req) 替代 http.Get
基本上就这些。Golang的并发模型让HTTP并发请求变得简单而高效。根据实际需求选择合适的模式——小规模请求用WaitGroup,需结果汇总用channel,大规模任务用worker池配合限流。合理配置HTTP客户端能进一步提升稳定性和吞吐量。
# golang
# go
# go语言
# ai
# 并发请求
相关文章:
如何在宝塔面板创建新站点?
JS中使用new Date(str)创建时间对象不兼容firefox和ie的解决方法(两种)
广州顶尖建站服务:企业官网建设与SEO优化一体化方案
建站之星后台密码遗忘如何找回?
,南京靠谱的征婚网站?
北京网站制作费用多少,建立一个公司网站的费用.有哪些部分,分别要多少钱?
外贸公司网站制作哪家好,maersk船公司官网?
如何彻底卸载建站之星软件?
商务网站制作工程师,从哪几个方面把握电子商务网站主页和页面的特色设计?
如何高效生成建站之星成品网站源码?
香港服务器建站指南:免备案优势与SEO优化技巧全解析
建站主机助手选型指南:2025年热门推荐与高效部署技巧
如何在Ubuntu系统下快速搭建WordPress个人网站?
如何在万网开始建站?分步指南解析
香港服务器网站搭建教程-电商部署、配置优化与安全稳定指南
网页设计网站制作软件,microsoft office哪个可以创建网页?
建站之星手机一键生成:多端自适应+小程序开发快速建站指南
如何制作网站标识牌,动态网站如何制作(教程)?
C#如何使用XPathNavigator高效查询XML
深圳网站制作设计招聘,关于服装设计的流行趋势,哪里的资料比较全面?
枣阳网站制作,阳新火车站打的到仙岛湖多少钱?
电影网站制作价格表,那些提供免费电影的网站,他们是怎么盈利的?
建站主机是否属于云主机类型?
济南网站建设制作公司,室内设计网站一般都有哪些功能?
,有什么在线背英语单词效率比较高的网站?
武清网站制作公司,天津武清个人营业执照注销查询系统网站?
如何在腾讯云服务器上快速搭建个人网站?
智能起名网站制作软件有哪些,制作logo的软件?
小型网站建站如何选择虚拟主机?
网站制作说明怎么写,简述网页设计的流程并说明原因?
如何快速搭建高效WAP手机网站吸引移动用户?
上海网站制作开发公司,上海买房比较好的网站有哪些?
常州自助建站:操作简便模板丰富,企业个人快速搭建网站
合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍?
建站之星3.0如何解决常见操作问题?
建站之星导航如何优化提升用户体验?
如何通过山东自助建站平台快速注册域名?
巅云智能建站系统:可视化拖拽+多端适配+免费模板一键生成
如何在Golang中引入测试模块_Golang测试包导入与使用实践
建站之星如何实现PC+手机+微信网站五合一建站?
如何在Golang中指定模块版本_使用go.mod控制版本号
如何快速登录WAP自助建站平台?
公司网站制作价格怎么算,公司办个官网需要多少钱?
如何用wdcp快速搭建高效网站?
深圳网站制作费用多少钱,读秀,深圳文献港这样的网站很多只提供网上试读,但有些人只要提供试读的文章就能全篇下载,这个是怎么弄的?
如何用PHP快速搭建高效网站?分步指南
ui设计制作网站有哪些,手机UI设计网址吗?
5种Android数据存储方式汇总
黑客如何利用漏洞与弱口令入侵网站服务器?
制作无缝贴图网站有哪些,3dmax无缝贴图怎么调?
*请认真填写需求信息,我们会在24小时内与您取得联系。