您的位置:首页技术文章
文章详情页

golang - go-sql-driver/mysql for rows.Next()的性能问题

【字号: 日期:2022-06-19 15:34:09浏览:29作者:猪猪

问题描述

1.当查询出来的记录过万时,遍历Rows的时间过长,达到1分钟甚至更多

程序代码:

rows, err := p.conn.Query(sqlStr, params...)if err != nil { log.Println('mysql query error', err.Error()) return nil, err}log.Println('conn结束:', goutil.GetCurrentTime())//延时关闭Rowsdefer rows.Close()//获取记录列if columns, err := rows.Columns(); err != nil { return nil, err} else { //拼接记录Map values := make([]sql.RawBytes, len(columns)) scans := make([]interface{}, len(columns)) for i := range values {scans[i] = &values[i] } //此处遍历在3W记录的时候,长达1分钟甚至更多 for rows.Next() {_ = rows.Scan(scans...)each := map[string]interface{}{}for i, col := range values { each[columns[i]] = string(col)}rowMaps = append(rowMaps, each) } return rowMaps, nil}

问题解答

回答1:

可以用创建多个goroutine 分段查询数据。使用channl在线程中拿去查询结构进行迭代。

回答2:

这不是golang性能的问题,其他编程语言也会类似。一次性去拿三万条记录本来就是个不合理的需求,应该通过分页来解决,一次只取几十到几百条。

相关文章: