golang - go-sql-driver/mysql for rows.Next()的性能问题
问题描述
1.当查询出来的记录过万时,遍历Rows的时间过长,达到1分钟甚至更多
程序代码:
rows, err := p.conn.Query(sqlStr, params...)if err != nil { log.Println('mysql query error', err.Error()) return nil, err}log.Println('conn结束:', goutil.GetCurrentTime())//延时关闭Rowsdefer rows.Close()//获取记录列if columns, err := rows.Columns(); err != nil { return nil, err} else { //拼接记录Map values := make([]sql.RawBytes, len(columns)) scans := make([]interface{}, len(columns)) for i := range values {scans[i] = &values[i] } //此处遍历在3W记录的时候,长达1分钟甚至更多 for rows.Next() {_ = rows.Scan(scans...)each := map[string]interface{}{}for i, col := range values { each[columns[i]] = string(col)}rowMaps = append(rowMaps, each) } return rowMaps, nil}
问题解答
回答1:可以用创建多个goroutine 分段查询数据。使用channl在线程中拿去查询结构进行迭代。
回答2:这不是golang性能的问题,其他编程语言也会类似。一次性去拿三万条记录本来就是个不合理的需求,应该通过分页来解决,一次只取几十到几百条。
相关文章:
1. python 中文乱码问题2. linux - 【已解决】fabric部署的Python项目Apache启动之后提示403Forbidden该如何解决?3. 上传多图时,最后一张图为缩略图,想设置第一张图为缩略图怎么解决?4. python - 如何获取rabbitmq连接的celery的个数5. 怎样用python给mp3添加封面?6. js怎样实现在类似qq的联系人分组中进行搜索后,又可恢复原分组的界面?7. 数据库 - Mysql的存储过程真的是个坑!求助下面的存储过程哪里错啦,实在是找不到哪里的问题了。8. javascript - 百度地图一开始设置了中心点,怎么通过按钮在调转到对应的中心点????9. mysql优化 - mysql 一张表如果不能确保字段列长度一致,是不是就不需要用到char。10. python - 如何将文本文件的CR换行符换成LF换行符?