python - 请问如何可以优化提升pandas的read_sql的速度呢?
问题描述
小弟的需求需要在多个数据库之间查询数据并关联,所以小弟选择了使用pandas,通过read_sql读取数据至dataframe加工后直接生成目标数据。但是目前遭遇了一个问题:read_sql的速度非常慢,例如,在oracle库中读取37W数据量(22个字段)的表至dataframe耗时需要4分半。代码如下:
import pandas as pdimport sqlalchemy as sqlora_engine=sql.create_engine(’oracle://test01:test01@test01db’)ora_df1=pd.read_sql(’select * from target_table1’,ora_engine)
耗时4分32秒
甚至小弟使用另外一个简单粗暴的方法都会比read_sql快很多。代码如下:
import pandas as pdimport sqlalchemy as sqlora_engine=sql.create_engine(’oracle://test01:test01@test01db’)conn=ora_engine.raw_connection()cursor=conn.cursor()queryset=cursor.execute(’select * from target_table1’)columns=[for i[0] in queryset.description]df_data=queryset.fetchall()ora_df1=pd.DataFrame()ora_df1.columns=columnsora_df1.append(df_data)
耗时1分31秒
这里想请教一下各位大大,有什么方法可以优化提升pandas的read_sql的速度,非常感谢大家~
问题解答
回答1:试试read_sql_tablehttp://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_sql_table.html#pandas.read_sql_table
相关文章:
1. html5 - H5 如何进行缓存页面 资源包 索引?2. python - scrapy-redis爬虫运行是连接redis数据库连接错误3. html5 - CSS画五角星画的不正4. python - 如何将文本文件的CR换行符换成LF换行符?5. js怎样实现在类似qq的联系人分组中进行搜索后,又可恢复原分组的界面?6. javascript - 这种上传图片预览怎么做?7. python相关问题求解决,有偿8. javascript - input输入框触发change事件后,外部元素会被选中9. 怎样用python给mp3添加封面?10. python3.x - mongodb 显示不出中文,都是方块,该如何解决?