一種是導(dǎo)入sqlalchemy包，另一種是導(dǎo)入psycopg2包。

具體用法如下(此處以postgre數(shù)據(jù)庫舉例)

第一種：

# 導(dǎo)入包

from sqlalchemy import create_engine

import pandas as pd

from string import Template

engine = create_engine("oracle://user:pwd@***:***/racdb", echo=False)

# 初始化引擎

engine = create_engine('postgresql+psycopg2://' + pg_username + ':' + pg_password + '@' + pg_host + ':' + str(

pg_port) + '/' + pg_database)

query_sql = """

select * from $arg1

"""

query_sql = Template(query_sql) # template方法

df = pd.read_sql_query(query_sql .substitute(arg1=tablename),engine) # 配合pandas的方法讀取數(shù)據(jù)庫值

# 配合pandas的to_sql方法使用十分方便(dataframe對象直接入庫)

df.to_sql(table, engine, if_exists='replace', index=False) #覆蓋入庫

df.to_sql(table, engine, if_exists='append', index=False) #增量入庫

注意：上述df.to_sql的方法實在是太慢太慢了，千萬的數(shù)據(jù)chunksize設(shè)置為萬，上傳了5個小時 郁悶。查資料后得知以下方法：速度極快！！！！！

def write_to_table(df, table_name, if_exists='fail'):

import io

import pandas as pd

from sqlalchemy import create_engine

db_engine = create_engine('postgresql://***:***@***:***/***')# 初始化引擎

string_data_io = io.StringIO()

df.to_csv(string_data_io, sep='|', index=False)

pd_sql_engine = pd.io.sql.pandasSQL_builder(db_engine)

table = pd.io.sql.SQLTable(table_name, pd_sql_engine, frame=df,

index=False, if_exists=if_exists,schema = 'goods_code')

table.create()

string_data_io.seek(0)

string_data_io.readline() # remove header

with db_engine.connect() as connection:

with connection.connection.cursor() as cursor:

copy_cmd = "COPY goods_code.%s FROM STDIN HEADER DELIMITER '|' CSV" %table_name

cursor.copy_expert(copy_cmd, string_data_io)

connection.connection.commit()

總結(jié)

以上是生活随笔為你收集整理的python批量写入数据库engine_python 快速写入postgresql数据库方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。