Beispiele für die Verwendung des Amazon-Redshift-Python-Konnektors

Im Folgenden finden Sie Beispiele zur Verwendung des Amazon-Redshift-Python-Konnektors.

Verbinden mit einem Amazon-Redshift-Cluster mit AWS-Anmeldeinformationen

Führen Sie den folgenden Befehl aus, um eine Verbindung mit einem Amazon-Redshift-Cluster mit AWS-Anmeldeinformationen herzustellen.

>>> conn = redshift_connector.connect(
     host='examplecluster.abc123xyz789.us-west-1.redshift.amazonaws.com',
     database='dev',
     user='awsuser',
     password='my_password'
  )

Erstellen einer Tabelle

Führen Sie den folgenden Befehl aus, um eine temporäre Tabelle book mit den Spalten bookname und author zu erstellen.

>>> cursor.execute("create Temp table book(bookname varchar,author‎ varchar)")

Einfügen von Zeilen in eine Tabelle

Führen Sie den folgenden Befehl aus, um zwei Zeilen in die Tabelle book einzufügen.

>>> cursor.executemany("insert into book (bookname, author‎) values (%s, %s)",
                     [
                         ('One Hundred Years of Solitude', 'Gabriel García Márquez'),
                         ('A Brief History of Time', 'Stephen Hawking')
                     ]
                   )

Abfragen einer Tabelle

Führen Sie den folgenden Befehl aus, um alle Zeilen in der Tabelle book auszuwählen.

>>> cursor.execute("select * from book")

Abrufen der Abfrageergebnisse

Führen Sie den folgenden Befehl aus, um die Ergebnisse abzurufen.

>>>  result: tuple = cursor.fetchall()
 print(result)
 >> (['One Hundred Years of Solitude', 'Gabriel García Márquez'], ['A Brief History of Time', 'Stephen Hawking'])

Aktivieren von Autocommit

Die Autocommit-Eigenschaft ist gemäß der Python-Datenbank-API-Spezifikation standardmäßig deaktiviert. Sie können die folgenden Befehle verwenden, um die Autocommit-Eigenschaft der Verbindung zu aktivieren. Führen Sie zuerst einen Rollback-Befehl aus, um sicherzustellen, dass keine Transaktion ausgeführt wird.

>>>  con.rollback()
con.autocommit = True
con.run("VACUUM")
con.autocommit = False

Kopieren von CSV-Daten in eine Tabelle mit dem Befehl COPY

Es folgt ein Beispiel für die Verwendung des Befehls COPY, um CSV-Daten in eine Tabelle zu kopieren und Daten aus einer Tabelle in einen Datenstrom zu kopieren.

Importieren Sie zur Vorbereitung die Input-Output- und CSV-Codecs.

>>> from io import BytesIO
import csv
import codecs

Die folgenden Befehle erstellen eine CSV-Datei im Speicher.

>>>  stream_in = BytesIO()
StreamWriter = codecs.getwriter('utf-8')
csv_writer = csv.writer(StreamWriter(stream_in))
csv_writer.writerow([1, "electron"])
csv_writer.writerow([2, "muon"])
csv_writer.writerow([3, "tau"])
stream_in.seek(0)

Die folgenden Befehle erstellen eine Tabelle und kopieren dann die CSV-Daten in die Tabelle.

>>> con.run("CREATE TEMPORARY TABLE lepton (id SERIAL, name TEXT)")
con.run("COPY lepton FROM STDIN WITH (FORMAT CSV)", stream=stream_in) 

Diese Befehle verwenden den COPY-Befehl, um Daten aus einer Tabelle in einen Datenstrom zu kopieren.

>>> stream_out = BytesIO()
con.run("COPY lepton TO STDOUT WITH (FORMAT CSV)", stream=stream_out) 

>>> stream_out.seek(0)

>>> StreamReader = codecs.getreader('utf-8')
for row in csv.reader(StreamReader(stream_out)):
    print(row)

Im Folgenden ist die Ausgabe dargestellt.

>>> ['1', 'electron']
['2', 'muon']
['3', 'tau']

Kopieren von Daten mit COPY und verwenden von UNLOAD, um Daten in einen Amazon S3 Bucket zu schreiben

Das folgende Beispiel zeigt, wie Daten aus einem Amazon S3 Bucket in eine Tabelle kopiert und dann aus der Tabelle in den S3 Bucket entladen werden.

Eine Textdatei mit dem Namen category_csv.txt und den folgenden Daten wird in einen S3 Bucket hochgeladen.

>>> 12,Shows,Musicals,Musical theatre
13,Shows,Plays,"All ""non-musical"" theatre"
14,Shows,Opera,"All opera, light, and ""rock"" opera"
15,Concerts,Classical,"All symphony, concerto, and choir concerts"

Es folgt ein Beispiel für den Python-Code, der sich zuerst mit der Amazon-Redshift-Datenbank verbindet. Anschließend wird eine Tabelle category erstellt und die CSV-Daten werden aus dem S3 Bucket in die Tabelle kopiert.

>>> with redshift_connector.connect(...) as conn:
    with conn.cursor() as cursor:
        cursor.execute("create table category (catid int, cargroup varchar, catname varchar, catdesc varchar)")
        cursor.execute("copy category from 's3://testing/category_csv.txt' iam_role 'arn:aws:iam::123:role/RedshiftCopyUnload' csv;")
        cursor.execute("select * from category")
        print(cursor.fetchall())
        cursor.execute("unload ('select * from category') to 's3://testing/unloaded_category_csv.txt'  iam_role 'arn:aws:iam::123:role/RedshiftCopyUnload' csv;")
        print('done')

>>> ([12, 'Shows', 'Musicals', 'Musical theatre'], [13, 'Shows', 'Plays', 'All "non-musical" theatre'], [14, 'Shows', 'Opera', 'All opera, light, and "rock" opera'], [15, 'Concerts', 'Classical', 'All symphony, concerto, and choir concerts'])
done

Die Daten werden in die Datei unloaded_category_csv.text0000_part00 im S3 Bucket entladen.

>>> 12,Shows,Musicals,Musical theatre
13,Shows,Plays,"All ""non-musical"" theatre"
14,Shows,Opera,"All opera, light, and ""rock"" opera"
15,Concerts,Classical,"All symphony, concerto, and choir concerts"