Lazy SerDe Simple per CSV file TSV delimitati in modo personalizzato

Poiché questa è l'impostazione predefinita SerDe in Athena per i dati nei formati e con delimitazione personalizzata CSVTSV, la sua specificazione è facoltativa. Nella tua CREATE TABLE dichiarazione, se non specifichi solo a SerDe ROW FORMAT DELIMITED, Athena lo utilizza. SerDe Usalo SerDe se i tuoi dati non hanno valori racchiusi tra virgolette.

Per la documentazione di riferimento su Lazy Simple SerDe, consulta la SerDe sezione Hive della Apache Hive Developer Guide.

Nome della libreria di serializzazione

Il nome della libreria di serializzazione per Lazy Simple è. SerDe org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe Per informazioni sul codice sorgente, LazySimpleSerDevedi.java su .com. GitHub

Ignorare intestazioni

Per ignorare le intestazioni nei dati quando si definisce una tabella, è possibile utilizzare la proprietà skip.header.line.count, come nell'esempio seguente.

TBLPROPERTIES ("skip.header.line.count"="1")

Per esempi che ignorano le intestazioni, consultate le CREATE TABLE istruzioni in Interrogazione dei log di VPC flusso di Amazon and. Interrogazione dei log di Amazon CloudFront

CSVesempio

L'esempio seguente mostra come utilizzare la LazySimpleSerDe libreria per creare una tabella in Athena dai CSV dati. Per deserializzare i file delimitati in modo personalizzato utilizzando questa opzione SerDe, seguite lo schema illustrato negli esempi ma utilizzate la FIELDS TERMINATED BY clausola per specificare un delimitatore a carattere singolo diverso. SerDe Lazy Simple non supporta i delimitatori a più caratteri.

Nota

Replace (Sostituisci) myregion accedi s3://athena-examples-myregion/path/to/data/ con l'identificatore della regione in cui esegui Athena, ad esempio. s3://athena-examples-us-west-1/path/to/data/

Utilizza l'CREATE TABLEistruzione per creare una tabella Athena dai dati sottostanti CSV archiviati in Amazon S3.

CREATE EXTERNAL TABLE flight_delays_csv (
    yr INT,
    quarter INT,
    month INT,
    dayofmonth INT,
    dayofweek INT,
    flightdate STRING,
    uniquecarrier STRING,
    airlineid INT,
    carrier STRING,
    tailnum STRING,
    flightnum STRING,
    originairportid INT,
    originairportseqid INT,
    origincitymarketid INT,
    origin STRING,
    origincityname STRING,
    originstate STRING,
    originstatefips STRING,
    originstatename STRING,
    originwac INT,
    destairportid INT,
    destairportseqid INT,
    destcitymarketid INT,
    dest STRING,
    destcityname STRING,
    deststate STRING,
    deststatefips STRING,
    deststatename STRING,
    destwac INT,
    crsdeptime STRING,
    deptime STRING,
    depdelay INT,
    depdelayminutes INT,
    depdel15 INT,
    departuredelaygroups INT,
    deptimeblk STRING,
    taxiout INT,
    wheelsoff STRING,
    wheelson STRING,
    taxiin INT,
    crsarrtime INT,
    arrtime STRING,
    arrdelay INT,
    arrdelayminutes INT,
    arrdel15 INT,
    arrivaldelaygroups INT,
    arrtimeblk STRING,
    cancelled INT,
    cancellationcode STRING,
    diverted INT,
    crselapsedtime INT,
    actualelapsedtime INT,
    airtime INT,
    flights INT,
    distance INT,
    distancegroup INT,
    carrierdelay INT,
    weatherdelay INT,
    nasdelay INT,
    securitydelay INT,
    lateaircraftdelay INT,
    firstdeptime STRING,
    totaladdgtime INT,
    longestaddgtime INT,
    divairportlandings INT,
    divreacheddest INT,
    divactualelapsedtime INT,
    divarrdelay INT,
    divdistance INT,
    div1airport STRING,
    div1airportid INT,
    div1airportseqid INT,
    div1wheelson STRING,
    div1totalgtime INT,
    div1longestgtime INT,
    div1wheelsoff STRING,
    div1tailnum STRING,
    div2airport STRING,
    div2airportid INT,
    div2airportseqid INT,
    div2wheelson STRING,
    div2totalgtime INT,
    div2longestgtime INT,
    div2wheelsoff STRING,
    div2tailnum STRING,
    div3airport STRING,
    div3airportid INT,
    div3airportseqid INT,
    div3wheelson STRING,
    div3totalgtime INT,
    div3longestgtime INT,
    div3wheelsoff STRING,
    div3tailnum STRING,
    div4airport STRING,
    div4airportid INT,
    div4airportseqid INT,
    div4wheelson STRING,
    div4totalgtime INT,
    div4longestgtime INT,
    div4wheelsoff STRING,
    div4tailnum STRING,
    div5airport STRING,
    div5airportid INT,
    div5airportseqid INT,
    div5wheelson STRING,
    div5totalgtime INT,
    div5longestgtime INT,
    div5wheelsoff STRING,
    div5tailnum STRING
)
    PARTITIONED BY (year STRING)
    ROW FORMAT DELIMITED
      FIELDS TERMINATED BY ','
      ESCAPED BY '\\'
      LINES TERMINATED BY '\n'
    LOCATION 's3://athena-examples-myregion/flight/csv/';

Esegui MSCK REPAIR TABLE per aggiornare i metadati della partizione ogni volta che una nuova partizione viene aggiunto a questa tabella:

MSCK REPAIR TABLE flight_delays_csv;

Esegui una query sui primi 10 voli con ritardo superiore a 1 ora:

SELECT origin, dest, count(*) as delays
FROM flight_delays_csv
WHERE depdelayminutes > 60
GROUP BY origin, dest
ORDER BY 3 DESC
LIMIT 10;

Nota

I dati della tabella di volo provengono da Flights e sono forniti dal Dipartimento dei Trasporti degli Stati Uniti, Ufficio delle statistiche sui trasporti. Desaturati dall'originale.

TSVesempio

Per creare una tabella Athena dai TSV dati archiviati in Amazon S3, ROW FORMAT DELIMITED usa e specifica \t il come delimitatore del campo di tabulazione\n, come separatore di riga e come carattere di escape. \ L'estratto seguente mostra questa sintassi. Nessun dato di TSV volo di esempio è disponibile nella athena-examples posizione, ma come per la CSV tabella, dovresti aggiornare i metadati della partizione MSCK REPAIR TABLE ogni volta che viene aggiunta una nuova partizione.

...
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
ESCAPED BY '\\'
LINES TERMINATED BY '\n'
...