Memeriksa dependensi menggunakan repositori artefak Amazon EMR

Anda dapat menggunakan repositori artefak Amazon EMR untuk membangun kode tugas Apache Hive dan Apache Hadoop dengan versi perpustakaan dan dependensi yang tepat yang tersedia dengan Amazon EMR versi rilis tertentu, dimulai dengan Amazon EMR versi rilis 5.18.0. Membangun dengan artefak Amazon EMR di repositori akan membantu menghindari masalah jalur kelas waktu aktif dengan memastikan bahwa versi perpustakaan tempat tugas dibangun persis sama dengan versi yang disediakan pada saat waktu aktif pada klaster. Saat ini, artefak Amazon EMR hanya tersedia untuk alat bangun Maven.

Untuk mengakses repositori artefak, tambahkan URL repositori ke file pengaturan Maven Anda atau ke file konfigurasi pom.xml proyek tertentu. Anda kemudian dapat menentukan dependensi dalam konfigurasi proyek Anda. Untuk versi dependensi, gunakan versi yang tercantum dalam Versi Komponen untuk rilis yang diinginkan di Amazon EMR versi rilis 5.x. Sebagai contoh, versi komponen untuk rilis Amazon EMR terbaru tersedia di 5.36.1 versi komponen. Jika artefak untuk proyek Anda tidak tercantum dalam Versi Komponen, tuliskan versi yang terdaftar untuk Hive dan Hadoop dalam rilis itu. Misalnya, untuk komponen Hadoop di Amazon EMR versi rilis 5.18.0, versinya adalah 2.8.4-amzn-1.

URL repositori artefak memiliki sintaks berikut:

https://s3-endpoint/region-ID-emr-artifacts/emr-release-label/repos/maven/

• s3-endpoint adalah titik akhir Amazon Simple Storage Service (Amazon S3) dari wilayah untuk repositori dan ID Wilayah adalah wilayah yang sesuai. Misalnya, s3.us-west-1.amazonaws.com dan us-west-1. Untuk informasi lebih lanjut, lihat titik akhir Amazon S3 dalam Referensi Umum Amazon Web. Tidak ada perbedaan artefak antar wilayah, sehingga Anda dapat menuliskan wilayah yang paling nyaman untuk lingkungan pengembangan Anda.

• emr-release-labeladalah label rilis untuk klaster Amazon EMR yang akan menjalankan kode Anda. Label rilis dalam bentuk emr-x.x.x, seperti, emr-5.36.1. Seri rilis EMR dapat mencakup beberapa rilis. Misalnya, jika Anda menggunakan EMR versi rilis 5.24.1, gunakan label rilis EMR pertama dalam seri 5.24, emr-5.24.0, pada URL repositori artefak:

  https://s3-endpoint/region-ID-emr-artifacts/emr-5.24.0/repos/maven/

contoh Konfigurasi untuk Maven pom.xml

Contoh pom.xml di bawah ini mengkonfigurasi sebuah proyek Maven untuk membangun dengan artefak emr-5.18.0 Apache Hadoop dan Apache Hive, dengan menggunakan repositori artefak di us-west-1. Versi snapshot tidak tersedia di repositori artefak, jadi snapshot dinonaktifkan di pom.xml. Elips (...) pada contoh di bawah ini menunjukkan kelalaian parameter konfigurasi lainnya. Jangan menyalin ini ke dalam proyek Maven Anda.

<project>
	...
	<repositories>
		...
		<repository>
			<id>emr-5.18.0-artifacts</id>
			<name>EMR 5.18.0 Releases Repository</name>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
			<url>https://s3.us-west-1.amazonaws.com/us-west-1-emr-artifacts/emr-5.18.0/repos/maven/</url>
		</repository>
		...
	</repositories>
	...
	<dependencies>
		...
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>2.3.3-amzn-2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.8.4-amzn-1</version>
		</dependency>
		...
	</dependencies>
	
</project>