Tutorial: Menyiapkan klaster Windows HPC di Amazon EC2 - Amazon Elastic Compute Cloud

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tutorial: Menyiapkan klaster Windows HPC di Amazon EC2

Anda dapat meluncurkan klaster High Performance Computing (HPC) Windows yang dapat diskalakan menggunakan instans Amazon EC2. Klaster HPC Windows memerlukan kontroler domain Active Directory, server DNS, simpul kepala, dan satu atau lebih simpul komputasi.

Untuk menyiapkan klaster HPC Windows di Amazon EC2, selesaikan tugas-tugas berikut:

Untuk informasi lebih lanjut tentang komputasi performa tinggi, lihat Komputasi Performa Tinggi (HPC) pada AWS.

Prasyarat

Anda harus meluncurkan instans Anda di VPC. Anda dapat menggunakan VPC default atau membuat VPC non-default. Untuk informasi selengkapnya, lihat Memulai dalam Panduan Pengguna Amazon VPC.

Langkah 1: Membuat grup keamanan Anda

Gunakan Alat untuk Windows PowerShell untuk membuat grup keamanan untuk pengontrol domain, anggota domain, dan cluster HPC.

Untuk membuat grup keamanan
  1. Gunakan SecurityGroup cmdlet New-EC2 untuk membuat grup keamanan untuk pengontrol domain. Catat ID grup keamanan di output.

    PS C:\> New-EC2SecurityGroup -VpcId vpc-id -GroupName "SG - Domain Controller" -Description "Active Directory Domain Controller"
  2. Gunakan SecurityGroup cmdlet New-EC2 untuk membuat grup keamanan bagi anggota domain. Catat ID grup keamanan di output.

    PS C:\> New-EC2SecurityGroup -VpcId vpc-id -GroupName "SG - Domain Member" -Description "Active Directory Domain Member"
  3. Gunakan SecurityGroup cmdlet New-EC2 untuk membuat grup keamanan untuk cluster HPC. Catat ID grup keamanan di output.

    PS C:\> New-EC2SecurityGroup -VpcId vpc-id -GroupName "SG - Windows HPC Cluster" -Description "Windows HPC Cluster Nodes"
Untuk menambahkan aturan ke grup keamanan
  1. Buat aturan berikut untuk ditambahkan ke grup keamanan pengontrol domain. Ganti ID grup keamanan placeholder dengan ID grup keamanan anggota domain dan blok CIDR placeholder dengan blok CIDR jaringan Anda.

    PS C:\> $sg_dm = New-Object Amazon.EC2.Model.UserIdGroupPair PS C:\> $sg_dm.GroupId = "sg-12345678 PS C:\> $r1 = @{ IpProtocol="UDP"; FromPort="123"; ToPort="123"; UserIdGroupPairs=$sg_dm } PS C:\> $r2 = @{ IpProtocol="TCP"; FromPort="135"; ToPort="135"; UserIdGroupPairs=$sg_dm } PS C:\> $r3 = @{ IpProtocol="UDP"; FromPort="138"; ToPort="138"; UserIdGroupPairs=$sg_dm } PS C:\> $r4 = @{ IpProtocol="TCP"; FromPort="49152"; ToPort="65535"; UserIdGroupPairs=$sg_dm } PS C:\> $r5 = @{ IpProtocol="TCP"; FromPort="389"; ToPort="389"; UserIdGroupPairs=$sg_dm } PS C:\> $r6 = @{ IpProtocol="UDP"; FromPort="389"; ToPort="389"; UserIdGroupPairs=$sg_dm } PS C:\> $r7 = @{ IpProtocol="TCP"; FromPort="636"; ToPort="636"; UserIdGroupPairs=$sg_dm } PS C:\> $r8 = @{ IpProtocol="TCP"; FromPort="3268"; ToPort="3269"; UserIdGroupPairs=$sg_dm } PS C:\> $r9 = @{ IpProtocol="TCP"; FromPort="53"; ToPort="53"; UserIdGroupPairs=$sg_dm } PS C:\> $r10 = @{ IpProtocol="UDP"; FromPort="53"; ToPort="53"; UserIdGroupPairs=$sg_dm } PS C:\> $r11 = @{ IpProtocol="TCP"; FromPort="88"; ToPort="88"; UserIdGroupPairs=$sg_dm } PS C:\> $r12 = @{ IpProtocol="UDP"; FromPort="88"; ToPort="88"; UserIdGroupPairs=$sg_dm } PS C:\> $r13 = @{ IpProtocol="TCP"; FromPort="445"; ToPort="445"; UserIdGroupPairs=$sg_dm } PS C:\> $r14 = @{ IpProtocol="UDP"; FromPort="445"; ToPort="445"; UserIdGroupPairs=$sg_dm } PS C:\> $r15 = @{ IpProtocol="ICMP"; FromPort="-1"; ToPort="-1"; UserIdGroupPairs=$sg_dm } PS C:\> $r16 = @{ IpProtocol="UDP"; FromPort="53"; ToPort="53"; IpRanges="203.0.113.25/32" } PS C:\> $r17 = @{ IpProtocol="TCP"; FromPort="3389"; ToPort="3389"; IpRanges="203.0.113.25/32" }
  2. Gunakan SecurityGroupIngress cmdlet Grant-EC2 untuk menambahkan aturan ke grup keamanan pengontrol domain.

    PS C:\> Grant-EC2SecurityGroupIngress -GroupId sg-1a2b3c4d -IpPermission @( $r1, $r2, $r3, $r4, $r5, $r6, $r7, $r8, $r9, $r10, $r11, $r12, $r13, $r14, $r15, $r16, $r17 )

    Untuk informasi selengkapnya tentang aturan grup keamanan ini, lihat artikel Microsoft berikut: Cara mengonfigurasi firewall untuk domain dan kepercayaan.

  3. Buat aturan berikut untuk ditambahkan ke grup keamanan pengontrol domain. Ganti ID grup keamanan placeholder dengan ID grup keamanan kontroler domain.

    PS C:\> $sg_dc = New-Object Amazon.EC2.Model.UserIdGroupPair PS C:\> $sg_dc.GroupId = "sg-1a2b3c4d PS C:\> $r1 = @{ IpProtocol="TCP"; FromPort="49152"; ToPort="65535"; UserIdGroupPairs=$sg_dc } PS C:\> $r2 = @{ IpProtocol="UDP"; FromPort="49152"; ToPort="65535"; UserIdGroupPairs=$sg_dc } PS C:\> $r3 = @{ IpProtocol="TCP"; FromPort="53"; ToPort="53"; UserIdGroupPairs=$sg_dc } PS C:\> $r4 = @{ IpProtocol="UDP"; FromPort="53"; ToPort="53"; UserIdGroupPairs=$sg_dc }
  4. Gunakan SecurityGroupIngress cmdlet Grant-EC2 untuk menambahkan aturan ke grup keamanan anggota domain.

    PS C:\> Grant-EC2SecurityGroupIngress -GroupId sg-12345678 -IpPermission @( $r1, $r2, $r3, $r4 )
  5. Buat aturan berikut untuk ditambahkan ke grup keamanan klaster HPC. Ganti ID grup keamanan placeholder dengan ID grup keamanan klaster HPC dan blok CIDR placeholder dengan blok CIDR jaringan Anda.

    $sg_hpc = New-Object Amazon.EC2.Model.UserIdGroupPair PS C:\> $sg_hpc.GroupId = "sg-87654321 PS C:\> $r1 = @{ IpProtocol="TCP"; FromPort="80"; ToPort="80"; UserIdGroupPairs=$sg_hpc } PS C:\> $r2 = @{ IpProtocol="TCP"; FromPort="443"; ToPort="443"; UserIdGroupPairs=$sg_hpc } PS C:\> $r3 = @{ IpProtocol="TCP"; FromPort="1856"; ToPort="1856"; UserIdGroupPairs=$sg_hpc } PS C:\> $r4 = @{ IpProtocol="TCP"; FromPort="5800"; ToPort="5800"; UserIdGroupPairs=$sg_hpc } PS C:\> $r5 = @{ IpProtocol="TCP"; FromPort="5801"; ToPort="5801"; UserIdGroupPairs=$sg_hpc } PS C:\> $r6 = @{ IpProtocol="TCP"; FromPort="5969"; ToPort="5969"; UserIdGroupPairs=$sg_hpc } PS C:\> $r7 = @{ IpProtocol="TCP"; FromPort="5970"; ToPort="5970"; UserIdGroupPairs=$sg_hpc } PS C:\> $r8 = @{ IpProtocol="TCP"; FromPort="5974"; ToPort="5974"; UserIdGroupPairs=$sg_hpc } PS C:\> $r9 = @{ IpProtocol="TCP"; FromPort="5999"; ToPort="5999"; UserIdGroupPairs=$sg_hpc } PS C:\> $r10 = @{ IpProtocol="TCP"; FromPort="6729"; ToPort="6730"; UserIdGroupPairs=$sg_hpc } PS C:\> $r11 = @{ IpProtocol="TCP"; FromPort="7997"; ToPort="7997"; UserIdGroupPairs=$sg_hpc } PS C:\> $r12 = @{ IpProtocol="TCP"; FromPort="8677"; ToPort="8677"; UserIdGroupPairs=$sg_hpc } PS C:\> $r13 = @{ IpProtocol="TCP"; FromPort="9087"; ToPort="9087"; UserIdGroupPairs=$sg_hpc } PS C:\> $r14 = @{ IpProtocol="TCP"; FromPort="9090"; ToPort="9092"; UserIdGroupPairs=$sg_hpc } PS C:\> $r15 = @{ IpProtocol="TCP"; FromPort="9100"; ToPort="9163"; UserIdGroupPairs=$sg_hpc } PS C:\> $r16 = @{ IpProtocol="TCP"; FromPort="9200"; ToPort="9263"; UserIdGroupPairs=$sg_hpc } PS C:\> $r17 = @{ IpProtocol="TCP"; FromPort="9794"; ToPort="9794"; UserIdGroupPairs=$sg_hpc } PS C:\> $r18 = @{ IpProtocol="TCP"; FromPort="9892"; ToPort="9893"; UserIdGroupPairs=$sg_hpc } PS C:\> $r19 = @{ IpProtocol="UDP"; FromPort="9893"; ToPort="9893"; UserIdGroupPairs=$sg_hpc } PS C:\> $r20 = @{ IpProtocol="TCP"; FromPort="6498"; ToPort="6498"; UserIdGroupPairs=$sg_hpc } PS C:\> $r21 = @{ IpProtocol="TCP"; FromPort="7998"; ToPort="7998"; UserIdGroupPairs=$sg_hpc } PS C:\> $r22 = @{ IpProtocol="TCP"; FromPort="8050"; ToPort="8050"; UserIdGroupPairs=$sg_hpc } PS C:\> $r23 = @{ IpProtocol="TCP"; FromPort="5051"; ToPort="5051"; UserIdGroupPairs=$sg_hpc } PS C:\> $r24 = @{ IpProtocol="TCP"; FromPort="3389"; ToPort="3389"; IpRanges="203.0.113.25/32" }
  6. Gunakan SecurityGroupIngress cmdlet Grant-EC2 untuk menambahkan aturan ke grup keamanan klaster HPC.

    PS C:\> Grant-EC2SecurityGroupIngress -GroupId sg-87654321 -IpPermission @( $r1, $r2, $r3, $r4, $r5, $r6, $r7, $r8, $r9, $r10, $r11, $r12, $r13, $r14, $r15, $r16, $r17, $r18, $r19, $r20, $r21, $r22, $r23, $r24 )

    Untuk informasi selengkapnya tentang aturan grup keamanan ini, lihat artikel Microsoft berikut: Jaringan Klaster HPC: Konfigurasi Windows Firewall.

  7. Buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

  8. Pada panel navigasi, pilih Grup Keamanan. Pastikan ketiga grup keamanan muncul dalam daftar dan memiliki aturan yang diperlukan.

Langkah 2: Siapkan Pengendali Domain Direktori Aktif Anda

Kontroler domain Active Directory menyediakan otentikasi dan manajemen sumber daya terpusat dari lingkungan HPC dan diperlukan untuk penginstalan. Untuk menyiapkan Active Directory Anda, luncurkan sebuah instans yang berfungsi sebagai kontroler domain untuk klaster HPC Anda dan mengonfigurasikannya.

Untuk meluncurkan kontroler domain untuk klaster HPC Anda
  1. Buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

  2. Pada dasbor konsol, pilih Luncurkan instans.

  3. Pada halaman Pilih AMI, pilih AMI untuk Windows Server, lalu klik Pilih.

  4. Pada halaman wizard berikutnya, pilih tipe instans, lalu pilih Berikutnya: Konfigurasikan Detail Instans.

  5. Pada halaman Konfigurasikan Detail Instans, pilih VPC Anda dari Jaringan dan subnet dari Subnet. Pada halaman wizard berikutnya, Anda dapat menentukan penyimpanan tambahan untuk instans Anda.

  6. Pada halaman Tambahkan Tanda, masukkan Domain Controller sebagai nilai untuk tanda Name instans tersebut, lalu pilih Berikutnya: Konfigurasikan Grup Keamanan.

  7. Pada halaman Konfigurasikan Grup Keamanan, klik SPilih grup keamanan yang ada, pilih grup keamanan SG - Domain Controller, lalu pilih Tinjau dan Luncurkan.

  8. Pilih Luncurkan.

  9. Di panel navigasi, pilih IP Elastis.

  10. Pilih Alokasikan alamat baru. Pilih Alokasikan. Pilih Tutup.

  11. Pilih alamat IP Elastis yang Anda buat, dan pilih Tindakan, Kaitkan alamat. Untuk Instans, pilih instans kontroler domain. Pilih Kaitkan.

Hubungkan ke instans yang Anda buat, dan konfigurasikan server sebagai kontroler domain untuk klaster HPC.

Untuk mengonfigurasi instans Anda sebagai kontroler domain
  1. Terhubung ke instans Domain Controller Anda. Untuk informasi selengkapnya, lihat Terhubung ke instans Windows Anda.

  2. Buka Server Manager, dan tambahkan peran Layanan Domain Direktori Aktif.

  3. Promosikan server ke kontroler domain menggunakan Server Manager atau dengan menjalankan DCPromo.exe.

  4. Buat domain baru di hutan baru.

  5. Ketik hpc.local sebagai nama domain yang sepenuhnya memenuhi syarat (FQDN).

  6. Pilih Tingkat Fungsional Hutan sebagai Windows Server 2008 R2.

  7. Pastikan bahwa opsi Server DNS dipilih, lalu pilih Berikutnya.

  8. Pilih Ya, komputer akan menggunakan alamat IP yang secara otomatis ditetapkan oleh server DHCP (tidak disarankan).

  9. Saat diminta, pilih Ya untuk melanjutkan.

  10. Selesaikan wizard lalu pilih Boot ulang saat Penyelesaian.

  11. Hubungkan ke instans sebagai hpc.local\administrator.

  12. Buat pengguna domain hpc.local\hpcuser.

Langkah 3: Konfigurasikan Simpul Kepala Anda

Klien HPC terhubung ke simpul kepala. Simpul kepala memfasilitasi pekerjaan terjadwal. Anda mengonfigurasi simpul kepala Anda dengan meluncurkan instans, menginstal HPC Pack, dan mengonfigurasi klaster.

Luncurkan sebuah instans, lalu konfigurasikan sebagai anggota hpc.local domain dan dengan akun pengguna yang diperlukan.

Untuk mengonfigurasi sebuah instans sebagai simpul kepala Anda
  1. Luncurkan sebuah instans dan beri nama HPC-Head. Saat Anda meluncurkan instans tersebut, pilih kedua grup keamanan ini: SG - Klaster HPC Windows dan SG - Anggota Domain.

  2. Hubungkan ke instans dan dapatkan alamat server DNS yang ada menggunakan perintah berikut:

    IPConfig /all
  3. Perbarui properti TCP/IPv4 dari NIC HPC-Head untuk menyertakan alamat IP Elastis untuk instans Domain Controller sebagai DNS primer, kemudian tambahkan alamat IP DNS tambahan dari langkah sebelumnya.

  4. Gabungkan mesin ke hpc.local domain menggunakan kredensial untuk hpc.local\administrator (akun administrator domain).

  5. Tambahkan hpc.local\hpcuser sebagai administrator lokal. Saat dimintai kredensial, gunakan hpc.local\administrator, lalu mulai ulang instans.

  6. Hubungkan ke Kepala HPC sebagai hpc.local\hpcuser.

Untuk menginstal Paket HPC
  1. Hubungkan ke instans HPC-Head Anda menggunakan akun hpc.local\hpcuser.

  2. Dengan menggunakan Server Manager, nonaktifkan Internet Explorer Enhanced Security Configuration (IE ESC) untuk Administrator.

    1. Di Server Manager, pada Informasi Keamanan, pilih Konfigurasikan IE ESC.

    2. Matikan IE ESC untuk administrator.

  3. Instal Paket HPC di HPC-Head.

    1. Unduh Paket HPC ke HPC-Head dari Microsoft Download Center. Pilih HPC Pack untuk versi Windows Server di HPC-Head.

    2. Ekstrak file ke folder, buka folder, dan klik dua kali pada setup.exe.

    3. Di halaman Instalasi, pilih Buat klaster HPC baru dengan membuat simpul kepala, lalu pilih Berikutnya.

    4. Terima pengaturan default untuk menginstal semua basis data di Simpul Kepala, lalu pilih Berikutnya.

    5. Selesaikan wizard.

Untuk mengonfigurasi klaster HPC Anda di simpul kepala
  1. Mulai HPC Cluster Manager.

  2. Dalam Deployment To-Do List, pilih Configure your network.

    1. Di wizard, pilih opsi default (5), lalu pilih Berikutnya.

    2. Selesaikan wizard yang menerima nilai default di semua layar, dan pilih cara bagaimana Anda ingin memperbarui server dan berpartisipasi dalam umpan balik pelanggan.

    3. Pilih Konfigurasikan

  3. Pilih Berikan Kredensial Jaringan, lalu berikan kredensial hpc.local\hpcuser.

  4. Pilih Konfigurasi penamaan simpul baru, lalu pilih OK.

  5. Pilih Buat templat simpul.

    1. Pilih Templat simpul komputasi, lalu pilih Berikutnya.

    2. Pilih Tanpa sistem operasi, kemudian lanjutkan dengan default.

    3. Pilih Buat.

Langkah 4: Siapkan simpul komputasi

Anda menyiapkan simpul komputasi dengan meluncurkan sebuah instans, menginstal HPC Pack, dan menambahkan node ke klaster Anda.

Pertama, luncurkan sebuah instans, lalu konfigurasikan instans sebagai anggota domain hpc.local dengan akun pengguna yang diperlukan.

Untuk mengonfigurasi instans untuk simpul komputasi Anda
  1. Luncurkan sebuah instans dan beri nama HPC-Compute. Saat Anda meluncurkan instans tersebut, pilih grup keamanan berikut: SG - Windows HPC Cluster dan SG - Anggota Domain.

  2. Masuk ke instans dan dapatkan alamat server DNS yang ada dari HPC-Compute menggunakan perintah berikut:

    IPConfig /all
  3. Perbarui properti TCP/IPv4 dari NIC HPC-Compute untuk menyertakan alamat IP Elastis dari instans Domain Controller sebagai DNS utama. Kemudian, tambahkan alamat IP DNS tambahan dari langkah sebelumnya.

  4. Gabungkan mesin ke domain hpc.local menggunakan kredensial untuk hpc.local\administrator (akun administrator domain).

  5. Tambahkan hpc.local\hpcuser sebagai administrator lokal. Saat dimintai kredensial, gunakan hpc.local\administrator, lalu mulai ulang.

  6. Terhubung ke HPC-Compute sebagai hpc.local\hpcuser.

Untuk menginstal Paket HPC pada simpul komputasi
  1. Hubungkan ke instans HPC-Compute Anda menggunakan akun hpc.local\hpcuser.

  2. Dengan menggunakan Server Manager, nonaktifkan Internet Explorer Enhanced Security Configuration (IE ESC) untuk Administrator.

    1. Di Server Manager, pada Informasi Keamanan, pilih Konfigurasikan IE ESC.

    2. Matikan IE ESC untuk administrator.

  3. Instal HPC Pack di HPC-Compute.

    1. Unduh Paket HPC ke HPC-Compute dari Microsoft Download Center. Pilih HPC Pack untuk versi Windows Server di HPC-Compute.

    2. Ekstrak file ke folder, buka folder, dan klik dua kali pada setup.exe.

    3. Pada halaman Instalasi, pilih Bergabung dengan klaster HPC yang ada dengan membuat simpul komputasi baru, lalu pilih Berikutnya.

    4. Tentukan nama yang sepenuhnya memenuhi syarat dari instans HPC-Head, lalu pilih default.

    5. Selesaikan wizard.

Untuk menyelesaikan konfigurasi klaster Anda, dari simpul kepala, tambahkan simpul komputasi ke klaster Anda.

Untuk menambahkan simpul komputasi ke klaster Anda
  1. Hubungkan ke instans HPC-Head sebagai hpc.local\hpcuser.

  2. Buka Manajer Klaster HPC.

  3. Pilih Manajemen Simpul.

  4. Jika simpul komputasi ditampilkan di bucket Tidak disetujui, klik kanan simpul yang dicantumkan dan pilih Tambahkan Simpul.

    1. Pilih Tambahkan simpul komputasi atau simpul broker yang telah dikonfigurasi.

    2. Pilih kotak centang di sebelah simpul dan pilih Tambahkan.

  5. Klik kanan pada simpul dan pilih Bawa Online.

Langkah 5: Skalakan simpul komputasi HPC Anda (opsional)

Untuk menskalakan simpul komputasi Anda
  1. Hubungkan ke instans HPC-Compute sebagai hpc.local\hpcuser.

  2. Hapus semua file yang Anda unduh secara lokal dari paket instalasi HP Pack. (Anda telah menjalankan penyiapan dan membuat file ini pada gambar Anda, sehingga file tidak perlu diklona untuk AMI.)

  3. Dari C:\Program Files\Amazon\Ec2ConfigService, buka file sysprep2008.xml.

  4. Di bagian bawah <settings pass="specialize">, tambahkan bagian berikut. Pastikan untuk mengganti hpc.local, password, dan hpcuser agar sesuai dengan lingkungan Anda.

    <component name="Microsoft-Windows-UnattendedJoin" processorArchitecture="amd64" publicKeyToken="31bf3856ad364e35" language="neutral" versionScope="nonSxS" xmlns:wcm="http://schemas.microsoft.com/WMIConfig/2002/State" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"> <Identification> <UnsecureJoin>false</UnsecureJoin> <Credentials> <Domain>hpc.local</Domain> <Password>password</Password> <Username>hpcuser</Username> </Credentials> <JoinDomain>hpc.local</JoinDomain> </Identification> </component>
  5. Simpan sysprep2008.xml.

  6. Pilih Mulai, Semua Program, ConfigService Pengaturan EC2.

    1. Pilih tab Umum, dan hapus kotak centang Atur Nama Komputer.

    2. Pilih tab Bundel, lalu pilih Jalankan Sysprep dan Matikan Sekarang.

  7. Buka konsol Amazon EC2.

  8. Di panel navigasi, pilih Contoh.

  9. Tunggu status instans menampilkan Berhenti.

  10. Pilih instans, pilih Tindakan, Gambar dan templat, Buat gambar.

  11. Tentukan nama gambar dan deskripsi gambar, lalu pilih Buat gambar untuk membuat AMI dari instans.

  12. Mulai instans HPC-Compute yang asli yang sebelumnya ditutup.

  13. Hubungkan ke simpul kepala menggunakan akun hpc.local\hpcuser.

  14. Dari HPC Cluster Manager, hapus simpul lama yang sekarang muncul dalam status kesalahan.

  15. Di konsol Amazon EC2, dalam panel navigasi, pilih AMI.

  16. Gunakan AMI yang Anda buat untuk menambahkan simpul tambahan ke klaster.

Anda dapat meluncurkan simpul komputasi tambahan dari AMI yang Anda buat. Simpul ini secara otomatis bergabung ke domain, tetapi Anda harus menambahkannya ke klaster sebagai simpul yang sudah dikonfigurasi di HPC Cluster Manager menggunakan simpul kepala kemudian membawanya online.