本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
搭配 Glue 使用 Python AWS 程式庫
您可以安裝其他 Python 模組和程式庫，以與 Glue ETL AWS 搭配使用。對於 AWS Glue 2.0 及更高版本， AWS Glue 使用 Python 套件安裝程式 (pip3) 來安裝 AWS Glue ETL 使用的其他模組。 AWS Glue 提供多種選項，可將其他 Python 模組帶入您的 AWS Glue 任務環境。您可以使用 "—additional-python-modules" 參數，透過 Python Wheel 檔案、需求檔案 AWS (requirement.txt、 Glue 5.0 及更高版本) 或逗號分隔的 Python 模組清單來引入模組。
主題
| AWS Glue 版本 | Python 版本 | 基礎映像 | glibc 版本 |
|---|---|---|---|
| 5.0 | 3.11 | Amazon Linux 2023 (AL2023) |
2.34 |
| 4.0 | 3.10 | Amazon Linux 2 (AL2) |
2.26 |
| 3.0 | 3.7 | Amazon Linux 2 (AL2) |
2.26 |
| 2.0 | 3.7 | Amazon Linux AMI (AL1) |
2.17 |
| 1.0 | 3.6 | Amazon Linux AMI (AL1) |
2.17 |
| 0.9 | 2.7 | Amazon Linux AMI (AL1) |
2.17 |
在AWS 共同責任模型
AWS Glue 不支援在任務環境中編譯原生程式碼。不過， AWS Glue 任務會在 Amazon 受管 Linux 環境中執行。透過 Python wheel 檔案，您也許能夠以編譯形式提供原生相依項。如需 Glue AWS 版本相容性詳細資訊，請參閱上表。
如果您的 Python 相依性暫時依賴於原生編譯的程式碼，您可以根據下列限制執行： AWS Glue 不支援在任務環境中編譯原生程式碼。不過， AWS Glue 任務會在 Amazon 受管 Linux 環境中執行。透過 wheel 發行版本，您也許能夠以編譯形式提供原生相依項。如需 Glue AWS 版本相容性詳細資訊，請參閱上表。
重要
使用不相容的相依項可能會導致執行時期問題，尤其是對於必須與目標環境的架構和系統庫相符的原生延伸模組的程式庫。每個 AWS Glue 版本都會在具有預先安裝程式庫和系統組態的特定 Python 版本上執行。
在 AWS Glue 2.0 或更新版本中使用 pip 安裝其他 Python 模組
AWS Glue 使用 Python 套件安裝程式 (pip3) 來安裝 AWS Glue ETL 要使用的其他模組。您可以使用 --additional-python-modules 參數與逗號分隔的 Python 模組清單來新增新模組或變更現有模組的版本。您可以將分佈上傳到 Amazon S3 來安裝程式庫的自訂發行版本，然後在模組清單中包含 Amazon S3 物件的路徑。
您可以使用 --python-modules-installer-option 參數將其他選項傳遞給 pip3。例如，您可以傳遞 "--upgrade" 來升級由 "--additional-python-modules" 指定的套件。如需更多範例，請參閱使用 Glue 2.0 從 Spark ETL AWS 工作負載的 wheel 建置 Python 模組。
AWS Glue 支援使用存放在 Amazon S3 中的 wheel (.whl) 檔案安裝自訂 Python 套件。若要在 Glue AWS 任務中包含輪子檔案，請將儲存在 s3 中的輪子檔案逗號分隔清單提供給--additional-python-modules任務參數。例如：
--additional-python-modules s3://amzn-s3-demo-bucket/path/to/package-1.0.0-py3-none-any.whl,s3://your-bucket/path/to/another-package-2.1.0-cp311-cp311-linux_x86_64.whl
當您需要自訂發行版本，或具有原生相依項的套件已針對正確的作業系統預先編譯時，此方法也支援。如需更多範例，請參閱使用 Glue 2.0 從 Spark ETL 工作負載的 wheel AWS 建置 Python 模組。
您可以在 Glue AWS 主控台--additional-python-modules的任務參數欄位中指定 ，或是透過修改 AWS SDK 中的任務引數來指定 。如需設定任務參數的詳細資訊，請參閱在 Glue AWS 任務中使用任務參數。
在 AWS Glue 5.0 中，您可以提供 defacto 標準requirements.txt來管理 Python 程式庫相依性。若要這樣做，請提供下列兩個任務參數：
-
索引鍵：
--python-modules-installer-option值：
-r -
索引鍵：
--additional-python-modules值：
s3://path_to_requirements.txt
AWS Glue 5.0 節點一開始會載入 中指定的 Python 程式庫requirements.txt。
以下是範例 requirements.txt：
awswrangler==3.9.1 elasticsearch==8.15.1 PyAthena==3.9.0 PyMySQL==1.1.1 PyYAML==6.0.2 pyodbc==5.2.0 pyorc==0.9.0 redshift-connector==2.1.3 scipy==1.14.1 scikit-learn==1.5.2 SQLAlchemy==2.0.36
重要
請避免在 requirements.txt 中取消固定的程式庫版本，以確保您的任務具有可靠且決定性的 AWS Glue 環境。
在您將 wheel 用於直接相依項時，如果未正確固定，則可以引入不相容的可轉移相依項版本。最佳實務是，所有程式庫版本都應固定，以確保 Glue AWS 任務的一致性。 AWS Glue 建議您將 python 環境封裝到 wheel 檔案中，以確保生產工作負載的一致性和可靠性。
若要更新 或 新增 Python 模組 AWS Glue，允許使用逗號分隔 Python 模組的清單做為值傳遞--additional-python-modules參數。例如，若要更新或新增 scikit-learn 模組，請使用下列金鑰/值："--additional-python-modules",
"scikit-learn==0.21.3"。您有兩個選項可以直接設定 python 模組。
-
固定 Python 模組 (建議)
"--additional-python-modules", "scikit-learn==0.21.3,ephem==4.1.6" -
未固定的 Python 模組：(不建議用於生產工作負載)
"--additional-python-modules", "scikit-learn>==0.20.0,ephem>=4.0.0"或
"--additional-python-modules", "scikit-learn,ephem"
重要
直接在 中設定 Python 模組時--additional-python-modules， AWS Glue 建議使用固定程式庫版本，以確保 Glue AWS 任務環境中的一致性。使用未鎖定的程式庫版本， 會提取最新版本的 python 模組，但這可能會導致突破性的變更，或導致不相容的 python AWS 模組因 Glue 任務環境中的 python 安裝失敗而導致任務失敗。我們建議客戶不要將未固定的程式庫版本用於生產工作負載。最佳實務是， AWS Glue 建議您將 python 環境封裝到 wheel 檔案中，以確保生產工作負載的一致性和可靠性。
包括 Python 檔案與 PySpark 原生功能
AWS Glue 使用 PySpark 在 Glue ETL AWS 任務中包含 Python 檔案。您需使用可用的 --additional-python-modules 管理相依性。您可以使用 --extra-py-files 任務參數來包含 Python 檔案。相依性必須在 Amazon S3 中託管，且引數值應為以逗號分隔的 Amazon S3 路徑清單，並不含空格。此功能的行為類似於您搭配 Spark 使用的 Python 相依性管理。有關 Spark 中 Python 相依性管理的詳細資訊，請參閱 Apache Spark 文件中的 Using PySpark Native Features--extra-py-files 非常有用。為了使您的相依性工具可維護，您必須在提交之前綁定相依性。
使用視覺化轉換的程式設計指令碼
當您使用 AWS Glue Studio 視覺化界面建立 Glue AWS 任務時，您可以使用受管資料轉換節點和自訂視覺化轉換來轉換資料。如需有關受管資料轉換節點的詳細資訊，請參閱使用 AWS Glue 受管轉換來轉換資料。如需有關自訂視覺化轉換的詳細資訊，請參閱 使用自訂視覺化轉換來轉換資料 。只有在任務語言設定為使用 Python 時，才能使用視覺化轉換產生指令碼。
使用視覺化轉換產生 AWS Glue 任務時， AWS Glue Studio 會使用任務組態中的 --extra-py-files 參數，將這些轉換包含在執行時間環境中。如需有關任務參數的詳細資訊，請參閱 在 AWS Glue 任務中使用任務參數。對產生的指令碼或執行時期環境進行變更時，您需要保留此任務組態，指令碼才能成功執行。
壓縮程式庫以加入
除非程式庫包含在單一的 .py 檔案裡，否則應封裝於 .zip 封存中。套件目錄應位於封存的根目錄，且套件必須包含一個 __init__.py 檔案。接著 Python 就可以正常匯入套件。
如果程式庫僅由一個 .py 檔案裡的單一 Python 模組組成，則不必將其置於 .zip 檔案。
在 Glue Studio AWS 筆記本中載入 Python 程式庫
若要在 Glue Studio AWS 筆記本中指定 Python 程式庫，請參閱安裝其他 Python 模組。
在 Glue 0.9/1.0 AWS 的開發端點中載入 Python 程式庫
若要將不同的程式庫集用於不同的 ETL 指令碼，您可以為各程式庫集設定個別的開發端點，或是覆寫每次切換指令碼時開發端點載入的程式庫 .zip 檔案。
在建立開發端點時，您可以使用主控台為其指定一或多個程式庫 .zip 檔案。指派名稱和 IAM 角色後，請選擇 Script Libraries and job parameters (optional) [指令碼程式庫與任務參數 (選用)]，並在 .zipPython library path (Python 程式庫路徑) 方塊中輸入程式庫 檔案的完整 Amazon S3 路徑。例如：
s3://bucket/prefix/site-packages.zip您也可以為檔案指定多個完整路徑，以逗號但不含空格的方式隔開，例如：
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip如果您在後來更新這些 .zip 檔案，您可以使用主控台將檔案重新匯入開發端點。導覽至該開發端點，從 Action (動作) 選單選擇 Update ETL libraries (更新 ETL 程式庫)。
以類似的方式，您可以使用 Glue APIs AWS 來指定程式庫檔案。呼叫 CreateDevEndpoint 動作 (Python: create_dev_endpoint) 以建立開發端點時，您可以在 ExtraPythonLibsS3Path 參數中為程式庫指定一個或多個完整路徑，而呼叫的格式如下：
dep = glue.create_dev_endpoint(
EndpointName="testDevEndpoint",
RoleArn="arn:aws:iam::123456789012",
SecurityGroupIds="sg-7f5ad1ff",
SubnetId="subnet-c12fdba4",
PublicKey="ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCtp04H/y...",
NumberOfNodes=3,
ExtraPythonLibsS3Path="s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip")更新開發端點時，您也可以更新其載入的程式庫，方式是使用 DevEndpointCustomLibraries 物件，並在呼叫 UpdateDevEndpoint (update_dev_endpoint) 時將 UpdateEtlLibraries 參數設定為 True。
在任務或 JobRun 使用 Python 程式庫
在主控台建立新任務時，您可以指定一個或多個程式庫 .zip 檔案，方式是選擇 Script Libraries and job parameters (optional) (指令碼程式庫與任務參數 (選用))，並以與建立開發端點相同的方式輸入完整 Amazon S3 路徑：
s3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip若要呼叫 CreateJob (create_job)，您可以使用 --extra-py-files 預設參數來為預設程式庫指定一個或多個完整路徑，如下所示：
job = glue.create_job(Name='sampleJob',
Role='Glue_DefaultRole',
Command={'Name': 'glueetl',
'ScriptLocation': 's3://my_script_bucket/scripts/my_etl_script.py'},
DefaultArguments={'--extra-py-files': 's3://bucket/prefix/lib_A.zip,s3://bucket_B/prefix/lib_X.zip'})接著，啟動 JobRun 時，您可以用不同的內容覆寫預設程式庫設定：
runId = glue.start_job_run(JobName='sampleJob',
Arguments={'--extra-py-files': 's3://bucket/prefix/lib_B.zip'})主動分析 Python 相依項
若要在部署到 Glue AWS 之前主動識別潛在的相依性問題，您可以使用相依性分析工具，根據目標 Glue 環境驗證 Python AWS 套件。
AWS 提供專為 Glue 環境設計的開放原始碼 Python AWS 相依性分析器工具。此工具可在 AWS Glue 範例儲存庫中使用，並可在本機用於在部署之前驗證您的相依性。
此分析有助於確保您的相依項遵循固定所有程式庫版本以實現一致生產部署的建議實務。如需詳細資訊，請參閱工具的 README
AWS Glue Python 相依性分析器透過使用符合您目標 Glue AWS 環境的平台特定限制來模擬 pip 安裝，協助識別未鎖定的相依性和版本衝突。
# Analyze a single Glue job python glue_dependency_analyzer.py -j my-glue-job # Analyze multiple jobs with specific AWS configuration python glue_dependency_analyzer.py -j job1 -j job2 --aws-profile production --aws-region us-west-2
工具會標記：
-
可跨任務執行安裝不同版本的未固定相依項
-
套件之間的版本衝突
-
您的目標 Glue AWS 環境無法使用相依性
Amazon Q Developer 是生成式人工智慧 (AI) 支援的對話式助理，可協助您了解、建置、擴展和操作 AWS 應用程式。您可以遵循 Amazon Q 入門指南中的指示進行下載。
Amazon Q Developer 可用於分析和修正因 python 相依項而導致的任務失敗。我們建議您使用下列提示，將任務 <Job-Name> 預留位置取代為您的 Glue 任務名稱。
I have an AWS Glue job named <Job-Name> that has failed due to Python module installation conflicts. Please assist in diagnosing and resolving this issue using the following systematic approach. Proceed once sufficient information is available. Objective: Implement a fix that addresses the root cause module while minimizing disruption to the existing working environment. Step 1: Root Cause Analysis • Retrieve the most recent failed job run ID for the specified Glue job • Extract error logs from CloudWatch Logs using the job run ID as a log stream prefix • Analyze the logs to identify: • The recently added or modified Python module that triggered the dependency conflict • The specific dependency chain causing the installation failure • Version compatibility conflicts between required and existing modules Step 2: Baseline Configuration Identification • Locate the last successful job run ID prior to the dependency failure • Document the Python module versions that were functioning correctly in that baseline run • Establish the compatible version constraints for conflicting dependencies Step 3: Targeted Resolution Implementation • Apply pinning by updating the job's additional_python_modules parameter • Pin only the root cause module and its directly conflicting dependencies to compatible versions, and do not remove python modules unless necessary • Preserve flexibility for non-conflicting modules by avoiding unnecessary version constraints • Deploy the configuration changes with minimal changes to the existing configuration and execute a validation test run. Do not change the Glue versions. Implementation Example: Scenario: Recently added pandas==2.0.0 to additional_python_modules Error: numpy version conflict (pandas 2.0.0 requires numpy>=1.21, but existing job code requires numpy<1.20) Resolution: Update additional_python_modules to "pandas==1.5.3,numpy==1.19.5" Rationale: Use pandas 1.5.3 (compatible with numpy 1.19.5) and pin numpy to last known working version Expected Outcome: Restore job functionality with minimal configuration changes while maintaining system stability.
提示指示 Q 執行下列動作：
-
擷取最近失敗的任務執行 ID
-
尋找關聯的日誌和詳細資訊
-
尋找成功的任務執行，以偵測任何變更的 Python 套件
-
進行任何組態修正並觸發另一個測試執行
Python 模組已在 Glue AWS 中提供
若要變更這些已提供模組的版本，請提供帶有 --additional-python-modules 任務參數的新版本。
