使用者背景工作階段 - Amazon EMR
設定使用者背景工作階段

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

使用者背景工作階段

使用者背景工作階段可讓長時間執行的分析和機器學習工作負載繼續進行，即使使用者已從筆記本介面登出也一樣。從 EMR on EC2 7.11 版開始，此功能可透過 EMR-EC2 的信任身分傳播功能使用。下列各節說明使用者背景工作階段的組態選項和行為。

注意

使用者背景工作階段設定只會影響透過 SageMaker Unified Studio 啟動的 Spark 工作負載。此設定的變更會套用至新的 Livy 工作階段 - 現有的作用中工作階段不會受到影響。

設定使用者背景工作階段

使用者背景工作階段必須在兩個層級啟用，才能正常運作：

  1. IAM Identity Center 執行個體層級 （由 IdC 管理員設定）

  2. EMR 叢集層級 （由 EMR 叢集管理員設定）

啟用 Amazon EMR 的使用者背景工作階段

若要啟用 的使用者背景工作階段，您必須在建立 EMR 安全組態identityCenterConfiguration時，在 true中將 userBackgroundSessionsEnabled 參數設定為 。

先決條件：

  • 用於建立或更新 EMR 安全組態的 IAM 角色需要 sso:PutApplicationSessionConfiguration許可。此許可會啟用 Amazon EMR 受管 IAM Identity Center 應用程式的使用者背景工作階段。

  • 為 IAM Identity Center 建立 IAM 角色

  • 使用 7.11 版或更新版本啟動 EMR 叢集，並啟用受信任身分傳播。

步驟 1 - 建立啟用 Identity Center UserBackgroundSession 的 EMR 安全組態

使用者需要EnableUserBackgroundSession將旗標設定為 true ，這將允許 EMR 服務在 EMR 受管 IDC 應用程式層級啟用 UserBackgourndSession。如果此旗標設定為false或未設定，EMR 預設會停用 IDC UserBackgroundSession。

使用 的範例 AWS CLI：


aws emr create-security-configuration --name "idc-userBackgroundSession-enabled-secConfig" \
--region AWS_REGION  \
--security-configuration ' \
{ 
	"AuthenticationConfiguration":{
		"IdentityCenterConfiguration":{
		"EnableIdentityCenter":true,
		"IdentityCenterInstanceARN": "arn:aws:sso:::instance/ssoins-123xxxxxxxxxx789",
		"IdentityCenterApplicationAssigmentRequired": false,
		"EnableUserBackgroundSession": true,
		"IAMRoleForEMRIdentityCenterApplicationARN": "arn:aws:iam::12345678912:role/YOUR_ROLE"
		}
	},\
	"AuthorizationConfiguration": {
	"IAMConfiguration": {
		"EnableApplicationScopedIAMRole": true,
		"ApplicationScopedIAMRoleConfiguration": {
		"PropagateSourceIdentity": true
		}
	},\
	"LakeFormationConfiguration": {
		"AuthorizedSessionTagValue": "Amazon EMR"
	}
	},\
	"EncryptionConfiguration": {
		"EnableInTransitEncryption": true,
		"EnableAtRestEncryption": false,
		"InTransitEncryptionConfiguration": {
			"TLSCertificateConfiguration": {
				"CertificateProviderType": "PEM",
							"S3Object": "s3://amzn-s3-demo-bucket/cert/my-certs.zip"
			}
		}
	}
}'

步驟 2 - 建立和啟動啟用 Identity Center 的叢集

現在，您已設定使用 Identity Center 執行身分驗證的 IAM 角色，並已建立已啟用 Identity Center 的 Amazon EMR 安全組態，您可以建立和啟動身分感知叢集。如需使用必要的安全組態啟動叢集的步驟，請參閱指定 Amazon EMR 叢集的安全組態。

組態矩陣

使用者背景工作階段行為取決於 EMR-EC2 設定和 IAM Identity Center 執行個體層級設定：

使用者背景工作階段組態矩陣
IAM Identity Center userBackgroundSession 已啟用 Amazon EMR userBackgroundSessionsEnabled Behavior (行為)
是 TRUE 使用者背景工作階段已啟用
是 FALSE 工作階段會隨著使用者登出而過期
否 TRUE 工作階段會隨著使用者登出而過期
否 FALSE 工作階段會隨著使用者登出而過期

預設使用者背景工作階段持續時間

根據預設，所有使用者背景工作階段在 IAM Identity Center 中的持續時間限制為 7 天。管理員可以在 IAM Identity Center 主控台中修改此持續時間。此設定適用於 IAM Identity Center 執行個體層級，影響該執行個體內所有支援的 IAM Identity Center 應用程式。

  • 持續時間可以設定為 15 分鐘到 90 天之間的任何值。

  • 此設定是在 IAM Identity Center 主控台的設定 → 身分驗證 → 設定下進行設定 （請參閱非互動式任務一節）

停用使用者背景工作階段的影響

在 IAM Identity Center 中停用使用者背景工作階段時：

現有的 Livy 工作階段

  • 如果使用者背景工作階段已啟用，則繼續執行而不會中斷。這些工作階段將繼續使用其現有的背景工作階段字符，直到其自然終止或明確停止為止。

新的 Livy 工作階段

  • 將使用標準信任的身分傳播流程，並在使用者登出或其互動式工作階段過期時終止 （例如關閉 Amazon SageMaker Unified Studio JupyterLab 筆記本時）。

變更使用者背景工作階段持續時間

在 IAM Identity Center 中修改使用者背景工作階段的持續時間設定時：

現有的 Livy 工作階段

  • 繼續執行與啟動時相同的背景工作階段持續時間。

新的 Livy 工作階段

  • 將為背景工作階段使用新的工作階段持續時間。

考量事項

功能可用性

Amazon EMR 的使用者背景工作階段可用於：

  • 僅限 Spark 引擎 （不支援 Hive 引擎）

  • 僅限 Livy 互動式工作階段 （不支援批次任務和串流任務）

  • Amazon EMR 發行標籤 7.11 及更新版本。使用 EMR 7.11 版，您需要安裝引導操作指令碼，以在建立叢集時啟用使用者背景工作階段。如需其他詳細資訊，請聯絡 AWS Support。

    注意

    如果您使用的是 SageMaker Unified Studio 佈建叢集，則不需要引導操作指令碼即可使用此功能。

成本影響

  • 即使使用者結束其 Amazon SageMaker Unified Studio JupyterLab 工作階段，任務仍會繼續執行至完成，並在整個執行期間產生費用。

  • 監控您的作用中背景工作階段，以避免忘記或放棄的工作階段產生不必要的成本。

Livy 工作階段終止條件

使用使用者背景工作階段時，Livy 工作階段會繼續執行，直到發生下列其中一種情況：

  • 使用者背景工作階段過期 （根據 IdC 組態，最多 90 天）。

  • 管理員會手動撤銷使用者背景工作階段。

  • Livy 工作階段達到閒置逾時 （預設值：上次執行陳述式後 8 小時）。

  • 使用者明確停止或重新啟動筆記本核心。