Amazon 有哪些新内容 DataZone? - Amazon DataZone

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Amazon 有哪些新内容 DataZone?

本节 DataZone 按发布日期介绍Amazon的新功能和改进。

主题

2024

亚马逊 DataZone 推出精细访问控制功能

于 2024 年 2 月 7 日发布

亚马逊引入 DataZone 了精细的访问控制,使您可以精细控制亚马逊 DataZone业务数据目录中的数据资产,跨数据湖和数据仓库。有了这项新功能,数据所有者现在可以限制对行级和列级特定数据记录的访问权限,而不是授予对整个数据资产的访问权限。例如,如果您的数据包含包含敏感信息的列,例如个人身份信息 (PII),则可以将访问权限限制为仅限必要的列,从而确保敏感信息受到保护,同时仍允许访问非敏感数据。同样,您可以控制行级别的访问权限,只允许用户查看与其角色或任务相关的记录。有关更多信息,请参阅使用对 Amazon 中数据的精细访问控制 DataZone

亚马逊 DataZone 推出数据血统功能

于 2024 年 6 月 27 日发布

Amazon DataZone 推出数据沿袭预览版,帮助客户可视化来自支持系统的血统事件,或者通过 OpenLineage支持系统的血统事件,API并跟踪数据从源到消费的移动。使用与亚马逊 OpenLineage兼容 DataZone的功能APIs,域管理员和数据制作者可以捕获和存储超出亚马逊可用范围的谱系事件 DataZone,包括Amazon S3、G AWS lue和其他服务中的转换。此外,Amazon DataZone 版本与每个事件保持一致,使用户能够在任何时间点可视化血统或比较资产或任务历史的转换。这种历史沿袭可以更深入地了解数据是如何演变的,这对于故障排除、审计和验证数据资产的完整性至关重要。有关更多信息,请参阅Amazon 中的数据谱系 DataZone (预览版)

亚马逊 DataZone 推出定制 AWS 服务蓝图

于 2024 年 6 月 17 日发布

使用自定义 AWS 服务蓝图,如果您有现有 AWS 资源,包括IAM角色、数据湖、数据网格、Amazon S3 存储桶和 Amazon Redshift 集群,则现在可以使用自己的自定义IAM角色指定对这些现有资源的权限,这样您的亚马逊 DataZone 用户就可以利用发布和订阅来共享和管理这些资源。借助定制 AWS 服务蓝图,Amazon DataZone 管理员可以使用自己的自定义角色配置 AWS 服务环境。他们可以为这些 AWS 服务环境配置操作链接,从而提供对其任何现有 AWS 资源的联合访问权限。他们还可以在这些自定义 AWS 服务环境中配置订阅目标和数据源。管理员可以在自己的 Amazon DataZone 域账户中或他们想要发布、订阅、发现或管理数据的任何关联账户中设置 AWS 服务环境。有关更多信息,请参阅 在 Amazon 中 AWS 使用定制服务蓝图 DataZone

数据源创建流程的增强

于 2024 年 10 月 6 日发布

Amazon DataZone 对数据源创建流程进行了增强,以简化数据生产者的访问管理。通过这些更新,当数据创建者创建用于发布其 AWS Glue 和 Amazon Redshift 资产的数据源时,亚马逊会向项目成员 DataZone 授予只读权限。创建 AWS Glue 数据源时,Amazon DataZone 会自动向用于创建数据源的环境IAM角色授予 “只读” 权限,允许访问相关 AWS Glue 数据库中的所有表。同样,对于亚马逊 Redshift 数据源,亚马逊 DataZone 授予对数据源中使用的亚马逊 Redshift 架构中所有表的 “只读” 访问权限。有关更多信息,请参阅 为创建并运行 Amazon DataZone 数据源 AWS Glue Data Catalog为亚马逊 Redshift 创建并运行亚马逊 DataZone 数据源

亚马逊 DataZone 启动与亚马逊的整合 SageMaker

于 2024 年 6 月 5 日发布

亚马逊 DataZone 推出与亚马逊的集成, SageMaker以帮助数据生产者和消费者无缝切换 SageMaker 到亚马逊,在机器学习 (ML) 项目上进行协作,同时对数据和机器学习资产实施访问管理。借助 Amazon DataZone 和 Amazon 之间新的内置集成 SageMaker,数据使用者和创建者可以简化基础设施设置中的机器学习管理,协作开展业务计划,并轻松管理数据和机器学习资产。有关更多信息,请参阅 使用 Amazon DataZone 内置蓝图使用关联账户发布和使用数据

亚马逊 DataZone 推出与 L AWS ake Formation 混合访问模式的集成

于 2024 年 3 月 4 日发布

亚马逊推 DataZone 出了与 AWS Lake Formation混合访问模式的集成。这种集成使您能够轻松地通过亚马逊发布和共享您的 AWS Glue 表 DataZone,而无需先在 AWS Lake Formation 中注册它们。首先,管理员在 Amazon DataZone 控制台中启用DefaultDataLake蓝图下的数据位置注册设置。然后,当数据使用者订阅通过IAM权限管理的 AWS Glue 表时,Amazon DataZone 首先以混合模式注册该表的 Amazon S3 位置,然后通过 La AWS ke Formation 管理该表的权限,向数据使用者授予访问权限。这样可以确保使用新IAM授予的 La AWS ke Formation 权限继续存在表上的权限,而不会中断任何现有工作流程。有关更多信息,请参阅 亚马逊与 AWS Lake Formation 混合模式 DataZone 集成

亚马逊 DataZone 推出与 Glue 数据 AWS 质量的集成

于 2024 年 3 月 4 日发布

亚马逊 DataZone 推出与 AWS Glue 数据质量的集成APIs,并提供集成来自第三方数据质量解决方案的数据质量指标的服务。新的集成使您能够将Glue AWS 数据质量分数自动发布到亚马逊 DataZone 业务数据目录中。Amazon DataZone APIs 可用于从第三方来源获取质量指标。发布后,数据使用者可以轻松搜索数据资产,查看精细的质量指标,识别失败的检查和规则,从而为业务决策提供支持。有关更多信息,请参阅 Amazon 的数据质量 DataZone

Amazon 中描述的 AI 推荐正式发布版 DataZone

于 2024 年 3 月 27 日发布

Amazon DataZone 宣布正式发布基于人工智能的新生成功能,通过丰富业务数据目录来改善数据发现、数据理解和数据使用。只需单击一下,数据生成者就可以生成全面的业务数据描述和上下文,突出显示有影响力的专栏,并提供有关分析用例的建议。此次发布增加了APIs对数据生产者可用于以编程方式生成资产描述的支持。有关更多信息,请参阅 使用机器学习和生成式 AI

亚马逊 DataZone 推出亚马逊 Redshift 集成增强功能

于 2024 年 3 月 21 日发布

亚马逊对其亚马逊Redshift集成 DataZone 进行了多项增强,简化了发布和订阅亚马逊Redshift表格和视图的过程。这些更新简化了数据创建者和使用者的体验,使他们能够使用 Amazon DataZone 管理员提供的预配置凭证和连接参数快速创建数据仓库环境。此外,这些增强功能使管理员能够更好地控制谁可以使用其 AWS 账户和 Amazon Redshift 集群中的资源以及用于什么目的。

  • 蓝图配置:启用DefaultDataWarehouseBlueprint蓝图后,您可以通过将管理项目分配给已启用的DefaultDataWarehouseBlueprint蓝图来控制哪些项目可以使用您账户中的蓝图来创建环境配置文件。您还可以DefaultDataWarehouseBlueprint通过提供诸如集群、数据库和 AWS 密钥之类的参数来创建参数集。您也可以从 Amazon DataZone 控制台中创建 AWS 密钥。

  • 环境配置文件:创建环境配置文件时,您可以选择提供自己的 Amazon Redshift 参数或使用蓝图配置中的一个参数集。如果您选择使用在蓝图配置中创建的参数集,则 AWS 密钥只需要AmazonDataZoneDomainAmazonDataZoneProject标签(只有当您选择在环境配置文件中提供自己的参数集时,才需要标记)。在环境配置文件中,您可以指定已授权项目的列表。只有经过授权的项目才能使用此环境配置文件来创建数据仓库环境。您还可以指定允许发布哪些数据已获授权的项目。目前,您可以选择以下选项之一:1) 从任何架构中发布,2) 从默认环境架构发布,3) 不允许发布。

  • 环境:数据创建者或使用者现在可以选择环境配置文件来创建环境,而无需提供自己的 Amazon Redshift 参数,包括 AWS 密钥、集群、工作组和数据库。这些参数从环境配置文件移植到环境中。除了创建环境外,Amazon DataZone 现在还会为环境创建默认架构。项目成员对该架构具有读写权限,并且可以通过运行在创建环境时创建的默认数据源,轻松地将在此架构中创建的任何表发布到目录中。用于创建环境的 Amazon Redshift 参数也可用于创建新的数据源(而不是数据创建者在创建数据源时提供自己的参数)。

AWS Amazon 的 Cloud Formation DataZone

于 2024 年 1 月 18 日发布

现在,Amazon 的用户 DataZone 可以利用它 AWS CloudFormation 来有效地建模和管理一套亚马逊 DataZone 资源。这种方法有助于实现资源的一致配置,同时还可以通过基础架构即代码实践实现生命周期管理。使用自定义模板,您可以精确定义所需的资源及其相互依赖关系。有关更多信息,请参阅 Amazon DataZone 资源类型参考

直接将IAM委托人添加为 Amazon DataZone 项目的成员

于 2024 年 5 月 1 日发布

现在,您可以将IAM委托人添加为项目成员,即使这些IAM委托人尚未登录 Amazon DataZone (之前的要求)。在域管理员或 IT 管理员iam:GetRole向域的域执行角色添加iam:GetUser和后,项目所有者只需提供IAM角色或IAM用户的 Amazon 资源名称 (ARN) 即可将IAM委托人添加为成员。IAM委托人仍然必须拥有访问Amazon所需的IAM权限, DataZone 并且可以在IAM控制台中配置这些权限。有关更多信息,请参阅 向项目添加成员

Support 支持来自数据门户的自定义资产类型

于 2024 年 5 月 1 日发布

对自定义资产的支持使Amazon DataZone 能够通过数据门户对非结构化数据(包括仪表板、查询和模型)的资产进行分类,从而使您可以更轻松地直接在数据门户中添加自定义资产以及之前提供的API支持。通过在 Amazon 中创建 DataZone、更新和发布自定义资产,您可以共享、查找、订阅任何类型的资产,并构建可管理这些资产的业务工作流程。有关更多信息,请参阅 创建自定义资产类型

2023

删除域名

于 2023 年 12 月 27 日发布

这项功能使您能够更轻松地删除您的域名。现在,即使域名不为空,也可以继续删除(如包含项目、环境、资产、数据源等)。有关更多信息,请参阅 删除域名

混合模式

于 2023 年 12 月 22 日发布

亚马逊 DataZone 增加了对La AWS ke Formation混合模式的支持。有了这种支持,如果您将 AWS Glue表发布到亚马逊 DataZone ,其 AWS S3位置在混合模式下注册在Lake Formation中,则亚马逊 DataZone 会将此表视为托管资产,并且可以管理该表的订阅授权。在此功能发布之前,亚马逊 DataZone 会将此表视为非托管资产,也就是说,亚马逊 DataZone 将无法授予对该表的订阅。有关更多信息,请参阅 为亚马逊配置 Lake Formation 权限 DataZone

HIPAA资格

于 2023 年 12 月 14 日发布

Amazon DataZone 现已符合 1996 年《美国健康保险流通与责任法案》(HIPAA)。要查看合HIPAA规 AWS 服务列表,请参阅 https://aws.amazon.com/compliance/hipaa-eligible-services-reference/

Amazon 中描述的 AI 建议 DataZone(预览版)

于 2023 年 11 月 28 日发布

AWS 宣布在 Amazon 中预览基于人工智能的新生成功能,该功能通过丰富业务数据目录 DataZone来改善数据发现、数据理解和数据使用。只需单击一下,数据生成者就可以生成全面的业务数据描述和上下文,突出显示有影响力的专栏,并提供有关分析用例的建议。借助 Amazon 中描述的人工智能建议 DataZone,数据使用者可以识别分析所需的数据表和列,从而提高数据可发现性并减少与数据生产者的 back-and-forth 通信。预览版适用于在以下 AWS 区域配置的 Amazon DataZone 域名:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)。有关更多信息,请参阅 使用机器学习和生成式 AI

DefaultDataLake 蓝图增强

于 2023 年 11 月 20 日发布

Amazon为 DefaultDataLake 蓝图添加 DataZone 了一项增强功能,使您可以更好地控制谁可以从您的 AWS 账户发布哪些数据。此功能发布引入了两项关键更改。

  • 在控制台中,启用 DefaultDataLake 蓝图后,您可以通过将管理项目分配给已启用的 DefaultDataLake 蓝图来控制哪些项目可以使用您账户中的蓝图来创建环境配置文件。

  • 第二个变化是在门户网站中。如果您使用 DefaultDataLake 蓝图创建环境配置文件,则还可以选择允许使用该环境配置文件创建环境的授权项目。默认情况下,允许所有项目使用数据湖环境配置文件,但您可以将环境配置文件限制为特定项目,也可以控制使用使用该配置文件创建的环境可以发布哪些数据。

有关更多信息,请参阅 创建环境配置文件