监控文件网关 - AWSStorage Gateway

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

监控文件网关

您可以在中监控您的文件网关和相关资源。AWS Storage Gateway通过使用 Amazon CloudWatch 指标和文件共享审核日志。您还可以使用 CloudWatch Events 在文件操作完成时收到通知。有关文件网关类型指标的信息,请参阅监控文件网关。

使用 CloudWatch 日志组获取文件网关健康日志

您可以使用 Amazon CloudWatch Logs 获取有关文件网关和相关资源的运行状况的信息。您可以使用日志来监控网关遇到的错误。此外,您可以使用 Amazon CloudWatch 订阅筛选器来实时自动处理日志信息。有关更多信息,请参阅 。使用订阅实时处理日志数据中的Amazon CloudWatch 用户指南。

例如,您可以配置一个 CloudWatch 日志组来监控网关,并在文件网关无法将文件上传到 Amazon FSx 文件系统时收到通知。您可以在激活网关时或在激活网关并运行后配置组。有关如何在激活网关时配置 CloudWatch 日志组的信息,请参阅。配置您的亚马逊 FSx 文件网关. 有关 CloudWatch 日志组的一般信息,请参阅使用日志组和日志流中的Amazon CloudWatch 用户指南。

以下是文件网关报告的错误的示例。

在前面的网关运行状况日志中,这些项目指定了给定的信息:

  • source: share-E1A2B34C 指示遇到此错误的文件共享。

  • "type": "InaccessibleStorageClass" 指示所发生的错误的类型。在这种情况下,当网关尝试将指定的对象上传到 Amazon S3 或从 Amazon S3 读取时,会遇到此错误。但是,在这种情况下,对象转换为 Amazon S3 Glacier。"type" 的值可以是文件网关遇到的任何错误。有关可能错误的列表,请参阅 排查文件网关问题

  • "operation": "S3Upload"指示当网关尝试将该对象上传到 S3 时发生此错误。

  • "key": "myFolder/myFile.text" 指示导致故障的对象。

  • gateway": "sgw-B1D123D4 指示遇到此错误的文件网关。

  • "timestamp": "1565740862516"指示发生错误的时间。

有关如何排查和修复此类错误的信息,请参阅排查文件网关问题

激活网关后配置 CloudWatch 日志组

以下过程显示了激活网关后如何配置 CloudWatch 日志组。

配置 CloudWatch 日志组以与文件网关一起使用
  1. 登录到AWS Management Console然后打开 Storage Gateway 控制台https://console.aws.amazon.com/storagegateway/home.

  2. 在导航窗格中,选择网关,然后选择要为其配置 CloudWatch 日志组的网关。

  3. 适用于操作,选择编辑网关信息. 或者,在详细信息选项卡,下Health 日志未启用,选择配置日志组以打开编辑客户网关名称对话框。

  4. 适用于网关运行状况日志组中,选择以下选项之一:

    • Disable logging (禁用日志记录)如果您不想使用 CloudWatch 日志组监控网关。

    • 创建新的日志组创建新的 CloudWatch 日志组。

    • 使用现有日志组以使用已存在的 CloudWatch 日志组。

      从中选择日志组现有的日志组列表.

  5. 选择 Save changes(保存更改)。

  6. 要查看网关的运行状况日志,请执行以下操作:

    1. 在导航窗格中,选择网关,然后选择为其配置 CloudWatch 日志组的网关。

    2. 选择详细信息选项卡和下Health 日志,选择CloudWatch Logs (CloudWatch 日志). 这些区域有:日志组详细信息页面将在 CloudWatch 控制台中打开。

配置 CloudWatch 日志组以与文件网关一起使用
  1. 登录到AWS Management Console然后打开 Storage Gateway 控制台https://console.aws.amazon.com/storagegateway/home.

  2. 选择网关,然后选择要为其配置 CloudWatch 日志组的网关。

  3. 适用于操作,选择编辑网关信息. 或者,在详细信息选项卡,旁边日志系统未启用,选择配置日志组以打开编辑网关信息对话框。

  4. 适用于网关日志组,选择使用现有日志组,然后选择要使用的日志组。

    如果您没有日志组,请选择创建新日志组以创建日志组。您将被定向到 CloudWatch Logs 控制台,您可以在其中创建日志组。如果创建新的日志组,请选择刷新按钮以在下拉列表中查看新的日志组。

  5. 完成此操作后,选择保存

  6. 要查看日志以了解您的网关,请选择该网关,然后选择详细信息选项卡。

有关如何排查错误的信息,请参阅排查文件网关问题

使用 Amazon CloudWatch 指标

您可以使用以下两种方法来获得您的文件网关的监控数据。AWS Management Console或 CloudWatch API。控制台将根据来自 CloudWatch API 的原始数据显示一系列图表。CloudWatch API 也可以通过其中一个AWS软件开发工具包要么Amazon CloudWatch API工具。根据您的需求差异,您可能倾向于使用控制台中显示的图表,也可能倾向于检索自 API 的图表。

无论使用何种方法使用指标,您都必须指定以下信息:

  • 要使用的指标维度。维度 是帮助您对某指标进行唯一标识的名称/值对。Storage Gateway 的维度是GatewayIdGatewayName. 在 CloudWatch 控制台中,您可以使用Gateway Metrics视图以选择特定于网关的维度。有关维度的更多信息,请参阅维度中的Amazon CloudWatch 用户指南.

  • 指标名称,如 ReadBytes

下表总结了可供您使用的 Storage Gateway 指标数据的类型。

Amazon CloudWatch 命名空间 维度 描述
AWS/StorageGateway GatewayId, GatewayName

这些维度筛选描述网关各个方面的指标数据。您可以通过指定 GatewayIdGatewayName 维度来标识要使用的文件网关。

网关的吞吐量和延迟数据基于网关中的所有文件共享。

数据在 5 分钟期间内自动可用,无需收费。

网关和文件指标的使用方式类似于其他服务指标。您可以在下面所列的 CloudWatch 文档中找到一个有关某些最常见的指标任务的讨论:

了解网关指标

下表介绍了覆盖 FSx 文件网关的指标。每个网关均有与其关联的一组指标。某些特定于网关的指标与某些特定于文件系统的指标同名。这些指标代表同类度量,但其范围限于网关,而非文件系统。

始终在使用特定指标时指定要使用网关还是文件系统。具体来说,在使用网关指标时,您必须指定Gateway Name对于要查看其指标数据的网关。有关更多信息,请参阅使用 Amazon CloudWatch 指标

下表介绍了可用来获取有关您的信息的指标。FSx 文件网关

指标 描述
AvailabilityNotifications

此指标报告报告报告周期内网关生成的与可用性相关的运行状况通知数。

单位:计数

CacheDirectorySize

此指标跟踪网关缓存中文件夹的大小。文件夹大小取决于第一级文件和子文件夹的数量,这不会递归计入子文件夹中。

将此指标与Average统计数据来衡量网关缓存中文件夹的平均大小。将此指标与Max统计数据来衡量网关缓存中文件夹的最大大小。

单位:计数

CacheFileSize

此指标用于跟踪网关缓存中文件的大小。

将此指标与Average统计数据来衡量网关缓存中文件的平均大小。将此指标与Max统计数据来衡量网关缓存中文件的最大大小。

单位:字节

CacheFree

此指标会报告网关缓存中的可用字节数。

单位:字节

CacheHitPercent

应用程序从网关读取的百分率,由缓存传送。样本在报告周期结束时采用。

在没有应用程序从网关读取时,该指标报告 100%。

单位:百分比

CachePercentDirty

尚未持续到的网关缓存的总体百分率。AWS. 样本在报告周期结束时采用。

单位:百分比

CachePercentUsed

使用的网关缓存存储的总体百分比。样本在报告周期结束时采用。

单位:百分比

CacheUsed

此指标会报告网关缓存中使用的字节数。

单位:字节

CloudBytesDownloaded

网关上传到的字节的总数AWS在本报告所述期间.

将此指标与 Sum 统计数据结合使用可测量吞吐量,将其与 Samples 统计数据结合使用可测量每秒输入/输出操作次数 (IOPS)。

单位:字节

CloudBytesUploaded

网关从下载的总字节数AWS在本报告所述期间.

将此指标与 Sum 统计数据结合使用可测量吞吐量,将其与 Samples 统计数据结合使用可测量 IOPS。

单位:字节

FilesFailingUpload

此指标跟踪未能上传到的文件的数量。AWS. 这些文件将生成包含有关该问题的更多信息的运行状况通知。

将此指标与Sum统计信息,显示当前无法上传到的文件数AWS.

单位:计数

FileShares

此指标会报告网关上的文件共享数。

单位:计数

FileSystem-ERROR

此指标提供了此网关上处于 ERROR 状态的文件系统关联的数量。

如果此指标报告任何文件系统关联处于错误状态,则网关可能存在问题,可能会导致您的工作流程中断。建议在此指标报告了非零值时创建警报。

单位:计数

HealthNotifications

此指标报告该网关在报告期内生成的运行状况通知的数量。

单位:计数

IoWaitPercent

此指标报告 CPU 等待本地磁盘响应的时间百分比。

单位:百分比

MemTotalBytes

此指标报告网关上的内存总量。

单位:字节

MemUsedBytes

此指标报告网关上已使用的内存量。

单位:字节

RootDiskFreeBytes

此指标会报告网关根磁盘上的可用字节数。

如果此指标报告小于 20 GB 可用,则应增加根磁盘的大小。

单位:字节

SmbV2Sessions

此指标会报告在网关上处于活动状态的 Smbv2 会话数。

单位:计数

SmbV3Sessions

此指标会报告在网关上处于活动状态的 SMB 会话数。

单位:计数

TotalCacheSize

此指标将报告缓存的总大小。

单位:字节

UserCpuPercent

此指标报告了在网关处理上花费的时间百分比。

单位:百分比

了解文件系统指标

您可以在下面找到有关包含文件共享的 Storage Gateway 指标的信息。每个文件共享均有与其关联的一组指标。某些特定于文件共享的指标与某些特定于网关的指标同名。这些指标代表同类度量,但其范围限于文件共享。

始终在使用指标前指定要使用网关还是文件共享指标。尤其是使用文件共享指标时,您必须指定标识希望查看其指标的文件共享的 File share ID。有关更多信息,请参阅使用 Amazon CloudWatch 指标

下表介绍了可用来获取文件共享信息的 Storage Gateway 指标。

指标 描述
CacheHitPercent

应用程序从文件共享中读取的百分率,由缓存传送。样本在报告周期结束时采用。

在没有应用程序从文件共享读取时,该指标报告 100%。

单位:百分比

CachePercentDirty

文件共享在尚未持续到的网关缓存的总体比例中的占比。AWS. 样本在报告周期结束时采用。

使用CachePercentDirty网关指标,以查看尚未持续到的网关缓存的总体比例。AWS.

单位:百分比

CachePercentUsed

文件共享对网关缓存存储空间的总体使用率占比。样本在报告周期结束时采用。

使用网关的 CachePercentUsed 指标来查看网关缓存存储空间的总体使用率。

单位:百分比

CloudBytesUploaded

网关上传到的字节的总数AWS在本报告所述期间.

将此指标与 Sum 统计数据结合使用可测量吞吐量,将其与 Samples 统计数据结合使用可测量 IOPS。

单位:字节

CloudBytesDownloaded

网关从下载的总字节数AWS在本报告所述期间.

将此指标与 Sum 统计数据结合使用可测量吞吐量,将其与 Samples 统计数据结合使用可测量每秒输入/输出操作次数 (IOPS)。

单位:字节

ReadBytes

报告周期内从场内应用程序读取的文件共享的总字节数。

将此指标与 Sum 统计数据结合使用可测量吞吐量,将其与 Samples 统计数据结合使用可测量 IOPS。

单位:字节

WriteBytes

报告周期内写入到场内应用程序的总字节数。

将此指标与 Sum 统计数据结合使用可测量吞吐量,将其与 Samples 统计数据结合使用可测量 IOPS。

单位:字节

了解文件网关审核日志

Amazon FSx 文件网关 (FSx File Gateway) 审计日志为您提供有关用户访问文件系统关联中的文件和文件夹的详细信息。您可以使用审计日志监控用户活动,并在识别到不当的活动模式时采取措施。这些日志的格式与 Windows Server 安全日志事件类似,以支持与 Windows 安全事件的现有日志处理工具的兼容性。

操作

下表介绍了文件网关审计日志文件访问操作。

操作名称

定义

读取数据

读取文件的内容。

写入数据

更改文件的内容。

创建

创建新文件或文件夹。

重命名

重命名现有文件或文件夹。

删除

删除文件或文件夹。

写入属性

更新文件或文件夹元数据(ACL、拥有者、组、权限)。

属性

下表介绍了 FSx 文件网关审计日志文件访问属性。

属性

定义

securityDescriptor

显示在对象上设置的自由访问控制列表 (DACL),使用 SDDL 格式。

sourceAddress

文件共享客户端计算机的 IP 地址。

SubjectDomainName

客户端账户所属的 Active Directory (AD) 域。

SubjectUserName

客户端的 Active Directory 用户名。

source

Storage Gateway 的 IDFileSystemAssociation目前正在审计中。

mtime

在此时间修改对象的内容,由客户端设置。

version

审计日志格式的版本。

ObjectType

定义对象是文件还是文件夹。

locationDnsName FSx 文件网关系统 DNS 名称。

objectName

对象的完整路径。

ctime

在此时间修改对象的内容或元数据,由客户端设置。

shareName

正在访问的共享的名称。

operation

对象访问操作的名称。

newObjectName

新对象重命名后的完整路径。

gateway

Storage Gateway ID。

status

操作的状态。仅记录成功(记录失败,但由于权限被拒绝而引发的失败除外)。

fileSizeInBytes

文件大小,以字节为单位,由客户端在文件创建时设置。

每个操作记录的属性

下表介绍了在各个文件访问操作中记录的 FSx File Gateway 审计日志属性。

读取数据

写入数据

创建文件夹

创建文件

重命名文件/文件夹

删除文件/文件夹

写属性(更改 ACL)

写属性(chown)

写属性 (chmod)

写属性 (chgrp)

securityDescriptor

X

sourceAddress

X

X

X

X

X

X

X

X

X

X

SubjectDomainName

X

X

X

X

X

X

X

X

X

X

SubjectUserName

X

X

X

X

X

X

X

X

X

X

source

X

X

X

X

X

X

X

X

X

X

mtime

X

X

version

X

X

X

X

X

X

X

X

X

X

objectType

X

X

X

X

X

X

X

X

X

X

locationDnsName

X

X

X

X

X

X

X

X

X

X

objectName

X

X

X

X

X

X

X

X

X

X

ctime

X

X

shareName

X

X

X

X

X

X

X

X

X

X

operation

X

X

X

X

X

X

X

X

X

X

newObjectName

X

gateway

X

X

X

X

X

X

X

X

X

X

status

X

X

X

X

X

X

X

X

X

X

fileSizeInBytes

X