AWS DeepRacer
開発者ガイド

AWS DeepRacer 報酬関数の入力パラメータ

AWS DeepRacer 報酬関数は辞書オブジェクトを入力として取ります。

def reward_function(params) : reward = ... return float(reward)

params 辞書オブジェクトには、次のキーと値のペアが含まれています。

{ "all_wheels_on_track": Boolean, # flag to indicate if the vehicle is on the track "x": float, # vehicle's x-coordinate in meters "y": float, # vehicle's y-coordinate in meters "distance_from_center": float, # distance in meters from the track center "is_left_of_center": Boolean, # Flag to indicate if the vehicle is on the left side to the track center or not. "heading": float, # vehicle's yaw in degrees "progress": float, # percentage of track completed "steps": int, # number steps completed "speed": float, # vehicle's speed in meters per second (m/s) "steering_angle": float, # vehicle's steering angle in degrees "track_width": float, # width of the track "waypoints": [[float, float], … ], # list of [x,y] as milestones along the track center "closest_waypoints": [int, int] # indices of the two nearest waypoints. }

入力パラメータに関するより詳細な技術リファレンスは以下の通りです。

all_wheels_on_track

タイプ: Boolean

範囲: True|False

車両がトラック内にあるのかトラック外にあるのかを示す Boolean フラグ。ホイールのいずれかがトラックの境界線の外側にある場合は、トラック外 (False) です。すべてのホイールが 2 つのトラック境界の内側にある場合はトラック内 (True) です。次の図は、車両がトラック上にあることを示しています。


                    イメージ: all_wheels_on_track = True の AWS DeepRacer 報酬関数の入力パラメータ。

次の図は、車両がトラックから外れていることを示しています。


                    イメージ: all_wheels_on_track = False の AWS DeepRacer 報酬関数の入力パラメータ。

例: all_wheels_on_track パラメータを試用した報酬関数

define reward_function(params): ############################################################################# ''' Example of using all_wheels_on_track and speed ''' # Read input variables all_wheels_on_track = params['all_wheels_on_track'] speed = params['speed'] # Set the speed threshold based your action space SPEED_THRESHOLD = 1.0 if not all_wheels_on_track: # Penalize if the car goes off track reward = 1e-3 elif speed < SPEED_THRESHOLD: # Penalize if the car goes too slow reward = 0.5 else: # High reward if the car stays on track and goes fast reward = 1.0 return reward

closest_waypoints

タイプ: [int, int]

[範囲]: [0:Max-2,1:Max-1]

(x, y) の現在位置に最も近い 2 つの隣接する waypoint のゼロベースのインデックス。距離は車両の中心からのユークリッド距離によって測定されます。Max はウェイポイントリストの長さです。ウェイポイント で示している図では、closest_waypoints[16, 17] になります。[16, 15] になる可能性もあります。

: closest_waypoints パラメータを使用する報酬関数。

次の例の報酬関数は、waypointsclosest_waypoints、および heading を使用して即時報酬を計算する方法を示しています。

def reward_function(params): ############################################################################### ''' Example of using waypoints and heading to make the car in the right direction ''' import math # Read input variables waypoints = params['waypoints'] closest_waypoints = params['closest_waypoints'] heading = params['heading'] # Initialize the reward with typical value reward = 1.0 # Calculate the direction of the center line based on the closest waypoints next_point = waypoints[closest_waypoints[1]] prev_point = waypoints[closest_waypoints[0]] # Calculate the direction in radius, arctan2(dy, dx), the result is (-pi, pi) in radians track_direction = math.atan2(next_point[1] - prev_point[1], next_point[0] - prev_point[0]) # Convert to degree track_direction = math.degrees(track_direction) # Calculate the difference between the track direction and the heading direction of the car direction_diff = abs(track_direction - heading) if direction_diff > 180: direction_diff = 360 - direction_diff # Penalize the reward if the difference is too large DIRECTION_THRESHOLD = 10.0 if direction_diff > DIRECTION_THRESHOLD: reward *= 0.5 return reward

distance_from_center

タイプ: float

範囲: 0:~track_width/2

車両の中心とトラックの中心との間のメートル単位の変位。観察可能な最大変位は、エージェントのいずれかの車輪がトラックの境界線の外側にあるときに発生し、トラックの境界線の幅に応じて、track_width の半分よりわずかに小さいまたは大きい場合があります。


                    イメージ: distance_from_center の AWS DeepRacer 報酬関数の入力パラメータ。

例: distance_from_center パラメータを使用する報酬関数

def reward_function(params): ################################################################################# ''' Example of using distance from the center ''' # Read input variable track_width = params['track_width'] distance_from_center = params['distance_from_center'] # Penalize if the car is too far away from the center marker_1 = 0.1 * track_width marker_2 = 0.5 * track_width if distance_from_center <= marker_1: reward = 1.0 elif distance_from_center <= marker_2: reward = 0.5 else: reward = 1e-3 # likely crashed/ close to off track return reward

heading

タイプ: float

範囲: -180:+180

座標系の x 軸に対する車両の進行方向 (度単位)。


                    イメージ: heading の AWS DeepRacer 報酬関数の入力パラメータ。

例: heading パラメータを使用する報酬関数

詳細については、「closest_waypoints」を参照してください。

is_left_of_center

タイプ: Boolean

範囲: True | False

車両がトラックの中心より左側 (True) にあるのか右側 (False) にあるのかを示す Boolean フラグ。

progress

タイプ: float

範囲: 0:100

トラック完走の割合。

例: progress パラメータを使用する報酬関数

詳細については、「ステップ」を参照してください。

速度

タイプ: float

範囲: 0.0:5.0

車両の観測速度 (メートル/秒)。


                    イメージ: speed の AWS DeepRacer 報酬関数の入力パラメータ。

例: speed パラメータを使用する報酬関数

詳細については、「all_wheels_on_track」を参照してください。

steering_angle

タイプ: float

範囲: -30:30

車両の中心線からの前輪のステアリング角 (度単位)。負の記号 (-) は右へのステアリングを意味し、正の (+) 記号は左へのステアリングを意味します。次の図に示すように、車両の中心線はトラックの中心線と必ずしも平行ではありません。


                    イメージ: steering_angle の AWS DeepRacer 報酬関数の入力パラメータ。

例: steering_angle パラメータを使用する報酬関数

def reward_function(params): ''' Example of using steering angle ''' # Read input variable steering = abs(params['steering_angle']) # We don't care whether it is left or right steering # Initialize the reward with typical value reward = 1.0 # Penalize if car steer too much to prevent zigzag STEERING_THRESHOLD = 20.0 if steering > ABS_STEERING_THRESHOLD: reward *= 0.8 return reward

ステップ

タイプ: int

範囲: 0:Nstep

完了したステップ数。ステップは、現在のポリシーに従って車両がとる行動に対応します。

例: steps パラメータを使用する報酬関数

def reward_function(params): ############################################################################# ''' Example of using steps and progress ''' # Read input variable steps = params['steps'] progress = params['progress'] # Total num of steps we want the car to finish the lap, it will vary depends on the track length TOTAL_NUM_STEPS = 300 # Initialize the reward with typical value reward = 1.0 # Give additional reward if the car pass every 100 steps faster than expected if (steps % 100) == 0 and progress > (steps / TOTAL_NUM_STEPS) * 100 : reward += 10.0 return reward

track_width

タイプ: float

範囲: 0:Dtrack

トラックの幅 (メートル)。


                    イメージ: track_width の AWS DeepRacer 報酬関数の入力パラメータ。

例: track_width パラメータを使用する報酬関数

def reward_function(params): ############################################################################# ''' Example of using track width ''' # Read input variable track_width = params['track_width'] distance_from_center = params['distance_from_center'] # Calculate the distance from each border distance_from_border = 0.5 * track_width - distance_from_center # Reward higher if the car stays inside the track borders if distance_from_border >= 0.05: reward *= 1.0 else: reward = 1e-3 # Low reward if too close to the border or goes off the track return reward

x、y

タイプ: float

範囲: 0:N

トラックを含むシミュレーション環境の x 軸と y 軸に沿った車両中心の位置 (メートル単位)。原点は、シミュレーション環境の左下隅にあります。


                    イメージ: x,y の AWS DeepRacer 報酬関数の入力パラメータます。

ウェイポイント

タイプ: [float, float]list

[範囲]: [[xw,0,yw,0] … [xw,Max-1, yw,Max-1]]

トラックの中心に沿ったトラック依存 Max マイルストーンの順序付きリスト。各マイルストーンは、(xw、i、yw、i) の座標で表されます。ループされたトラックの場合、最初と最後のウェイポイントは同じです。直線のトラックなどループされないトラックの場合、最初と最後のウェイポイントは異なります。


                    イメージ: waypoints の AWS DeepRacer 報酬関数の入力パラメータ。

waypoints パラメータを使用する報酬関数

詳細については、「closest_waypoints」を参照してください。