翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
以前のAMIバージョンの Amazon の Pig アプリケーションの詳細 EMR
サポートされている Pig のバージョン
クラスターに追加できる Pig のバージョンは、Amazon のバージョンEMRAMIと使用している Hadoop のバージョンによって異なります。以下の表は、Hadoop のどのバージョンAMIと異なるバージョンの Pig と互換性があるかを示しています。パフォーマンスの向上と新機能のメリットを受けられるように、最新バージョンの Pig を使用することをお勧めします。
を使用して Pig をインストールする場合、 APIの呼び出し中に Pig をクラスターにロードするステップの引数--pig-versionsとして を指定しない限り、デフォルトバージョンが使用されますRunJobFlow。
| Pig のバージョン | AMI バージョン | 設定パラメータ | Pig のバージョンの詳細 |
|---|---|---|---|
| 0.12.0 | 3.1.0 以降 |
|
以下のサポートが追加されています。
|
| 0.11.1.1 | 2.2 以降 |
|
入力が Amazon S3 に存在する PigStorage 場合の によるLOADコマンドのパフォーマンスが向上しました。 |
| 0.11.1 | 2.2 以降 |
|
JDK 7、Hadoop 2、Groovy ユーザー定義関数、 SchemaTuple 最適化、新しい演算子などのサポートが追加されました。詳細については、「Pig 0.11.1 change log |
| 0.9.2.2 | 2.2 以降 |
|
Hadoop 1.0.3 のサポートを追加。 |
| 0.9.2.1 | 2.2 以降 |
|
MapR のサポートを追加。 |
| 0.9.2 | 2.2 以降 |
|
いくつかのパフォーマンス向上とバグ修正が行われています。Pig 0.9.2 での変更に関する情報については、「Pig 0.9.2 change log |
| 0.9.1 | 2.0 |
|
|
| 0.6 | 1.0 |
|
|
| 0.3 | 1.0 |
|
Pig のバージョンの詳細
Amazon EMRは、追加の Amazon EMR パッチが適用される可能性のある特定の Pig リリースをサポートしています。Amazon EMRクラスターで実行する Pig のバージョンを設定できます。これを行う方法については、「Apache Pig」を参照してください。以下のセクションでは、さまざまな Pig バージョンと、Amazon にロードされたバージョンに適用されるパッチについて説明しますEMR。
Pig 向けパッチ
このセクションでは、Amazon で利用可能な Pig バージョンに適用されるカスタムパッチについて説明しますEMR。
Pig 0.11.1.1 向けパッチ
Pig 0.11.1.1 の Amazon EMRバージョンは、入力が Amazon S3 に存在する PigStorage 場合に でLOADコマンドのパフォーマンスを向上させるメンテナンスリリースです。
Pig 0.11.1 向けパッチ
Amazon EMRバージョンの Pig 0.11.1 には、Apache Software Foundation によって提供されるすべての更新と、Pig バージョン 0.9.2.2 からの累積的な Amazon EMR パッチが含まれています。ただし、Pig 0.11.1 には新しい Amazon EMR固有のパッチはありません。
Pig 0.9.2 向けパッチ
Apache Pig 0.9.2 は、Pig のメンテナンスリリースです。Amazon EMRチームは、Amazon EMRバージョンの Pig 0.9.2 に次のパッチを適用しました。
| パッチ | 説明 |
|---|---|
| PIG-1429 |
Pig に Boolean データタイプを第 1 クラスデータタイプとして追加。詳細については、https://issues.apache.org/jira/browse/PIG-1429 ステータス: コミット済み Fixed in Apache Pig Version: 0.10 |
| PIG-1824 |
Jython のインポートモジュールをサポートしますUDF。詳細については、https://issues.apache.org/jira/browse/PIG-1824 ステータス: コミット済み Fixed in Apache Pig Version: 0.10 |
| PIG-2010 |
分散キャッシュJARsに登録されたバンドル。詳細については、https://issues.apache.org/jira/browse/PIG-2010 ステータス: コミット済み Fixed in Apache Pig Version: 0.11 |
| PIG-2456 |
ユーザーがデフォルトの Pig ステートメントを指定できる ~/.pigbootup ファイルを追加。詳細については、https://issues.apache.org/jira/browse/PIG-2456 ステータス: コミット済み Fixed in Apache Pig Version: 0.11 |
| PIG-2623 |
Amazon S3 パスを使用した の登録をサポートしますUDFs。詳細については、https://issues.apache.org/jira/browse/PIG-2623 ステータス: コミット済み 修正対象の Apache Pig のバージョン: 0.10、0.11 |
Pig 0.9.1 向けパッチ
Amazon EMRチームは、Amazon EMRバージョンの Pig 0.9.1 に次のパッチを適用しました。
| パッチ | 説明 |
|---|---|
| dfs でJARファイルと Pig スクリプトをサポート |
スクリプトの実行と、、Amazon S3HDFS、またはその他の分散JARファイルシステムに保存されているファイルの登録のサポートを追加します。詳細については、https://issues.apache.org/jira/browse/PIG-1505 ステータス: コミット済み Fixed in Apache Pig Version: 0.8.0 |
| Pig における複数のファイルシステムのサポート |
あるファイルシステムから読み取ったデータを別のファイルシステムに書き込む Pig スクリプトに対するサポートを追加。詳細については、https://issues.apache.org/jira/browse/PIG-1564 ステータス: 未コミット 修正対象の Apache Pig バージョン: n/a |
| Piggybank 日時と文字列を追加する UDFs |
カスタム Pig スクリプトをサポートするUDFs日時と文字列を追加します。詳細については、https://issues.apache.org/jira/browse/PIG-1565 ステータス: 未コミット 修正対象の Apache Pig バージョン: n/a |
インタラクティブおよびバッチ Pig クラスター
Amazon EMRでは、次の 2 つのモードで Pig スクリプトを実行できます。
-
インタラクティブ
-
バッチ
コンソールまたは を使用して長時間実行されるクラスターを起動する場合 AWS CLI、 sshを Hadoop ユーザーとしてマスターノードに接続し、Grunt シェルを使用して Pig スクリプトをインタラクティブに開発および実行できます。Pig をインタラクティブに使用すると、バッチモードよりも簡単に Pig スクリプトを変更できます。インタラクティブモードで Pig スクリプトの変更が完了したら、そのスクリプトを Amazon S3 にアップロードし、バッチモードを使用してスクリプトを本稼働環境で実行できます。また、実行中のクラスターで Pig コマンドをインタラクティブに送信し、必要に応じてデータの分析や変換を行うことができます。
バッチモードでは、Pig スクリプトを Amazon S3 にアップロードし、クラスターにステップとして作業を送信します。Pig ステップは、長時間稼働クラスターまたは一時的なクラスターに送信できます。
