AWS認定資格の受験対策ノートとして、「AWS certification minute」というWikiを運用していた。Professionalレベルまでの認定を得たものの、資格を継続するメリットはないと判断した。
資格更新の受験対策時に書き足そうと考えていたのだが、資格失効とともに、Wikiを順次、移行していくことにした。
impsbl.hatenablog.jp
Data Pipeline
AWS再入門 AWS Data Pipeline編 | DevelopersIO
パイプラインの定義
| Data node | 入出力データの保存場所（S3, DynamoDB, Redshiftなど） データのフォーマット（CSV、その他） |
| Activity | パイプラインとして実行する処理 |
| Schedule | 実行タイミング |
| Resource | Activityを実行するリソース（EC2、EMRなど） |
| Precondition | Actionを実行する前提条件 |
| Action | Preconditionが成立したときに実行される処理（SNSによる通知など） |
Activityはデフォルトで3回再実行する。最大10回まで再実行できる。
よくある質問 - Amazon Data Pipeline | AWS
SWFとの違い
| SWF | フロー中に人を介在できる（例：承認フロー）。 |
| Data Pipeline | データ移行やETL処理を実現できる。 |
Q: AWS Data Pipeline と Amazon Simple Workflow Service（Amazon SWF）の違いは何ですか?
両サービスとも、追跡、再試行、例外処理、任意のアクションの実行といった機能を提供しますが、AWS Data Pipeline では特にデータ駆動型ワークフローの大半に共通する特定の手順を簡素化できます。具体的には、入力データが特定の準備基準に一致した場合にアクティビティを実行する、異なるデータストア間で簡単にデータをコピーする、変換スケジュールを簡単に設定する、といったことを行えます。Data Pipeline は特定の手順に高度に特化しているため、コーディングやプログラミングの知識がなくても、ワークフロー定義を簡単に作成できます。
