Web Analytics

Technically Impossible

Lets look at the weak link in your statement. Anything "Technically Impossible" basically means we haven't figured out how yet.

AWS Certification Minute - Data Pipeline

AWS認定資格の受験対策ノートとして、「AWS certification minute」というWikiを運用していた。Professionalレベルまでの認定を得たものの、資格を継続するメリットはないと判断した。

資格更新の受験対策時に書き足そうと考えていたのだが、資格失効とともに、Wikiを順次、移行していくことにした。
impsbl.hatenablog.jp

Data Pipeline

AWS再入門 AWS Data Pipeline編 | DevelopersIO

パイプラインの定義

Data node 入出力データの保存場所(S3, DynamoDB, Redshiftなど)
データのフォーマット(CSV、その他)
Activity パイプラインとして実行する処理
Schedule 実行タイミング
Resource Activityを実行するリソース(EC2、EMRなど)
Precondition Actionを実行する前提条件
Action Preconditionが成立したときに実行される処理(SNSによる通知など)

パイプライン定義 - AWS Data Pipeline

Activityはデフォルトで3回再実行する。最大10回まで再実行できる。
よくある質問 - Amazon Data Pipeline | AWS

SWFとの違い

SWF フロー中に人を介在できる(例:承認フロー)。
Data Pipeline データ移行やETL処理を実現できる。

Q: AWS Data Pipeline と Amazon Simple Workflow Service(Amazon SWF)の違いは何ですか?

両サービスとも、追跡、再試行、例外処理、任意のアクションの実行といった機能を提供しますが、AWS Data Pipeline では特にデータ駆動型ワークフローの大半に共通する特定の手順を簡素化できます。具体的には、入力データが特定の準備基準に一致した場合にアクティビティを実行する、異なるデータストア間で簡単にデータをコピーする、変換スケジュールを簡単に設定する、といったことを行えます。Data Pipeline は特定の手順に高度に特化しているため、コーディングやプログラミングの知識がなくても、ワークフロー定義を簡単に作成できます。

よくある質問 - Amazon Data Pipeline | AWS

impsbl.hatenablog.jp