Search
MENU
Search 
Category
Dr.Sum Connectに限らずETLツールは利便性がとっても高いのですが、初めて使う人には少しハードルが高かったりします。
でもそれはライブラリやフレームワークが整っていればもっと使いやすくなると思います。
そこで今回、私が使用しているライブラリを公開します。
この記事とは別に、ベストプラクティスな構築方法を記事にしていますので、そちらも併せてご確認ください。
ここで言うライブラリとは親子関係に分かれるスクリプトのことを指します。
上図の画像のようにScriptTemplateというジョブから今回紹介するような[メール送信][DBログ]などの子ジョブに処理を渡します。
これらの処理群のことをライブラリと呼んでいるのですが、このライブラリをいかに汎用的に作れるかがポイントになります。
他のジョブでも使う機能をコピーしてたくさん作るのではなく、共通の機能としてライブラリ化しておくわけですね。
それではライブラリの一覧を記載します。
各ライブラリの詳細や受け渡すスクリプト変数については各ライブラリの詳細記事に記載します。
メール送信ライブラリはConnectの処理が終了した時に使えます。他にもチャットツールに送信などの方法もあると思いますが、まずは基本のメール送信ですね。
正常終了時、異常終了時の判定をし、メッセージ内容を変更することができます。
引き渡すスクリプト変数は
の3つです。
ETLツールは自動でログを書いてくれたりしますが、私はデータベースにログを溜めることをオススメしています。
ログをデータベースに蓄積すると、さらに複雑な処理を作りこむこともできますし、この処理がどれくらいかかったかの計算や、エラーの傾向を把握することも可能です。
こちらの記事ではデータベースのどんなテーブル情報にすればログを貯められるかやテーブルの作り方も含めて解説します。
引き渡すスクリプト変数は
です。
正常終了DBログは処理開始DBログと合わせて使用します。
メインスクリプトの処理が異常となったときにDBに書き込みます。
引き渡すスクリプト変数は
です。
異常終了DBログは処理開始DBログと合わせて使用します。
メインスクリプトの処理が異常となったときにDBに書き込みます。
引き渡すスクリプト変数は
です。
Dr.Sumは定期的にデータベースを再構築した方が良い場合があります。その処理方法について記載しています。
この記事ではDr.Sumの定期的なバックアップ方法について記載しています。
今回紹介したライブラリは一部のものです。皆さんそれぞれの環境で必要なライブラリはそれぞれ異なると思います。ぜひオリジナルのライブラリを作り、開発コスト・運用コストの低い構築環境の実現を目指しましょう。
Related article
Pick up
Ranking
Info
