オンプレクラウド

Dr.Sum

Dr.SumDr.Sum Connect

Dr.Sum ConnectからDr.Sumへデータを書き込む方法として、全部で4つのコンポーネントが用意されています。

実際に使う際はどれを使えばよいのか?と迷ってしまうこともあります。これら各コンポーネントについて裏側の動きを踏まえたパフォーマンス面から利用シーンまでわかるとよいですね。

本記事では、4つ目<書き込み(VTB)>についてがっつりログを追いかけて徹底解剖していきます!

まず結論:こんな場面で使うのがベスト

名前の通り、仮想テーブルを使用した取り込みを行う場合に利用しましょう。

Enterprise Manager上で、仮想テーブルを使ったインポートとほぼ* 同等の処理が可能です。

* 「テーブルを新規に作成してインポート」は除く。

サンプルスクリプト及びデータ

仮想テーブルが参照するCSVファイルは下記のように3行のみとしています。

pkcol,c1,c2
1,"v11","v12"
2,"v21","v22"
3,"v31","v32"

 

仮想テーブルもCSVファイルの項目をすべて格納するようシンプルにマッピングしています。

 

設定画面

「vtb_import」という名前がデフォルトで配置されます。

設定画面はEnterprise Managerの設定画面と概ね同じです。

そのため、行追加だけでなく削除インポートや、DataLoaderがあればUPSERT機能も利用できます。

「書き込み設定」のタブからは、サーバー上のCSVファイルをインポートしたり、データベースの場合は抽出条件が設定できます。

この部分もEnterprise Managerと同じですね。

[Dr.Sum]書き込み(VTB)

 

ログを見てみよう!

VTBでは基本的にBulkInsertと同様インポート処理になります。そのため、IMPORTログとより詳細に処理が分かるCOMMITログを見てみます。

今回は代表して、「テーブル内の行を削除してインポート」した場合のログを紹介します。

IMPORTログ

ここでは、どのCSVをどの仮想テーブルでインポートするかが記載されています。

下から2行目のログの通り、削除インポートなので3件挿入するとテーブル全体の件数も3件になります。

COMMITログ

興味深いことに、内部的な処理は基本的にBulkInsertと同等です。

削除インポートの場合は「DBM_TRUNCATE_TABLE_FOR_IMPORT」とある通り、テーブルの持つデータを消し、CRS(=DAT)およびCRSファイルの作り直しをしていますね。

また、「テーブルに行を追加」でインポートするとCOMMITログはBulkInsertとまったく等価になります。

パフォーマンス面ではBulkInsertと同等なので、特に気にせずシンプルに「仮想テーブルの有無」だけで使い分けてOKです。

 

おわりに

本記事では、Connectのデータ挿入コンポーネントのうち仮想テーブルを使ったコンポーネントについて紹介しました。

仮想テーブルを利用する場合は基本的にこちらを利用しましょう。パフォーマンスはBulk Insertと等価なので特に気にせず使っていただけます。

他のコンポーネントについても紹介しているので是非ご覧ください。

 

 

 

この記事にリアクションしてみませんか?

What do you think of this post?
  • 分かりやすい (0)
  • 問題が解決した (0)
評価いただいてありがとうございます!

宇根 昌和

MotionBoard Dr.Sum
プロフィールへ >

新卒でウイングアーク1stへ入社、プリセールス活動後、Dr.Sumの開発を行っています。Pythonをベースに様々なツールからデータをDr.Sumへ集約しMotionBoardで可視化する仕組みを作ったり、Web APIを使ったデータ蓄積ノウハウをテーマにイベント登壇したりしています。Dr.Sum及びMotionBoardを中心とした役立つ情報を発信していきます!

Related article

Related article関連記事

Pick up

Pick upおすすめ記事

【Connect】開発コスト・運用コストを抑えたスクリプトの構築方法

公開:2025.02.06
更新:2025.02.06

分かりやすい

1

解決した

0
  • データ取り込み
  • データ加工

Dr.Sum

invoiceAgent【「業務を変える動画たち」シリーズ】記事まとめ

公開:2025.01.16
更新:2025.08.12

分かりやすい

0

解決した

0
  • 業務を変えるシリーズ

invoiceAgent

【脱Excel】MotionBoardの入力機能で業務アプリをつくる

公開:2024.08.05
更新:2024.08.05

分かりやすい

6

解決した

2
  • データ入力
  • デザイン
  • コンテナ

MotionBoard

Ranking

Rankingランキング

1

Excelのデータを加工したい。~変換(横持ち⇔縦持ち)について~

公開:2021.01.19
更新:2024.05.08

分かりやすい

8

解決した

3
  • データ取り込み
  • データ加工

Dr.Sum

2

【DELETE-INSERT】特定期間のデータのみ洗い替えたい!【手動編】

公開:2024.01.10
更新:2024.05.08

分かりやすい

2

解決した

0
  • データ取り込み
  • SQL

Dr.Sum

3

【あの頃に戻りたい】バックアップから任意のテーブルだけを戻す方法

公開:2023.11.07
更新:2023.11.20

分かりやすい

1

解決した

0
  • 設定

Dr.Sum

Info

Information

ウイングアーク1stからのお知らせ