【Domo】Workbench の実行時間
実行時間の検証
Domoテクニカルメンバーによる検証内容です。
転送時間やトータルの処理時間は、Workbenchジョブ→概要→前回の実行より、実行時間で確認。
また、Workbenchログからは、さらに詳細ステップの記録がご確認いただけます。
（おそらくODBCの場合はクエリーの結果が返ってくるまでの時間もかかっていると思われます。）
参考までに、あるお客様の状況や ドーモ社でのテスト結果をご案内いたします。
■ 約1500万行の取込しているお客様の状況
- 1,800万行（12カラム）：10分前後（たまに40分程度かかる日もある）
- 1,150万行（10カラム）：1分30秒前後
以下は異なる環境でテストした結果です。
■ テスト１
- 総データ：130万行（各20万行程度、50MBくらいのファイル7個をフォルダ毎読み込み）
- 実行環境：AWS上のWindows Server（16GBメモリ、HDD）
- Domo上で見るデータセットの実行時間：約7分（各ファイル約1分）
- Workbench上での実行時間（各ファイルあたり）： データの読み込み時間 : 約1分 ＋ データの転送時間：4秒 = 実行時間の合計：約1分
■ テスト２
- 総データ：480万行（400MBくらいのCSVデータ１ファイル）
- 実行環境：Mac上の仮想OS Windows
- Domo上で見るデータセットの実行時間：約2分
- Workbench上での実行時間： データの読み込み時間:約2分 ＋ データの転送時間：40秒 = 実行時間の合計：約4分
単純にデータ量と実行時間は比例するわけではなく、Workbench実行環境のメモリが足りずにスワップ発生したり、 CPUが100%に張り付いたりすると、全然進まなくなります。
・会社のデータをもっと有効活用をしたい
・Domoに取り込みたいデータソースがある
・Domoの効果的な可視化についてもっと知りたい
・組織においてのDomoの定着化をもっと推進したい
・新しいKPIを作りたいが、自信がない
アタラにはDomoを含むBIツールのエキスパートが在籍しております。
このような課題をお持ちの方は、ぜひお気軽にこちらまでご相談ください。
この記事をシェアする
まずはお気軽にご相談ください
BIシステムの導入からデータ活用の自走化まで支援いたします
画像2022/11/13 14:562022/11/15 21:06【消さないで】記事テンプレート2022/11/13 15:562022/11/13 16:41