Alteryxで大量ユニオンをやってみる

投稿者:

大量にユニオンしたいファイルがあるとき、どうやってそれをTableauで可視化していますか??Tableauのユニオン機能を使って抽出ファイルを作成することが多いと思います。そのとき、ファイル数や各ファイルのデータ量が大きかったり、そのユニオンにクロスデータジョインや複数ジョインが加わったり、Tableau Desktopが入っているマシンのスペックによっては、うまくユニオン→抽出が完了しないことがあるかと思います・・・Tableauは可視化が得意であって、Data準備は専門ではありません。

そこで、合計4.74GBある、150個のtsvのユニオン→抽出をやってみます。

まずはTableauで試してみます。
ユニオンしようとすると時間がかかるというメッセージは出てきましたが、ユニオン自体はできました。

次に、データのプレビューを表示したかったのですが、20分経過しても出てきませんでした。。。
数字で記されたファイル名に対してクロスデータベースジョインで名称を割り当てたかったため、ユニオンで生成されたPathフィールドに入っている項目を確認しようと右クリックしたところ、”応答なし”となって停止しました。。。
もう一度ユニオンだけで抽出をかけようとすると、、、30分後に”応答なし”となって停止し、抽出ができませんでした。。。

一方、Alteryxでユニオン→抽出ファイル作成を行ったところ、17分でできました。使ったフローはこちら。

1つ目の緑のノードは、In/Outの中からDirectoryを選択しています。

2つ目の紫のノードでは、Joinの中にあるUnionを使って、下図の通り選択しています。

3つ目のグレーのノードでは、Developerの中にあるDynamic Inputを使って下図の通り選択しています。

1番上のEditから、1つのファイルを選択して、テンプレートとなる処理方法を設定します。
その際、今回は下図黄色くなっている部分のチェックを入れて、ファイル名を1行発生させるようにしました。

最後の緑のノードで、tdeとして出力するように指定して、抽出(tde作成)までAlteryxにやってもらいました。

ツールは適材適所で使い分けると良いですね。Tableauで接続したいデータに準備が必要なとき、Tableauの前にETLを使うことを検討してみてください。

返信を残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください