差分

このページの2つのバージョン間の差分を表示します。

--- documents:etl:pentaho:pentaho-004 [2024/02/02 21:20] – k896951
+++ documents:etl:pentaho:pentaho-004 [2026/05/13 03:50] (現在) – [ステップブロックとブロッキングステップ] k896951
@@ 行 1: / 行 1: @@
+====== 106.ステップブロックとブロッキングステップ ======
+-02-02\\
+名前も似ているし曖昧に話をされているようにも見えたので混乱しないための備忘録
+===== 見つからない… =====
+片方だけ日本語訳されてるので見つけられない人もいたりするかも。blockで検索すると出てくる。
+{{:documents:etl:pentaho:pasted:20240201-223921.png?nolink}}
+===== ステップブロック =====
+使い方としては独立したフロー間の同期を取るのに使うのが主目的だと思われる。
+==== webの情報 ====
+検索で見つかる画像付きの情報 Qiita[[https://qiita.com/ch7821/items/a173318267ba13f208fd#%E3%82%B9%E3%83%86%E3%83%83%E3%83%97%E5%87%A6%E7%90%86%E3%81%AE%E5%90%8C%E6%9C%9F%E3%82%92%E5%8F%96%E3%82%8B|Pentaho Data Integration Spoonステップ逆引きまとめ]]
+==== 使用例 ====
+このフローだと実行状況でファイル内容が変わる。テキストファイル出力の実行順序が不定のため、ID順にテキストを書き出せないし、同時書き込みが発生してファイルが壊れる事も。
+^ 定義 ^ 実行1回目 ^ 実行2回目 ^ 実行3回目 ^
+| {{:documents:etl:pentaho:pasted:20240201-210804.png?nolink}} | {{:documents:etl:pentaho:pasted:20240201-212255.png?nolink}} | {{:documents:etl:pentaho:pasted:20240201-212429.png?nolink}} |{{:documents:etl:pentaho:pasted:20240201-212533.png?nolink}} |
+ステップ「ステップブロック」で前提処理の終了を待ち合わせることができる。
+^ 定義 ^ ステップブロック ^ 結果 ^
+| {{:documents:etl:pentaho:pasted:20240201-213216.png?nolink}}  | {{:documents:etl:pentaho:pasted:20240201-213036.png?nolink}}\\ {{:documents:etl:pentaho:pasted:20240201-213106.png?nolink}} | {{:documents:etl:pentaho:pasted:20240201-213316.png?nolink}}\\ 繰り返し実行しても変わらない |
+==== データグリッド・ファイル出力 ====
+入出力のステップの定義は以下。
+^ データグリッド ^ テキストファイル出力 ^
+| {{:documents:etl:pentaho:pasted:20240201-211358.png?nolink}}\\ {{:documents:etl:pentaho:pasted:20240201-211417.png?nolink}}\\ {{:documents:etl:pentaho:pasted:20240201-211425.png?nolink}}  | {{:documents:etl:pentaho:pasted:20240201-211651.png?nolink}}\\ {{:documents:etl:pentaho:pasted:20240201-211757.png?nolink}}\\ {{:documents:etl:pentaho:pasted:20240201-211910.png?nolink}}\\ 追加書き 3も同じ。 |
+===== ブロッキングステップ =====
+ブロッキングステップの直前のステップが完全終了するまで（全てのレコードを送信し終えるまで）待ち合わせする（と説明にはある）\\
+普通に利用していると使う事はまずないように思う。
+==== Webの情報 ====
+デッドロックが発生している場合に使うらしい。検索するとこんな例が見つかる。
+[[https://pentaho-public.atlassian.net/wiki/spaces/EAI/pages/386807182/Transformation+Deadlocks|Transformation Deadlocks]]
+==== 使用例 ====
+以下処理は日本郵便株式会社の公開する全国郵便番号ファイルを使い、各都道府県の自治体数(市区町村数)を算出して47件のレコードを生成してからオリジナルの該当都道府県レコード124,365件に自治体数を付与する。
+  * デッドロック理由は、124,365件がステップ「行整列 2」と同じソートを行っていないため、ステップ「マージ結合」での結合キー不一致により47件のストリームとの結合不可なレコードが発生し、対応レコードの入力待ちになったため、と思われる。
+  * デッドロック解消理由は、124,365件側にステップ「ブロッキングステップ」を入れることで124,365件すべてに47件との突合せができるようになったため、と思われる。
+^ デッドロック ^^
+| {{:documents:etl:pentaho:pasted:20240201-234549.png?nolink}} ||
+^ デッドロック解消 ^ ブロッキングステップ ^
+| {{:documents:etl:pentaho:pasted:20240202-012415.png?nolink}} | {{:documents:etl:pentaho:pasted:20240202-000348.png?nolink}} |
+==== 本来はブロッキングステップ不要 ====
+ただし、ほとんどの場合正しく作っていればデッドロックは起きない。ブロッキングステップ導入は本当に最後の手にしておくべきかと思う。
+^ ちゃんと作ればブロッキングステップは要らない ^
+| {{:documents:etl:pentaho:pasted:20240202-012246.png?nolink}} |
+{{tag>技術資料 etl pentaho ステップブロック ブロッキングステップ }}