Page Comparison

YellowfinリポジトリデータベースにStringとして保存されたステップオプションを返すメソッドです。APIは、オプションを特定のデータ型に変換する便宜メソッドを提供します。例えば、getStepOptionValueJSONObject()はオプションをcom.google.gson.JsonObjectに変換し、getStepIntegerValue()は、Integerへ変換します。

public byte[] getFile(String optionKey)

public String getFileName(String optionKey)

public String getText(String optionKey)

public void parseData(Map<String, Object> data)

フロントエンドからインプットを有効化し、変換するために使用するメソッドです。ステップの設定ユーザーインターフェイスは、パラメーターオブジェクトを構成するParameterPanelCollectionにより表されます。これらは、テキストボックスやドロップダウンのような、基礎的なビルディングブロックです。fieldフロントエンドからインプットを有効化し、変換するために使用するメソッドです。ステップの設定ユーザーインターフェイスは、パラメーターオブジェクトを構成するParameterPanelCollectionにより表されます。これらは、テキストボックスやドロップダウンのような、基礎的な構築ブロックです。field-matchやfile-inputのような、より複雑なパラメーターclassもあります。パラメーターからのインプットデータは、ステップオプションとして保存する前に解析しなくてはいけません。例えば、field-matchパラメーターは、一致するフィールドと、除外されたフィールドの一覧を別々に返します。これらを別々のステップオプションとして保存するために、parseData()はデータ内の対応する入力を編集し、元に戻さなくてはいけません。以下に例を示します。

@Override
public void parseData(Map<String, Object> dataMap) {
    for(String key: dataMap.keySet()) {
        if ("MATCH_FIELDS".equals(key) && dataMap.get(key) != null) {
            // Fields are matched using "from" and "to" elements in the data string.
            // Convert [{from=uuid1, to=uuid2}, {from=uuid3, to=uuid4}] to
            // LEFT_FIELD0=uuid1, RIGHT_FIELD0=uuid2,
            // LEFT_FIELD1=uuid3, RIGHT_FIELD1=uuid4
            List<?> allJoins = (List<?>) dataMap.get(key);
            int i = 0;
            for (Object joinObj : allJoins) {
                if (joinObj instanceof Map) {
                    @SuppressWarnings("unchecked")
                    Map<String, String> join = (Map<String, String>)joinObj;
                     
                    dataMap.put("LEFT_FIELD"+i, join.get("from"));
                    dataMap.put("RIGHT_FIELD"+i, join.get("to"));
                    i++;
                }
            }
        }
    }
     
    // This shouldn't be saved as a StepOption
    dataMap.remove("MATCH_FIELDS");
}

データのロウ（行）は、データパケットを使用してステップ間で送信することができます。これは、後から設定が必要な空のパケットを返すメソッドです。これは主に、キャッシュステップで使用されます。フレームワークは、ロウ（行）ステップ処理中に、内部にデータパケットを作成します。

public Wire<Object, String> getWireForField(String fieldUuid)

フィールドUUIDに対応するwireを取得するメソッドです。これは、フレームワークによりすべてリンクされているため、インプット、デフォルト、またはアウトプットメタデータフィールドになります。

wire取得後、以下のメソッドを使用することができます。

• getValue()は、wire上の値を取得します。
• removeValue()は、値を取得し、これをwireから削除します。
• send(Object value)は、wireにパラメーターオブジェクトを配置します。

protected void beginInternalTransmission(Object[] data, List<String> fields)

フィールドで指定されたメタデータフィールドに対応するデータのロウ（行）の送信を開始するメソッドです。フィールドは通常インプットメタデータフィールドであり、データと一致するよう適切に調整されています。しかし、データを生成するステップ（例：データベースインプットステップ）は、インプットメタデータフィールドを持ちません。デフォルトメタデータフィールドはその後、適切に調整され、こちらのメソッドに渡されなくてはいけません。

インプット、デフォルト、アウトプットメタデータフィールドの順序はすべて異なる可能性があるため、伝送が不可欠です。Wireはこれらのリンクをサポートし、伝送はこれらの事前に計算されたマッピングを使用して、インプットからデフォルト、アウトプットと正確なフィールドへデータを送信します。

protected ETLStepResult endInternalTransmission(ETLStepResult packet)

ステップが、beginInternalTransmission()から送信されたデータの処理が終了した後に呼び出されるメソッドです。データは内部wireから削除され、から送信されたデータ処理を終了した後に呼び出されるメソッドです。データは内部wireから削除され、getFreshDataPacket()を使用して取得されたアウトプットデータパケット内の配列に配置されます。

データは、オーバーロードされたメソッド（endInternalTransmission(ETLStepResult, boolean))を使用して伝送の最後にwire上に保持されます。これは、処理されたデータを他のアウトプットで利用可能にしなくてはいけない、複数のアウトプットステップに有効です。

protected void emitData(ETLStepResult dataPacket)