Versions Compared

Version Old Version 2 New Version 3
Changes made by

Yellowfin Admin

Yellowfin Admin

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

Anchor
top
top

 

ステップの処理ロジックを機能させるためには、いくつかのメソッドを実装しなくてはいけません。一部のメソッドは、ロウ（行）ステップか、またはキャッシュステップかに応じて異なります。ステップの処理ロジックを機能させるためには、数多くのメソッドを実装しなくてはいけません。一部のメソッドは、ロウ（行）ステップか、またはキャッシュステップかに応じて異なります。

一般的なメソッド

以下は、ステップがデータ処理方法を定義するいくつかの一般的なメソッドです。以下は、ステップのデータ処理方法を定義する一般的なメソッドの例です。

メソッド説明と例
public ETLStepAPIVersion getAPIVersion()

ステップの更新を維持するYellowfinステップAPIのバージョンを定義するために使用するメソッドです。これは通常、enum ETLStepAPIVersion内の最新のバージョンです。APIバージョンは、互換性を判断するために使用されます。ステップの更新を維持するYellowfinステップAPIバージョンの定義に使用するメソッドです。これは通常、列挙型ETLStepAPIVersion内の最新のバージョンです。APIバージョンは、互換性を判断するために使用されます。

Expand
title例
Code Block
themeEclipse
languagejava
@Override
public ETLStepAPIVersion getAPIVersion() {
    return ETLStepAPIVersion.V1;
}

 

 

public Collection<ETLException> validate()

事前実行検証を行うメソッドです。実装は、必須オプションが設定されているか、資格情報は正確か、ホストに到達可能かを確認しなくてはいけません。エラーは、ETLExceptionのインスタンスに取得され、メソッドから返されるコレクションに追加されます。または、ETLExceptionを構築する代わりに、便宜なメソッドであるメソッドであるgetInvalidConfigETLException()を使用することもできます。

Expand
title例
@Override
public Collection<ETLException> validate() {
    List<ETLException> validationErrors = new ArrayList<>();
            
    String exampleOption = this.getStepOption("APPEND_VALUE");
    if (exampleOption == null) {
        // Add a generic message "Step not Properly Configured"
        validationErrors.add(this.getInvalidConfigETLException());
    }
  
    try {
        Integer.parseInt(exampleOption);
    } catch (NumberFormatException e) {
        ETLException ve = new ETLException(ETLElement.STEP, getUuid(), null, "Option is not a number", e);
        validationErrors.add(ve);
    }
    return validationErrors;
}

　　　

public Map<String, String> getValidatedStepOptions()

ステップオプションを有効にするメソッドです。optionKeyからoptionValueへのマッピングは、Yellowfinリポジトリデータベースに保存されます。こちらで、無効なオプション値を削除することができます。this.getStepOptions()により返されるマッピングの操作には影響しません。

Expand
title例
@Override
public Map<String, String> getValidatedStepOptions() {
    Map<String, String> stepOptions = this.getStepOptions();
    String exampleOption = stepOptions.get("APPEND_VALUE");
    if (exampleOption == null) {
        // Remove option if the value is no longer set
        stepOptions.remove("APPEND_VALUE");
    } else {           
        try {
            Integer.parseInt(exampleOption);
        } catch (NumberFormatException e) {
            // Remove option if the value is not an integer
            stepOptions.remove("APPEND_VALUE");
        }
    }
    // Return the map of valid options
    return stepOptions;
}
public void setupGeneratedFields()

ステップが新規フィールドの出力を必要とする場合は、こちらのメソッドを実装します。新規フィールド内のデータは、他のフィールドを使用して生成されます。新規フィールドは既存フィールドを置き換えるか、複製する場合もあります。Yellowfinは、各操作に便宜メソッドを提供します。こちらのメソッドは、ETLStepMetadataFieldBeanの新規インスタンスを作成するか、既存フィールドを複製することが予想されます。フィールドが事前に設定されていないか、再度設定する必要がある場合にのみ、こちらのメソッドを実行することが重要です。オプション内の変更が原因でフィールドが再作成された場合は、古いフィールドを削除しなくてはいけません。削除をしない場合、ステップが再設定される度に新規フィールドが生成されることになります。

Expand
title例
Code Block
themeEclipse
languagejava
@Override
public void setupGeneratedFields() throws ETLException {
    if (getStepOption("NEW_FIELD") != null) {
        // The field was already set up.
        return;
    }
 
    ETLStepMetadataFieldBean newField = new ETLStepMetadataFieldBean();
    newField.setFieldName("Concatenated Field");
    newField.setFieldType(ETLDataType.TEXT.name());
 
    // The sort order is 0 based, so the new field will be at the end
    newField.setSortOrder(getDefaultMetadataFields().size());
     
    // Ensure that the new field is output from the step
    newField.setStepIncludeField(true);
    newField.setUserIncludeField(true);
     
    // This method assigns the field a new UUID and
    // adds a Step Option to help reference it elsewhere.
    this.addNewGeneratedField(newField, "NEW_FIELD");
}

上記は、新規フィールドを生成する例です。フィールドを複製するには、以下を使用します。

Code Block
themeEclipse
languagejava
this.addGeneratedField(newFieldBean, ETLFieldLinkType.DUPLICATE, originalFieldUUID)

 

既存フィールドを置き換えるには、以下を使用します。

Code Block
themeEclipse
languagejava
this.replaceDefaultField(fieldToReplace)

上記は、元のフィールドにリンクする、新規「置き換え」フィールドを返します。オブジェクトは変更しても構いませんが、linkFieldUUIDとlinkTypeは変更してはいけません。

 

元のフィールドに戻り、置き換えたフィールドを削除するには、以下のコードを使用します。

Code Block
themeEclipse
languagejava
this.restoreReplacedField(replacementField)

public Integer getMinInputSteps()

public Integer getMaxInputSteps()

public Integer getMinOutputSteps()

public Integer getMaxOutputSteps()

ステップに複数のインプットやアウトプットがある場合、これらのメソッドを上書きしなくてはいけません。Yellowfinは、ステップカテゴリーに基づき最小ステップに複数のインプットやアウトプットがある場合、これらのメソッドを上書きしなくてはいけません。Yellowfinは、ステップカテゴリーに基づき最小値/最大値を返すデフォルト実装を提供します。これらの値は、これらのカテゴリーのETLStepCategory enum要素内で定義されます。最大値を返すデフォルト実装を提供します。これらの値は、これらのカテゴリーのETLStepCategory列挙型要素内で定義されます。

YFLogger

これはメソッドではありませんが、すべてのステップに共通します。ステップは、YFLoggerを使用して、データトランスフォーメーションログに書き込むことができます。これは、インスタンス変数として宣言する必要があります。YFLoggerは、log4jのロガーclassのラッパです。

Expand
title例

private static final YFLogger log = YFLogger.getLogger(TestStep.class.getName());

...

  • インプットステップ：フレームワークは、プロセスが実行が開始されるとすぐに、インプットステップにprocessEndRows()を呼び出します。インプットステップは、データキャッシングを気にする必要はありません。しかし、実装はwireにデータを配置し、その出力へ送らなくてはいけません。こちらは、データ生成ステップのメソッドの実装例です。を呼び出します。インプットステップは、データキャッシングを気にする必要がありません。しかし、実装はwireにデータを配置し、その出力へ送らなくてはいけません。こちらは、データ生成ステップのメソッドの実装例です。
Code Block
themeEclipse
languagejava
@Override
protected void processEndRows() throws ETLException, InterruptedException {
 
    // Get the first output flow;
    // Useful for most steps which have a single output
    String outFlow = getFirstOutputFlow();
 
    // The step outputs four Generated fields.
    List<String> orderedFieldUUIDs = new ArrayList<>(4);
 
    // The step's implementation of setupGeneratedFields()
    // should set these up. Their UUIDs would've been saved as step options.
    orderedFieldUUIDs.add(getStepOption("FIELD1_UUID"));
    orderedFieldUUIDs.add(getStepOption("FIELD2_UUID"));
    orderedFieldUUIDs.add(getStepOption("FIELD3_UUID"));
    orderedFieldUUIDs.add(getStepOption("FIELD4_UUID"));
 
    // Sample Data
    String[] field1_data = {"Adventure", "Relaxation", "Culture", "Family"};
    int[] field2_data = {30, 32, 11, 44};
    Date[] field3_data = {new Date(103882823L), new Date(10388283323L),
                          new Date(103883232823L), new Date(102323882823L)};
    Timestamp[] field4_data = {new Timestamp(103882823L), new Timestamp(10388283323L),
                              new Timestamp(103883232823L), new Timestamp(102323882823L)};
 
    // Generate as many rows as configured in Step Option ROW_COUNT
    int rowCount = 10;//Integer.parseInt(getStepOption("ROW_COUNT"));
    Random random = new Random();
 
    for (int i = 0 ; i < rowCount ; i++) {
        // Data is emitted in packets.
        // This implementation creates a new packet for every row.
        // Data packets can accumulate rows and emit, say, every 20 rows.
        ETLStepResult dataPacket = getFreshDataPacket(outFlow);
 
        Object[] row = new Object[4];
        row[0] = field1_data[random.nextInt(4)];
        row[1] = field2_data[random.nextInt(4)];
        row[2] = field3_data[random.nextInt(4)];
        row[3] = field4_data[random.nextInt(4)];
 
        // Send the row of data from Default Fields to Output Fields
        beginInternalTransmission(row, orderedFieldUUIDs);
 
        // Accumulate transmitted data in a data packet
        endInternalTransmission(dataPacket);
 
        // Emit the packet of data to the next step.
        // This may be done less frequently, after accumulating rows
        emitData(dataPacket);
    }
}

...