Funções de Diff¶

Use Funções Diff para Sincronizar Dados¶

O recurso Jitterbit Diff/Synchronize pode ser usado em transformações para sincronizar dados em uma única tabela para qualquer tipo de destino.

A origem deve ser um banco de dados ou um arquivo CSV. Se for um banco de dados, a tabela de origem deverá ter um conjunto de chaves que identifique exclusivamente uma linha de dados. As relações hierárquicas da tabela de origem não são suportadas.

O recurso diff é usado para dividir os dados de origem em três categorias:

• Linhas adicionadas
• Linhas atualizadas
• Linhas excluídas

Na primeira vez que uma operação diff é executada, todas as linhas de origem são classificadas como "adicionadas". A cada execução subsequente, apenas as linhas adicionadas, alteradas ou excluídas serão processadas pelo Jitterbit. Isso pode economizar um tempo de processamento significativo nos casos em que uma tabela de origem possui vários registros que são alterados com pouca frequência.

Como visto nas etapas abaixo, uma “ operação diff” geralmente consiste em diversas operações encadeadas; cada operação sucessiva trata de adições, atualizações e exclusões, respectivamente.

Para configurar uma operação diff, siga estas etapas:

1. Inicialize a sessão diff e defina o tipo de algoritmo diff a ser usado. Atualmente, quer chunked ou ordered são suportados. O chunked O algoritmo diff sempre funcionará, mas ordered poderá ser mais rápido se a ordem das linhas dos dados de origem for garantida.
2. Lidar com linhas adicionadas, atualizadas e excluídas. A ordem em que são tratados é arbitrária e depende da ordem das operações que implementam a sincronização.
3. Finalize a sessão de comparação. Isso sinaliza o processo diff como concluído; caso contrário, uma operação de comparação futura poderá resultar no processamento de nenhum registro.

Etapa 1: Inicializar a Sessão Diff¶

Inicialize a sessão diff chamando o InitializeDiff função com um "diff ID" exclusivo seguido por DiffKeyList função (para um chunked diff) ou o OrderedDiffKeyList função (para um ordered diff) para definir a(s) chave(s) primária(s) da tabela de origem:

InitializeDiff("A-unique-diff-ID-for-each-diff-process");
DiffKeyList("pk1", "pk2");

Etapa 2: Manipular Linhas Adicionadas, Atualizadas e Excluídas¶

Antes de cada transformação, as funções DiffAdd, DiffUpdate, e DiffDelete são chamados. Qualquer transformação executada após essas chamadas de função receberá as linhas adicionadas, atualizadas ou excluídas, respectivamente. A origem das transformações deve ser a mesma tabela de banco de dados ou arquivo CSV, mas o destino pode ser diferente nos três casos.

Etapa 3: Finalize a Sessão Diff¶

O DiffComplete a função deve ser chamada quando os três casos forem tratados com sucesso. (No caso de erros, a ResetDiff deve ser usada em vez disso.) Isso sinaliza o processo diff como concluído; caso contrário, uma operação de comparação futura poderá resultar no processamento de nenhum registro.

Funções Diff Adicionais¶

• DiffNode: Para fontes hierárquicas, especifica o nó que deve ser usado como o nó de repetição para executar o diff.
• OrderedDiffKeyList: Especifica a ordem de classificação da fonte quando o ordered algoritmo diff é usado.
• ResetDiff: Reinicia ou limpa a sessão diff. Usado no tratamento de erros para reiniciar a sessão diff em caso de falha.
• SetDiffChunkSize: Define um parâmetro para o chunked algoritmo diff. Um valor maior é mais rápido, mas usa mais memória.

DiffAdd¶

Declaração¶

void DiffAdd()

Sintaxe¶

DiffAdd()

Descrição¶

Solicita os registros adicionados como entrada para a próxima transformação executada.

Exemplos¶

// Start by processing the added records in this operation:
DiffAdd();

DiffComplete¶

Declaração¶

void DiffComplete()

Sintaxe¶

DiffComplete()

Descrição¶

Sinaliza o processo de comparação como concluído. Este método deve ser chamado quando o processo diff for concluído com êxito; caso contrário, o processo diff ficará em um estado inconsistente. Nesse caso, na próxima vez que a operação diff for executada, nenhum registro será processado.

Exemplos¶

// Flag the diff operation as complete
DiffComplete();

DiffDelete¶

Declaração¶

void DiffDelete()

Sintaxe¶

DiffDelete()

Descrição¶

Solicita os registros excluídos como entrada para a próxima transformação executada.

Exemplos¶

// Requesting deleted records for the transformation run
DiffDelete();

DiffKeyList¶

Declaração¶

void DiffKeyList(string k1[, string k2,... string kN])

Sintaxe¶

DiffKeyList(<k1>[, <k2>,... <kN>])

Parâmetros Obrigatórios¶

• k1, k2,... kN: Chaves de string que identificam as colunas na fonte diff a serem usadas para identificar exclusivamente cada registro

Descrição¶

Define a lista de chaves a serem usadas para identificar exclusivamente um registro na fonte diff. Este método é normalmente chamado em conjunto com o InitializeDiff função.

Exemplos¶

// Using a chunked diff with the synchronizing primary keys
// of CustomerId and OrderId:
DiffKeyList("CustomerId", "OrderId");

DiffNode¶

Declaração¶

void DiffNode(string nodeName)

Sintaxe¶

DiffNode(<nodeName>)

Parâmetros Obrigatórios¶

• nodeName: Uma string que especifica o nó repetidor a ser usado para a operação diff

Descrição¶

Para fontes hierárquicas, isso especifica o nó a ser usado como o nó de repetição no qual o diff é executado.

Exemplos¶

// Run the diff on the XML element node <Listing>
DiffNode("Listing");

DiffUpdate¶

Declaração¶

void DiffUpdate()

Sintaxe¶

DiffUpdate()

Descrição¶

Solicita os registros atualizados como entrada para a próxima transformação executada.

Exemplos¶

// Requesting updated records for the transformation run
DiffUpdate();

InitializeDiff¶

Declaração¶

void InitializeDiff(string diffId)

Sintaxe¶

InitializeDiff(<diffId>)

Parâmetros Obrigatórios¶

• diffId: Uma string que identifica exclusivamente a operação diff de outras operações diff em execução no sistema. A string deve ser a mesma para cada execução da operação para identificar a diferença corretamente.

Descrição¶

Inicializa uma nova sessão diff.

A string passada como diffId deve ser diferente de todos os outros identificadores de diferença usados no sistema, mas deve ser o mesmo cada vez que a operação for executada. Se uma sessão diff já estiver em execução, uma chamada para este método falhará. Para limpar uma sessão diff antiga (como no caso de uma falha do sistema), chame a função ResetDiff() uma vez.

Esse método normalmente é chamado no script pré-fonte da primeira operação que implementa uma comparação/sincronização.

Exemplos¶

// Synchronize the order database:
InitializeDiff("Order Database Synchronization");

// Using chunked diff with the synchronizing primary keys
// of CustomerId and OrderId:
DiffKeyList("CustomerId", "OrderId");

// With sufficient memory available, increase the chunk size:
SetDiffChunkSize(100000);

// Start by processing the added records in this operation:
DiffAdd();

OrderedDiffKeyList¶

Declaração¶

void OrderedDiffKeyList(string k1, bool isAscending1[, string k2, bool isAscending2,... string kN, bool isAscendingN])

Sintaxe¶

OrderedDiffKeyList(<k1>, <isAscending1>[, <k2>, <isAscending2>,... <kN>, <isAscendingN>])

Parâmetros Obrigatórios¶

• k1, k2,... kN: Nomes de strings de chaves de coluna a serem usadas para identificar exclusivamente um registro em uma fonte

• isAscending1, isAscending2,... isAscendingN: Valores booleanos para cada coluna indicando se cada coluna é classificada em ordem crescente (verdadeiro) ou decrescente (false)

• O número de argumentos fornecidos deve ser dois ou mais e deve ser um número par.

Descrição¶

Define a lista de chaves usadas para identificar exclusivamente um registro na fonte e especifica a ordem de registro da chave como crescente (true) ou descendente (false).

Use este método (em vez do DiffKeyList função) nos casos em que é garantido que os registros de origem estejam em uma ordem específica.

O processamento Diff é mais eficiente se os campos de origem forem ordenados sempre da mesma maneira. Nesses casos, nenhum tamanho de bloco será usado e o uso de memória não será um problema. Este método normalmente é chamado em conjunto com o método InitializeDiff função.

ResetDiff¶

Declaração¶

void ResetDiff(string diffId, int action)

Sintaxe¶

ResetDiff(<diffId>, <action>)

Parâmetros Obrigatórios¶

• diffId: Uma string que identifica exclusivamente a operação diff de outras operações diff em execução no sistema
• action: Um inteiro (0 ou 1) especificando como a sessão diff deve ser reiniciada

Descrição¶

Reinicia uma sessão diff existente.

O action parâmetro (0 ou 1) especifica como a sessão diff deve ser redefinida:

• 0 (Redefinir): Esquece completamente o último instantâneo e começa do início. Isso forçará o sistema a tratar todas as entradas como "adicionadas".
• 1 (Limpar): Remove todos os arquivos restantes de uma sessão diff anterior. Isso não redefine o último instantâneo; ele apenas limpa os arquivos obsoletos deixados por sessões diff antigas, com falha ou canceladas.

Este método é normalmente chamado quando algo foi alterado em um processo diff existente ou se um processo diff falhou e ficou em um estado inconsistente. Ele não deve ser chamado durante o processamento diff normal. Se nenhuma sessão diff estiver presente para isso diff_id, nenhuma ação é realizada.

Exemplos¶

// Purge any files left over from a previous diff session,
// but keep the latest snapshot
ResetDiff("Order Database Synchronization", 1);

SetDiffChunkSize¶

Declaração¶

void SetDiffChunkSize(int chunkSize)

Sintaxe¶

SetDiffChunkSize(<chunkSize>)

Parâmetros Obrigatórios¶

• chunkSize: Tamanho em bytes para blocos usados durante a comparação

Descrição¶

Define o tamanho do bloco (em bytes) usado durante a comparação.

Um tamanho de bloco maior fará com que o sistema use mais memória, mas processará a comparação mais rápido. O padrão é 50000 bytes; se você tiver memória suficiente, poderá aumentar esse número.

Este método é normalmente chamado em conjunto com o InitializeDiff função.

Exemplos¶

// With sufficient memory available, increase the chunk size:
SetDiffChunkSize(100000);