Funciones Diff

Utilice Funciones de Diff para Sincronizar Datos

La función Jitterbit Diff/Synchronize se puede utilizar en transformaciones para sincronizar datos en una sola tabla con cualquier tipo de destino.

La fuente debe ser una base de datos o un archivo CSV. Si es una base de datos, la tabla de origen debe tener un conjunto de claves que identifique de forma única una fila de datos. No se admiten relaciones jerárquicas de tablas de origen.

La función de diferenciación se utiliza para dividir los datos de origen en tres categorías:

• filas agregadas
• filas actualizadas
• filas eliminadas

La primera vez que se ejecuta una operación de diferenciación, todas las filas de origen se clasifican como "agregadas". Con cada ejecución posterior, Jitterbit solo procesará las filas agregadas, modificadas o eliminadas. Esto puede ahorrar un tiempo de procesamiento significativo en los casos en que una tabla de origen tiene numerosos registros que cambian con poca frecuencia.

Como se verá en los pasos siguientes, una " operación de diferenciación" normalmente consta de varias operaciones encadenadas; cada operación sucesiva maneja adiciones, actualizaciones y eliminaciones respectivamente.

Para configurar una operación de diferenciación, siga estos pasos:

1. Inicialice la sesión de diferencias y defina el tipo de algoritmo de diferencias que se utilizará. Actualmente, se admiten "fragmentados" u "ordenados". Chunked siempre funcionará, pero ordered puede ser más rápido si se garantiza el orden de las filas de datos de origen.
2. Manejar filas agregadas, actualizadas y eliminadas. El orden en que se manejan es arbitrario y depende del orden de las operaciones que implementan la sincronización.
3. Finalice la sesión de diferencias. Esto marca el proceso de diferenciación como completo; de lo contrario, una operación de diferenciación futura puede provocar que no se procesen registros.

Paso 1: Inicializar la Sesión Diff

Inicialice la sesión de diferencias llamando al InitializeDiff función con un "ID de diferencia" único seguido del DiffKeyList función (para una diferencia fragmentada) o la OrderedDiffKeyList función (para una diferencia ordenada) para definir la(s) clave(s) principal(es) de la tabla fuente:

InitializeDiff("A-unique-diff-ID-for-each-diff-process");
DiffKeyList("pk1", "pk2");

Paso 2: Manejar Filas Agregadas, Actualizadas y Eliminadas

Antes de cada transformación, las funciones DiffAdd, DiffUpdate, y DiffDelete son llamados. A cualquier transformación que se ejecute después de esas llamadas a funciones se le pasarán las filas agregadas, actualizadas o eliminadas respectivamente. El origen de las transformaciones tiene que ser la misma tabla de base de datos o archivo CSV, pero el destino puede ser diferente en los tres casos.

Paso 3: Finalice la Sesión de Diff

El DiffComplete la función debe llamarse cuando los tres casos se hayan manejado exitosamente. (En caso de errores, el ResetDiff en su lugar se debe utilizar la función). Esto marca el proceso de diferenciación como completo; de lo contrario, una operación de diferenciación futura puede provocar que no se procesen registros.

Funciones Diff Adicionales

• DiffNode: Para fuentes jerárquicas, especifica el nodo que se utilizará como nodo repetido para realizar la diferenciación.
• OrderedDiffKeyList: Especifica el orden de clasificación de la fuente cuando se utiliza el algoritmo de diferenciación "ordenado".
• ResetDiff: Restablece o purga la sesión de diferencias. Se utiliza en el manejo de errores para restablecer la sesión de diferencias en caso de falla.
• SetDiffChunkSize: Establece un parámetro para el algoritmo de diferenciación "fragmentado". Un valor mayor es más rápido, pero utiliza más memoria.

Ejemplos de Diff

Para ver un ejemplo usando diff en Design Studio, consulte Capturar cambios de datos con cambios de tabla o archivo. Esto puede extrapolarse para su uso en Cloud Studio.

DiffAdd

Declaración

void DiffAdd()

Sintaxis

DiffAdd()

Descripción

Solicita los registros agregados como entrada para la siguiente transformación que se ejecute.

Ejemplos

// Start by processing the added records in this operation:
DiffAdd();

DiffComplete

Declaración

void DiffComplete()

Sintaxis

DiffComplete()

Descripción

Marca el proceso de diferenciación como completo. Este método debe llamarse cuando el proceso de diferenciación se complete exitosamente; de lo contrario, el proceso de diferenciación quedará en un estado inconsistente. En ese caso, la próxima vez que se ejecute la operación de diferenciación, no se procesará ningún registro.

Ejemplos

// Flag the diff operation as complete
DiffComplete();

DiffDelete

Declaración

void DiffDelete()

Sintaxis

DiffDelete()

Descripción

Solicita los registros eliminados como entrada para la siguiente transformación que se ejecute.

Ejemplos

// Requesting deleted records for the transformation run
DiffDelete();

DiffKeyList

Declaración

void DiffKeyList(string k1[, string k2,... string kN])

Sintaxis

DiffKeyList(<k1>[, <k2>,... <kN>])

Parámetros Requeridos

• k1, k2,... kN: Claves de cadena que identifican las columnas en la fuente de diferencias que se utilizarán para identificar de forma única cada registro.

Descripción

Establece la lista de claves que se utilizarán para identificar de forma única un registro en la fuente de diferencias. Este método normalmente se llama junto con el InitializeDiff función.

Ejemplos

// Using a chunked diff with the synchronizing primary keys
// of CustomerId and OrderId:
DiffKeyList("CustomerId", "OrderId");

DiffNode

Declaración

void DiffNode(string nodeName)

Sintaxis

DiffNode(<nodeName>)

Parámetros Requeridos

• nodeName: Una cadena que especifica el nodo repetido que se utilizará para la operación de diferenciación.

Descripción

Para fuentes jerárquicas, esto especifica el nodo que se utilizará como nodo repetido en el que se realiza la diferenciación.

Ejemplos

// Run the diff on the XML element node <Listing>
DiffNode("Listing");

DiffUpdate

Declaración

void DiffUpdate()

Sintaxis

DiffUpdate()

Descripción

Solicita los registros actualizados como entrada para la siguiente transformación que se ejecute.

Ejemplos

// Requesting updated records for the transformation run
DiffUpdate();

InitializeDiff

Declaración

void InitializeDiff(string diffId)

Sintaxis

InitializeDiff(<diffId>)

Parámetros Requeridos

• diffId: Una cadena que identifica de forma única la operación de diferenciación de otras operaciones de diferenciación que se ejecutan en el sistema. La cadena debe ser la misma para cada ejecución de la operación para poder identificar la diferencia correctamente.

Descripción

Inicializa una nueva sesión de diferencias.

La cuerda pasó como diffId debe ser diferente de todos los demás identificadores de diferencias utilizados en el sistema, pero debe ser el mismo** cada vez que se ejecuta la operación. Si ya se está ejecutando una sesión de diferencias, la llamada a este método fallará. Para borrar una sesión de diferencias anterior (como en el caso de una falla del sistema), llame a la función ResetDiff una vez.

Este método normalmente se llama en el secuencia de comandos previo al código fuente de la primera operación que implementa una diferencia/sincronización.

Ejemplos

// Synchronize the order database:
InitializeDiff("Order Database Synchronization");

// Using chunked diff with the synchronizing primary keys
// of CustomerId and OrderId:
DiffKeyList("CustomerId", "OrderId");

// With sufficient memory available, increase the chunk size:
SetDiffChunkSize(100000);

// Start by processing the added records in this operation:
DiffAdd();

OrderedDiffKeyList

Declaración

void OrderedDiffKeyList(string k1, bool isAscending1[, string k2, bool isAscending2,... string kN, bool isAscendingN])

Sintaxis

OrderedDiffKeyList(<k1>, <isAscending1>[, <k2>, <isAscending2>,... <kN>, <isAscendingN>])

Parámetros Requeridos

• k1, k2,... kN: Cadenas de nombres de claves de columna que se utilizarán para identificar de forma única un registro en una fuente

• isAscending1, isAscending2,... isAscendingN: Valores booleanos para cada columna que indican si cada columna está ordenada de forma ascendente (true) o descendente (false)

• El número de argumentos proporcionados debe ser dos o más y debe ser un número par.

Descripción

Establece la lista de claves utilizadas para identificar de forma única un registro en el origen y especifica el orden de registro de la clave como ascendente (true) o descendente (false).

Utilice este método (en lugar del DiffKeyList función) en los casos en los que se garantiza que los registros fuente estarán en un orden específico.

El procesamiento de Diff es más eficiente si los campos de origen se ordenan de la misma manera cada vez. En esos casos, no se utilizará ningún tamaño de fragmento y el uso de memoria no será un problema. Este método normalmente se llama junto con el InitializeDiff función.

ResetDiff

Declaración

void ResetDiff(string diffId, int action)

Sintaxis

ResetDiff(<diffId>, <action>)

Parámetros Requeridos

• diffId: Una cadena que identifica de forma única la operación de diferenciación de otras operaciones de diferenciación que se ejecutan en el sistema.
• action: Un número entero (ya sea 0 o 1) especificando cómo se restablecerá la sesión de diferencias

Descripción

Restablece una sesión de diferencias existente.

El action parámetro (ya sea 0 o 1) especifica cómo se restablecerá la sesión de diferencias:

• 0 (Restablecer): Olvida por completo la última instantánea y comienza de nuevo desde el principio. Esto obligará al sistema a tratar todas las entradas como "agregadas".
• 1 (Purgar): Elimina los archivos sobrantes de una sesión de diferencias anterior. Esto no restablece la última instantánea; solo borra los archivos obsoletos que quedan de sesiones de diferencias antiguas, fallidas o canceladas.

Este método generalmente se llama cuando se ha cambiado algo en un proceso de diferenciación existente o si un proceso de diferenciación falló y quedó en un estado inconsistente. No se debe llamar durante el procesamiento de diferencias normal. Si no hay ninguna sesión de diferencias presente para esto diff_id, no se realiza ninguna acción.

Ejemplos

// Purge any files left over from a previous diff session,
// but keep the latest snapshot
ResetDiff("Order Database Synchronization", 1);

SetDiffChunkSize

Declaración

void SetDiffChunkSize(int chunkSize)

Sintaxis

SetDiffChunkSize(<chunkSize>)

Parámetros Requeridos

• chunkSize: Tamaño en bytes para los fragmentos utilizados durante la diferenciación

Descripción

Establece el tamaño del fragmento (en bytes) utilizado durante la diferenciación.

Un tamaño de fragmento mayor hará que el sistema use más memoria pero procesará la diferencia más rápido. El valor predeterminado es 50.000 bytes; Si tiene suficiente memoria, puede aumentar este número.

Este método normalmente se llama junto con el InitializeDiff función.

Ejemplos

// With sufficient memory available, increase the chunk size:
SetDiffChunkSize(100000);