Saltar al contenido

Procesamiento de Transformación en Jitterbit Integration Studio

Introducción

Harmony admite estos métodos para procesar una transformación:

Una transformación de streaming es el método preferido cuando se necesita limitar la cantidad de memoria utilizada. Si no es posible usar una transformación de streaming, se puede aplicar la fragmentación de datos. Desde la perspectiva de una transformación, una respuesta/solicitud de un servicio web SOAP se corresponde con un origen/destino XML considerando las limitaciones de procesamiento.

Esta página también cubre cómo Harmony maneja el procesamiento de archivos que ya han sido procesados.

Problema conocido

Se sabe que este problema ocurre con las transformaciones:

  • El uso de un esquema de origen plano como entrada puede devolver campos mapeados en blanco
    • Resumen: En determinadas circunstancias, cuando se utiliza un esquema de origen plano, los campos de destino no se asignan correctamente, lo que hace que estén en blanco.
    • Información adicional: Esto no ocurre con esquemas reflejados o esquemas JSON.
    • Solución alternativa: Agregue un secuencia de comandos al comienzo de la operación que deshabilite las transformaciones de transmisión configurando $jitterbit.transformation.auto_streaming = false;.

Transformación del streaming

Una transformación de transmisión carga un registro a la vez en la memoria, realiza la transformación del registro y escribe el destino en el disco. Esto minimiza la cantidad de memoria utilizada durante la transformación a la necesaria para transformar ese registro.

La transmisión se aplica automáticamente a las transformaciones donde el origen y el destino son ambos estructuras planas (por ejemplo, una sola tabla de base de datos o un solo archivo CSV) y se cumplen estos requisitos:

  • La transmisión no se ha deshabilitado explícitamente mediante la configuración AutoStreaming=0 en el jitterbit.conf Archivo para un agente privado.

  • La transmisión no se ha desactivado explícitamente al configurar la variable Jitterbit. jitterbit.transformation.auto_streaming a 0 o false- No se utilizan funciones de resolución de instancias, como FindByPos, FindValue, o Sum.

  • Estas funciones de diccionario y matriz no están presentes: GetSourceInstanceMap, GetSourceAttrNames, GetSourceElementNames, GetSourceInstanceElementMap, GetSourceInstanceArray, GetSourceInstanceElementArray- La función XML GetXMLString No está presente.

  • No hay asignaciones múltiples en el objetivo.

  • La transformación no tiene una condición definido en el objetivo.

No se necesita ninguna otra acción; la transformación utilizará automáticamente la transformación cuando se procese.

Ejemplos

Las Transformaciones que utilizan automáticamente la transmisión incluyen estas estructuras de datos:

  • CSV a CSV
  • De mesa individual a mesa individual
  • Tabla única a CSV
  • CSV a una sola tabla

Fragmentación

En una situación donde una transformación de streaming no es aplicable o posible, se puede usar la fragmentación para que la transformación requiera menos memoria. Para orígenes y destinos XML muy grandes, la fragmentación de datos puede ser la única opción. (Si el uso de memoria no es un problema, una transformación de streaming siempre es la opción preferida).

La fragmentación se configura en el nivel de operación desde las opciones de operación, por lo que puede usar la misma transformación tanto en modo fragmentado como en modo no fragmentado.

La opción Configuración para las operaciones es accesible desde estas ubicaciones:

Una vez abierta la pantalla de configuración de operación, seleccione la pestaña Opciones.

Utilice un tamaño de fragmento lo más grande posible, asegurándose de que los datos de un fragmento quepan en la memoria disponible.

Para obtener instrucciones y prácticas recomendadas sobre el uso de la fragmentación de datos, consulte Opciones de operación.

Transferencias repetidas de archivos

Harmony garantiza que los archivos de texto se transfieran solo una vez. Al iniciar una operación, pero antes de transferir cualquier archivo, Harmony revisa el historial de transferencias de los archivos de origen para comprobar si ya se ha utilizado la misma información. Se utilizan tres criterios para garantizar transferencias de archivos únicas:

  • Nombre del archivo
  • Fecha de modificación
  • Identificación de la operación

Si todos estos criterios para un archivo de texto fuente determinado son los mismos, el sistema asume que el archivo ha sido procesado y omite la transferencia de este archivo en particular.