Buscar Duplicados en el Archivo de Origen

Si sus registros de origen pueden contener duplicados y desea procesar solo el primer registro y filtrar los duplicados, puede lograrlo mediante secuencias de comandos y una condición. Este proceso también se conoce como deduplicación.

Una vez que tenga su Transformación en su lugar, identifique el campo que desea usar para buscar duplicados.

adjunto

El campo Correo fue seleccionado para este ejemplo.
Haga doble clic en este campo en el lado de destino para mostrar el cuadro Formula Builder:
En la sección superior izquierda (Secuencia de Comandos), ingrese estas líneas, como en la imagen de arriba:
```
Set(Email, "1");
```
```
Email
```
Esto creará una variable dinámica, establecerá el nombre de esa variable igual al valor en el campo Correo, establecerá el valor de la variable en "1" y luego devolverá el valor del campo Correo.
Haga clic en Aceptar para guardar.
Una vez que haya completado el paso anterior, haga clic derecho en _flat_ debajo del objetivo.
Seleccione Agregar condición. Esto agrega otro elemento en la parte superior de los campos de destino llamado Condición.
Haga doble clic en este Campo para mostrar el cuadro Creador de fórmulas.
Ingrese esta fórmula en la sección del secuencia de comandos:
```
If(Get(Email)==1, False, True)
```

La función Obtener utilizará el valor en el campo Correo para recuperar la variable dinámica que creamos en los pasos anteriores y verificar si la variable tiene un valor de 1. Si lo tiene, se saltará el registro; de lo contrario, continuará con la inserción.

adjunto

Haga clic en Aceptar para guardar.

Nuestra transformación de muestra completa debería verse así:

adjunto

Una vez que haya completado los pasos descritos anteriormente, podrá ejecutar su transformación y los duplicados no se procesarán.