Filtrar Registros Duplicados em um Arquivo de Origem

Se os registros de origem puderem conter duplicatas e você quiser processar apenas o primeiro registro e filtrar as duplicatas, poderá fazer isso usando scripts e uma condição. Esse processo também é conhecido como desduplicação.

Assim que tiver sua Transformação em vigor, identifique o campo que deseja usar para verificar se há duplicatas.

anexo

O campo E-mail foi selecionado para este exemplo.
Clique duas vezes neste campo no lado de destino para exibir a caixa Formula Builder:
Na seção superior esquerda (Script), insira estas linhas, como na imagem acima:
```
Set(Email, "1");
```
```
Email
```
Isso criará uma variável dinâmica, definirá o name dessa variável igual ao valor no campo E-mail, definirá o value da variável como "1" e retornará o valor do campo E-mail.
Clique em OK para salvar.
Depois de concluir a etapa acima, clique com o botão direito do mouse em _flat_ abaixo do alvo.
Selecione Adicionar condição. Isso adiciona outro item no topo de seus campos de destino chamado Condição.
Clique duas vezes neste Campo para exibir a caixa Construtor de fórmulas.
Insira esta fórmula na seção de script:
```
If(Get(Email)==1, False, True)
```

A função Get utilizará o valor do campo E-mail para recuperar a variável dinâmica que criamos nos passos anteriores e verificar se a variável possui o valor 1. Caso possua, irá pular o registro; caso contrário, continuará com a inserção.

anexo

Clique em OK para salvar.

Nossa transformação de amostra concluída deve ficar assim:

anexo

Depois de concluir as etapas descritas acima, você poderá executar sua transformação e as duplicatas não serão processadas.