Verifique Se Há Duplicatas no Arquivo de Origem
Se os registros de origem puderem conter duplicatas e você quiser processar apenas o primeiro registro e filtrar as duplicatas, poderá fazer isso usando scripts e uma condição. Esse processo também é conhecido como desduplicação.
Assim que tiver sua Transformação em vigor, identifique o campo que deseja usar para verificar se há duplicatas.

- 
O campo E-mail foi selecionado para este exemplo. 
- 
Clique duas vezes neste campo no lado de destino para exibir a caixa Formula Builder:  
- 
Na seção superior esquerda (Script), insira estas linhas, como na imagem acima: Set(Email, "1");Email
- 
Isso criará uma variável dinâmica, definirá o name dessa variável igual ao valor no campo E-mail, definirá o value da variável como "1" e retornará o valor do campo E-mail. 
- 
Clique em OK para salvar. 
- 
Depois de concluir a etapa acima, clique com o botão direito do mouse em _flat_ abaixo do alvo. 
- 
Selecione Adicionar condição. Isso adiciona outro item no topo de seus campos de destino chamado Condição. 
- 
Clique duas vezes neste Campo para exibir a caixa Construtor de fórmulas. 
- 
Insira esta fórmula na seção de script: If(Get(Email)==1, False, True)
A função Get utilizará o valor do campo E-mail para recuperar a variável dinâmica que criamos nos passos anteriores e verificar se a variável possui o valor 1. Caso possua, irá pular o registro; caso contrário, continuará com a inserção.

- Clique em OK para salvar.
Nossa transformação de amostra concluída deve ficar assim:

Depois de concluir as etapas descritas acima, você poderá executar sua transformação e as duplicatas não serão processadas.