Desduplicador de Dados

Sobre o Desduplicador de Dados

Desduplicador de Dados é uma ferramenta online poderosa que identifica e remove linhas duplicadas de arquivos CSV e JSON. Selecione quais colunas verificar para duplicados, escolha se quer manter a primeira ou última ocorrência e exporte dados limpos apenas com registros únicos. Todo processamento acontece localmente no seu navegador para privacidade completa.

Como funciona a detecção de duplicados?

A ferramenta compara linhas baseado nas colunas que você seleciona (colunas chave). Se duas ou mais linhas tiverem valores idênticos em todas as colunas selecionadas, elas são consideradas duplicatas. Você pode escolher comparar todas as colunas ou apenas colunas específicas, tornando-a flexível para diferentes cenários de limpeza de dados.

Qual é a diferença entre manter primeira vs última ocorrência?

Quando duplicatas são encontradas, você pode escolher qual cópia manter. 'Manter primeira ocorrência' retém a primeira linha que aparece no arquivo e remove duplicatas subsequentes. 'Manter última ocorrência' mantém a duplicata mais recente e remove cópias anteriores. Isso é útil quando dados mais novos devem substituir entradas antigas.

Meus dados estão seguros?

Sim. Todo processamento de desduplicação acontece localmente no seu navegador usando JavaScript. Seus arquivos nunca saem do seu dispositivo, garantindo privacidade completa para conjuntos de dados sensíveis como registros de clientes, dados financeiros ou listas confidenciais.

Quais formatos de arquivo são suportados?

Desduplicador de Dados suporta arquivos CSV (com vários delimitadores: vírgula, ponto e vírgula, tab, pipe) e arquivos JSON (arrays de objetos). Ambos os formatos podem ser desduplicados e exportados para formato CSV ou JSON após processamento.

Posso ver quais linhas eram duplicadas?

Sim. A ferramenta fornece duas visualizações separadas: Registros Únicos (linhas que serão mantidas) e Registros Duplicados (linhas que foram removidas). Isso permite revisar ambos os conjuntos de dados antes de baixar, garantindo que a desduplicação funcionou como esperado.

O que faz a comparação sensível a maiúsculas?

Quando habilitado, 'Apple' e 'apple' são tratados como valores diferentes. Quando desabilitado (padrão), letras maiúsculas e minúsculas são consideradas idênticas. Isso é útil quando seus dados podem ter capitalização inconsistente mas você quer tratar entradas similares como duplicatas.