Menu

Teste ETL Tutorial de teste de data warehouse (um guia completo)

etl testing data warehouse testing tutorial

Experimente Nosso Instrumento Para Eliminar Problemas

Desafios e processos de teste de ETL / data warehouse:

Hoje, deixe-me tomar um momento e explicar minha fraternidade de testes sobre uma das habilidades mais exigidas e futuras de meus amigos testadores, ou seja, testes de ETL (Extrair, Transformar e Carregar).

Este tutorial apresentará a você uma ideia completa sobre o teste de ETL e o que fazemos para testar o processo de ETL.

Lista completa de tutoriais nesta série:

  • Tutorial # 1 : Teste de ETL Guia de introdução ao teste de data warehouse
  • Tutorial # 2 : Teste ETL usando a ferramenta Informatica PowerCenter
  • Tutorial # 3 : Teste ETL vs. DB
  • Tutorial # 4 : Teste de Business Intelligence (BI): Como testar dados de negócios
  • Tutorial # 5 : Dez principais ferramentas de teste de ETL

Foi observado que a Verificação e Validação Independente está ganhando um enorme potencial de mercado e muitas empresas agora estão vendo isso como um ganho de negócio em potencial.

Teste ETL _ Teste de Data Warehouse - Dicas, Técnicas, Processo e Desafios

Os clientes têm oferecido uma gama diferente de produtos em termos de ofertas de serviços, distribuídos em muitas áreas com base em tecnologia, processo e soluções. ETL ou data warehouse é uma das ofertas que estão se desenvolvendo rapidamente e com sucesso.

Processo ETL

Por meio do processo ETL, os dados são buscados nos sistemas de origem, transformados de acordo com as regras de negócios e finalmente carregados no sistema de destino (data warehouse). Um data warehouse é um armazenamento para toda a empresa que contém dados integrados que auxiliam no processo de tomada de decisões de negócios. Faz parte da inteligência de negócios.

O que você aprenderá:

Por que as organizações precisam de data warehouse?

Organizações com práticas de TI organizadas estão ansiosas para criar o próximo nível de transformação de tecnologia. Eles agora estão tentando se tornar muito mais operacionais com dados fáceis de interoperar.

Tendo dito que os dados são a parte mais importante de qualquer organização, podem ser dados do dia a dia ou dados históricos. Os dados são a espinha dorsal de qualquer relatório e os relatórios são a linha de base sobre a qual todas as decisões vitais de gerenciamento são tomadas.

A maioria das empresas está dando um passo à frente na construção de seu data warehouse para armazenar e monitorar dados em tempo real, bem como dados históricos. Criar um data warehouse eficiente não é uma tarefa fácil. Muitas organizações distribuíram departamentos com diferentes aplicativos executados em tecnologia distribuída.

A ferramenta ETL é utilizada para fazer uma integração perfeita entre diferentes fontes de dados de diferentes departamentos. A ferramenta ETL funcionará como um integrador, extraindo dados de diferentes fontes; transformá-lo no formato preferido com base nas regras de transformação de negócios e carregá-lo em um banco de dados coeso conhecido como Data Warehouse.

O escopo de teste bem planejado, bem definido e eficaz garante uma conversão suave do projeto à produção. Uma empresa ganha a real flutuabilidade quando os processos de ETL são verificados e validados por um grupo independente de especialistas para garantir que o data warehouse seja concreto e robusto.

ETL ou teste de data warehouse é categorizado em quatro compromissos diferentes independentemente da tecnologia ou ferramentas ETL utilizadas:

  • Novo teste de data warehouse - O novo DW é construído e verificado do zero. A entrada de dados é obtida a partir dos requisitos do cliente e de diferentes fontes de dados e um novo data warehouse é construído e verificado com a ajuda de ferramentas ETL.
  • Teste de migração - Neste tipo de projeto, o cliente terá um DW e ETL existente executando o trabalho, mas está procurando uma nova ferramenta para melhorar a eficiência.
  • Pedido de mudança - Neste tipo de projeto, novos dados são adicionados de fontes diferentes a um DW existente. Além disso, pode haver uma condição em que o cliente precise alterar sua regra de negócios existente ou ele pode integrar a nova regra.
  • Teste de Relatório - Relatório é o resultado final de qualquer Data Warehouse e a proposta básica para a qual o DW é construído. O relatório deve ser testado através da validação do layout, dados do relatório e cálculo.

Processo ETL

( Observação : Clique na imagem para ampliá-la)

Teste ETL

Técnicas de teste ETL

1) Teste de transformação de dados : Verifique se os dados são transformados corretamente de acordo com vários requisitos e regras de negócios.

2) Teste de contagem de origem para destino : Certifique-se de que a contagem de registros carregados no destino corresponda à contagem esperada.

3) Teste de dados de origem para destino : Certifique-se de que todos os dados projetados sejam carregados no data warehouse sem qualquer perda de dados e truncamento.

4) Teste de qualidade de dados : Certifique-se de que o aplicativo ETL rejeita apropriadamente, substitui por valores padrão e relata dados inválidos.

5) Teste de Desempenho : Certifique-se de que os dados sejam carregados no data warehouse dentro dos prazos prescritos e esperados para confirmar o melhor desempenho e escalabilidade.

onde está a chave de segurança da rede no roteador

6) Teste de validação de produção: Valide os dados no sistema de produção e compare-os com os dados de origem.

7) Teste de integração de dados : Certifique-se de que os dados de várias origens foram carregados corretamente no sistema de destino e todos os valores de limite foram verificados.

8) Teste de migração de aplicativo : Neste teste, é garantido que o aplicativo ETL está funcionando bem na mudança para uma nova caixa ou plataforma.

9) Verificação de dados e restrições : O tipo de dados, comprimento, índice, restrições, etc. são testados neste caso.

10) Verificação de dados duplicados : Teste se há dados duplicados presentes nos sistemas de destino. Dados duplicados podem levar a relatórios analíticos incorretos.

Além dos métodos de teste ETL acima, outros métodos de teste, como teste de integração de sistema, teste de aceitação do usuário, teste incremental, teste de regressão, reteste e teste de navegação, também são realizados para garantir que tudo esteja tranquilo e confiável.

ETL / Armazém de dados Processo de Teste

Semelhante a qualquer outro teste sob a Verificação e Validação Independentes, o ETL também passa pela mesma fase.

  • Compreensão de requisitos
  • Validando
  • Estimativa de Teste com base em uma série de tabelas, a complexidade das regras, volume de dados e desempenho de um trabalho.
  • Planejamento de teste com base nas entradas de estimativa de teste e requisitos de negócios. Precisamos identificar aqui o que está dentro do escopo e o que está fora do escopo. Também procuramos dependências, riscos e planos de mitigação nesta fase.
  • Projetando casos de teste e cenários de teste de todas as entradas disponíveis. Também precisamos projetar documentos de mapeamento e scripts SQL.
  • Assim que todos os casos de teste estiverem prontos e aprovados, a equipe de teste prossegue para realizar a verificação de pré-execução e preparação de dados de teste para teste
  • Por último, a execução é realizada até que os critérios de saída sejam atendidos. Portanto, a fase de execução inclui a execução de trabalhos ETL, monitoramento de trabalhos, execução de script SQL, registro de defeitos, reteste de defeitos e teste de regressão.
  • Após a conclusão bem-sucedida, um relatório resumido é preparado e o processo de fechamento é concluído. Nesta fase, a aprovação é fornecida para promover o trabalho ou código para a próxima fase.

As duas primeiras fases, ou seja, compreensão e validação de requisitos, podem ser consideradas como pré-etapas do processo de teste ETL.

Portanto, o processo principal pode ser representado da seguinte forma:

processo principal

É necessário definir a estratégia de teste que deve ser aceita mutuamente pelas partes interessadas antes de iniciar o teste real. Uma estratégia de teste bem definida garantirá que a abordagem correta foi seguida, atendendo à aspiração de teste.

O teste de ETL / Data Warehouse pode exigir a gravação extensiva de instruções SQL pela equipe de teste ou talvez a adaptação do SQL fornecido pela equipe de desenvolvimento. Em qualquer caso, uma equipe de teste deve estar ciente dos resultados que está tentando obter usando essas instruções SQL.

Diferença entre teste de banco de dados e data warehouse

Existe um mal-entendido popular de que o teste de banco de dados e armazém de dados é semelhante, embora o fato seja que ambos têm direções diferentes nos testes.

  • O teste de banco de dados é feito usando uma escala menor de dados normalmente com o tipo de banco de dados OLTP (processamento de transações online), enquanto o teste de data warehouse é feito com grande volume com dados envolvendo bancos de dados OLAP (processamento analítico online).
  • No teste de banco de dados, normalmente os dados são injetados de forma consistente de fontes uniformes, enquanto no teste de data warehouse a maioria dos dados vem de diferentes tipos de fontes de dados que são sequencialmente inconsistentes.
  • Geralmente executamos a única operação CRUD (Criar, ler, atualizar e excluir) no teste de banco de dados, enquanto no teste de data warehouse usamos a operação somente leitura (Selecionar).
  • Bancos de dados normalizados são usados ​​em testes de banco de dados, enquanto o banco de dados desmoralizado é usado em testes de data warehouse.

Há uma série de verificações universais que devem ser realizadas para qualquer tipo de teste de data warehouse.

Abaixo está a lista de objetos que são tratados como essenciais para validação neste teste:

  • Verifique se a transformação dos dados da origem ao destino funciona conforme o esperado
  • Verifique se os dados esperados foram adicionados ao sistema de destino
  • Verifique se todos os campos do banco de dados e dados do campo são carregados sem qualquer truncamento
  • Verifique a soma de verificação dos dados para correspondência de contagem de registro
  • Verifique se, para dados rejeitados, logs de erros adequados são gerados com todos os detalhes
  • Verifique os campos de valor NULL
  • Verifique se os dados duplicados não foram carregados
  • Verifique a integridade dos dados

=> Conheça o diferença entre ETL / teste de data warehouse e teste de banco de dados .

Desafios de teste de ETL

Este teste é bastante diferente do teste convencional. Existem muitos desafios que enfrentamos durante a realização de testes de data warehouse.

Aqui estão alguns desafios que experimentei no meu projeto:

  • Dados incompatíveis e duplicados
  • Perda de dados durante o processo ETL
  • Indisponibilidade do testbed inclusivo
  • Os testadores não têm privilégios para executar tarefas ETL por conta própria
  • O volume e a complexidade dos dados são muito grandes
  • Falha no processo e procedimentos de negócios
  • Problemas para adquirir e construir dados de teste
  • Ambiente de teste instável
  • Informações de fluxo de negócios ausentes

Os dados são importantes para as empresas tomarem decisões críticas de negócios. O teste de ETL desempenha um papel significativo, validando e garantindo que as informações de negócios sejam exatas, consistentes e confiáveis. Além disso, minimiza o risco de perda de dados na produção.

Espero que essas dicas ajudem a garantir que seu processo de ETL seja preciso e que o data warehouse construído por isso seja uma vantagem competitiva para sua empresa.

Lista completa de tutoriais de teste ETL:

  • Tutorial # 1 : Teste de ETL Guia de introdução ao teste de data warehouse
  • Tutorial # 2 : Teste ETL usando a ferramenta Informatica PowerCenter
  • Tutorial # 3 : Teste ETL vs. DB
  • Tutorial # 4 : Teste de Business Intelligence (BI): Como testar dados de negócios
  • Tutorial # 5 : Dez principais ferramentas de teste de ETL

Este é um post convidado de Vishal Chhaperia, que está trabalhando em uma MNC em uma função de gerenciamento de teste. Ele tem vasta experiência no gerenciamento de projetos, processos e equipes de controle de qualidade de várias tecnologias.

Você trabalhou em testes de ETL? Compartilhe suas dicas e desafios de teste ETL / DW abaixo.

Leitura recomendada

^