data warehouse testing tutorial with examples etl testing guide
Este tutorial cobre metas e importância do teste de data warehouse, responsabilidades de teste de ETL, erros na implantação de DW e ETL em detalhes:
Nisso Série de treinamento detalhado de data warehouse , demos uma olhada no O que é ET L Processo em Data Warehouse em detalhes em nosso tutorial anterior.
Este tutorial fornecerá uma compreensão de como o teste de data warehouse pode ser realizado em uma organização. Você também conhecerá os objetivos do teste de DW, como e que tipo de teste pode ser executado no back-end, quem está envolvido neste processo, os erros de DW e a implantação de ETL em detalhes.
=> Verifique TODOS os tutoriais de armazenamento de dados aqui.
Público-alvo
- Desenvolvedores e testadores de Data Warehouse / ETL.
- Profissionais de banco de dados com conhecimento básico de conceitos de banco de dados.
- Administradores de banco de dados / especialistas em Big Data que desejam entender os conceitos de Data Warehouse / ETL.
- Graduados / recém-formados que procuram empregos em Data Warehouse.
O que você aprenderá:
Teste de Data Warehouse (ETL)
Qual é a importância de testar sistemas de Data Warehouse e Business Intelligence?
O teste desempenha um papel crítico no sucesso de qualquer um dos dois sistemas acima, garantindo a exatidão dos dados que constroem a fé dos usuários finais.
Em geral, um defeito encontrado nos estágios posteriores do ciclo de vida de desenvolvimento de software custa mais para consertar esse defeito. Essa situação no DW pode ser agravada porque os dados errados encontrados nos estágios posteriores podem ter sido usados em importantes decisões de negócios naquela época.
Assim, a correção no DW é mais cara em termos de mudanças de processos, pessoas e tecnologia. Você pode começar o teste de DW desde a fase de coleta de requisitos.
Uma matriz de rastreabilidade de requisitos é preparada e revisada e mapeia principalmente os recursos DW com seus respectivos requisitos de negócios. A matriz de rastreabilidade atua como uma entrada para o plano de teste DW que é preparado pelos testadores. O plano de teste descreve os testes a serem realizados para validar o sistema DW.
Ele também descreve os tipos de testes que serão executados no sistema. Depois que o plano de teste estiver pronto, todos os casos de teste detalhados serão preparados para vários cenários de DW. Em seguida, todos os casos de teste serão executados e os defeitos registrados.
Existe um padrão no mundo operacional que mantém diferentes ambientes para desenvolvimento, teste e produção. No mundo DW, tanto os desenvolvedores quanto os testadores garantirão que os ambientes de desenvolvimento e teste estejam disponíveis com a réplica dos dados de produção antes de iniciar seu trabalho.
Isso é copiado para uma lista de tabelas com dados limitados ou completos dependendo das necessidades do projeto, pois os dados de produção são muito grandes. Os desenvolvedores desenvolvem seu código no ambiente do desenvolvedor e o entregam aos testadores.
Os testadores irão testar o código entregue nos ambientes de teste para garantir se todos os sistemas estão funcionando. Em seguida, o código entrará em operação nos ambientes de produção. O código DW também é mantido em diferentes versões com base nos defeitos corrigidos em cada versão. Manter vários ambientes e versões de código ajuda a construir um sistema de boa qualidade.
qual é o melhor downloader de música grátis
Teste de Metas de Data Warehouse (ETL)
Vamos dar uma olhada nas metas do teste de data warehouse.
# 1) Completude dos dados: Certifique-se de que todos os dados de várias fontes sejam carregados em um Data Warehouse. A equipe de teste valida se todos os registros DW são carregados, no banco de dados de origem e arquivos simples, seguindo as estratégias de amostra abaixo.
- O número total de registros carregados do sistema de origem deve corresponder ao número total de registros carregados no DW. Se houver uma diferença, você pode pensar nos registros rejeitados.
- Compare os dados carregados em cada campo do DW com os campos de dados do sistema de origem. Isso trará os erros de dados, se houver.
# 2) Transformação de dados: Durante o upload dos dados de origem para o data warehouse, poucos campos podem ser carregados diretamente com os dados de origem, mas poucos campos serão carregados com os dados que são transformados de acordo com a lógica de negócios. Esta é a parte complexa do teste DW (ETL).
Abaixo estão os exemplos de estratégias para testar isso:
- Você pode testar criando e comparando dados em planilhas. Carregue os dados transformados de origem e os dados DW em planilhas e faça uma comparação. Não deve haver nenhuma incompatibilidade.
- Os testadores devem escrever as consultas de acordo com a lógica de transformação para comparar os dados DW com os dados de origem. A execução da consulta garantirá que a validação de dados para qualquer um dos campos não esteja faltando.
# 3) Qualidade de dados: O sistema de data warehouse (ETL) deve garantir a qualidade dos dados carregados rejeitando (ou) corrigindo os dados.
DW pode rejeitar alguns dos dados do sistema de origem com base na lógica de requisitos de negócios. Por exemplo, rejeitar um registro se um determinado campo tiver dados não numéricos. Todos os registros rejeitados são carregados na tabela de rejeição para referência.
Os dados rejeitados são reportados aos clientes, pois não há como saber sobre esses dados perdidos, pois não serão carregados no sistema DW. DW pode correto os dados carregando zero no lugar de valores nulos etc.
# 4) Escalabilidade e desempenho: O data warehouse deve garantir a escalabilidade do sistema com cargas crescentes. Com isso, não deve haver degradação do desempenho na execução das consultas, com resultados antecipados em intervalos de tempo específicos. Assim, o teste de desempenho descobre quaisquer problemas e os corrige antes da produção.
Abaixo estão exemplos de estratégias para testes de desempenho e escalabilidade:
- Faça o teste de desempenho carregando volumes de produção de dados e certifique-se de que os prazos não sejam perdidos.
- Valide o desempenho de cada consulta com dados em massa. Teste o desempenho usando junções simples e junções múltiplas.
- Carregue o dobro (ou) o triplo dos volumes de dados esperados para calcular a capacidade do sistema aproximadamente.
- Teste executando jobs para todos os relatórios listados ao mesmo tempo.
# 5) Teste de integração: O data warehouse deve realizar testes de integração com outros aplicativos upstream e downstream. Se possível, é melhor copiar os dados de produção no ambiente de teste para o Teste de Integração.
Todas as equipes do sistema devem estar envolvidas nesta fase para preencher as lacunas enquanto entende e testa todos os sistemas juntos.
# 6) Teste de Unidade: Isso é realizado por desenvolvedores individuais em seus produtos. Os desenvolvedores irão preparar cenários de teste de unidade com base em sua compreensão dos requisitos, executar os testes de unidade e documentar os resultados. Isso ajuda os desenvolvedores a corrigir quaisquer bugs se encontrados, antes de entregar o código para a equipe de teste.
# 7) Teste de regressão: Valida se o sistema DW não está funcionando mal depois de corrigir quaisquer defeitos. Isso é executado muitas vezes a cada nova mudança de código.
# 8) Teste de aceitação do usuário: Este teste é executado por usuários de negócios para validar a funcionalidade do sistema. O ambiente UAT é diferente do ambiente QA. A assinatura do UAT indica que estamos prontos para mover o código para a produção.
servidor privado para world of warcraft
Da perspectiva do sistema de Data Warehouse e Business Intelligence, os usuários de negócios podem validar vários relatórios por meio de uma Interface do Usuário (UI). Eles podem validar as especificações do relatório em relação aos requisitos, podem validar a exatidão dos dados nos relatórios, podem validar a rapidez com que o sistema está retornando os resultados, etc.
Diagrama de fluxo de teste DW:
Responsabilidades de teste de data warehouse
Listados abaixo estão as várias equipes envolvidas na entrega de um sistema DW de sucesso:
- Analistas de negócios: Reúna todos os requisitos de negócios para o sistema e documente aqueles de acordo com a preferência de todos.
- Equipe de infraestrutura: Configure vários ambientes conforme necessário para desenvolvedores e testadores.
- Desenvolvedores: Desenvolva o código ETL de acordo com os requisitos e execute testes de unidade.
- QA (garantia de qualidade) / testadores: Desenvolver plano de teste, casos de teste, etc. Identifica defeitos no sistema executando os casos de teste. Execute vários níveis de teste.
- DBAs: Os DBAs se encarregam de converter cenários de banco de dados ETL lógico em cenários de banco de dados ETL físicos e também envolvem-se em testes de desempenho.
- Usuários empresariais: Envolva-se no Teste de Aceitação do Usuário, execute consultas e relatórios nas tabelas DW.
Erros no data warehouse
Quando você está Extraindo, Transformando e Carregando (ETL) dados de várias fontes, há chances de obter dados incorretos que podem interromper os trabalhos de longa execução.
A seguir estão as principais causas de falha no sistema DW:
Nº 1) Violações de regras de negócios (erros lógicos): Dados logicamente errados violam as regras de negócios. Esses dados podem ser tratados principalmente durante as fases de transformação ou carregamento.
# 2) Violações de regras de dados (erros de dados): Erros de dados ocorrem dentro do sistema de banco de dados DW, como incompatibilidades de tipo de dados, falhas de restrição de dados, etc.
Implantação ETL
Esta é a fase em que todos os seus esforços são executados. Todos os documentos de suporte à produção devem ser preparados.
A documentação contará a outros sobre a sequência de trabalhos a serem executados, cenários de recuperação de falha, materiais de treinamento para as equipes de suporte DW para monitorar o sistema após a implantação e para a equipe de suporte administrativo para executar os relatórios.
Conclusão
Aprendemos sobre as Metas de Teste de Data Warehouse, Responsabilidades de Teste de ETL, Erros em DW e Implantação de ETL em detalhes neste tutorial.
Esperamos que você tenha uma ideia de como os testes detalhados podem ser feitos em um Sistema de Data Warehouse (ETL).
=> Visite aqui para aprender a armazenar dados do zero.
Leitura recomendada
- ETL Testing Tutorial de teste de data warehouse (um guia completo)
- Tutorial de teste de volume: exemplos e ferramentas de teste de volume
- Perguntas e respostas da entrevista de teste de ETL
- Melhores ferramentas de teste de software 2021 [QA Test Automation Tools]
- Teste Funcional Vs Teste Não Funcional
- Tutorial de Teste Pairwise ou Teste All-Pairs com ferramentas e exemplos
- As 10 principais ferramentas de teste de ETL em 2021
- Como realizar testes orientados a dados no SoapUI Pro - Tutorial # 14 do SoapUI