Menu

Fundamentos de armazenamento de dados: um guia definitivo com exemplos

  • Principal
  • Outro
  • Fundamentos de armazenamento de dados: um guia definitivo com exemplos

data warehousing fundamentals

Experimente Nosso Instrumento Para Eliminar Problemas

Saiba tudo sobre os princípios básicos do armazenamento de dados. Este guia detalhado explica o que é data warehouse, juntamente com seus tipos, características, vantagens e desvantagens:

Um data warehouse é a tendência de armazenamento mais recente na indústria de TI de hoje.

Este tutorial vai explicar o que é um data warehouse? Por que o armazenamento de dados é crucial? Tipos de aplicativos de Data Warehouse, Características de um Data Warehouse, Benefícios e Desvantagens do Data Warehousing.

Fundamentos de armazenamento de dados

Lista de tutoriais de armazenamento de dados nesta série:

Tutorial # 1: Fundamentos de armazenamento de dados
Tutorial # 2: O que é processo ETL em data warehouse?
Tutorial nº 3: Teste de Data Warehouse
Tutorial nº 4: Modelo de dados dimensionais em data warehouse
Tutorial # 5: Tipos de esquema em modelagem de data warehouse
Tutorial # 6: Tutorial do Data Mart
Tutorial nº 7: Metadados em ETL

Visão geral dos tutoriais nesta série de armazenamento de dados

Tutorial_NumO que você aprenderá
Tutorial # 7 Metadados em ETL

Este tutorial explica a função dos metadados em ETL, exemplos e tipos de metadados, repositório de metadados e desafios no gerenciamento de metadados.
Tutorial # 1 Fundamentos de armazenamento de dados

Aprenda tudo sobre os conceitos de armazenamento de dados neste tutorial. Este guia detalhado explica o que é armazenamento de dados junto com seus tipos, características, vantagens e desvantagens.
Tutorial # 2 O que é processo ETL em data warehouse?

Este tutorial detalhado sobre o processo ETL explica o fluxo do processo e as etapas envolvidas no processo ETL (extração, transformação e carga) no data warehouse.
Tutorial # 3 Teste de Data Warehouse

Metas e significado do teste de data warehouse, responsabilidades de teste de ETL, erros em DW e implantação de ETL em detalhes neste tutorial.
Tutorial # 4 Modelo de dados dimensionais em data warehouse

Este tutorial explica os benefícios e mitos do modelo de dados dimensional no data warehouse. Você também aprenderá sobre tabelas dimensionais e tabelas de fatos com exemplos.
Tutorial # 5 Tipos de esquema em modelagem de data warehouse

Este tutorial explica vários tipos de esquema de data warehouse. Aprenda o que é Star Schema & Snowflake Schema e a diferença entre Star e Snowflake Schema.
Tutorial # 6 Tutorial do Data Mart

Este tutorial explica os conceitos do Data Mart, incluindo a implementação, os tipos e a estrutura do Data Mart, bem como as diferenças entre o Data Warehouse e o Data Mart.

O que você aprenderá:

Fundamentos de armazenamento de dados: um guia completo

Público-alvo

  • Desenvolvedores e testadores de data warehouse / ETL.
  • Profissionais de banco de dados com conhecimento básico de conceitos de banco de dados.
  • Administradores de banco de dados / especialistas em Big Data que desejam entender os conceitos de data warehouse.
  • Graduados universitários / novatos que procuram empregos em data warehouse.

O que é armazenamento de dados?

Um Data Warehouse (DW) é um repositório de uma grande quantidade de dados organizados. Esses dados são consolidados a partir de uma ou mais fontes de dados diferentes. O DW é um banco de dados relacional projetado principalmente para relatórios analíticos e tomada de decisão pontual nas organizações.

quanto custa a torrada

Os dados para este fim são isolados e otimizados dos dados da transação de origem, o que não terá qualquer impacto no negócio principal. Se uma organização introduz qualquer mudança nos negócios, o DW é usado para examinar os efeitos dessa mudança e, portanto, o DW também é usado para monitorar o processo de não tomada de decisão.

Armazém de dados

O data warehouse é principalmente um sistema somente leitura, pois os dados operacionais são muito separados do DW. Isso fornece um ambiente para recuperar a maior quantidade de dados com boa escrita de consulta.

Assim, o DW atuará como o mecanismo de backend para ferramentas de Business Intelligence que mostra os relatórios, painéis para os usuários de negócios. O DW é amplamente utilizado nos setores bancário, financeiro, varejo, etc.

Por que o armazenamento de dados é crucial?

Listados abaixo estão alguns dos motivos pelos quais o Data Warehouse é crucial.

  1. O data warehouse reúne todos os dados operacionais de várias fontes heterogêneas de “formatos diferentes” e, por meio do processo de extração, transformação e carregamento (ETL), carrega os dados no DW em um “formato dimensional padronizado” em uma organização.
  2. O data warehouse mantém “dados atuais e históricos” para relatórios analíticos e tomada de decisão baseada em fatos.
  3. Ajuda as organizações a tomar “decisões mais inteligentes e rápidas” sobre a redução de custos e aumentar a receita, comparando relatórios trimestrais e anuais para melhorar seu desempenho.

Tipos de aplicativos de data warehouse

Business Intelligence (BI) é um ramo de armazenamento de dados projetado para a tomada de decisões. Depois que os dados no DW são carregados, o BI desempenha um papel importante, analisando os dados e apresentando-os aos usuários de negócios.

Praticamente, o termo “aplicativos de data warehouse” implica em quantos tipos diferentes os dados podem ser processados ​​e utilizados.

Temos três tipos de aplicativos DW, conforme mencionado abaixo.

  1. Processando informação
  2. Processamento analítico
  3. Mineração de dados que serve ao propósito de BI

# 1) Processamento de informações

É um tipo de aplicativo onde o data warehouse permite o contato direto individual com os dados nele armazenados.

Como os dados podem ser processados ​​por meio de consultas diretas sobre os dados (ou) com uma análise estatística básica sobre os dados, os resultados finais serão informados aos usuários de negócios na forma de relatórios, tabelas, gráficos ou gráficos.

O DW oferece suporte às seguintes ferramentas para processamento de informações:

(i) Ferramentas de consulta: O negócio (ou) o analista executa as consultas usando ferramentas de consulta para explorar os dados e gerar a saída na forma de relatórios ou gráficos de acordo com os requisitos do negócio.

Data Warehouse: Ferramentas de Consulta

(ii) Ferramentas de relatórios: Se a empresa deseja ver os resultados em qualquer formato definido e em uma base programada, ou seja, diário, semanal ou mensal, as ferramentas de relatório serão usadas. Esses tipos de relatórios podem ser salvos e revisados ​​a qualquer momento.

(iii) Ferramentas de estatística: Se a empresa deseja fazer uma análise em uma visão ampla dos dados, ferramentas estatísticas serão usadas para gerar esses resultados. As empresas podem tirar conclusões e previsões ao compreender esses resultados estratégicos.

Data Warehouse - Análise Estatística

# 2) Processamento Analítico

É um tipo de aplicativo onde um data warehouse permite o processamento analítico dos dados nele armazenados. Os dados podem ser analisados ​​pelas seguintes operações como Fatiar e Dice, Drill Down, Roll Up e Pivoting.

(i) Fatiar e dividir : Data warehouse permite que operações de corte e dados analisem os dados acessados ​​de muitos níveis com uma combinação de diferentes perspectivas. A operação de fatia e dados usa internamente o mecanismo de pesquisa detalhada. O fatiamento funciona em dados dimensionais.

Como parte do requisito do negócio, se nos concentrarmos em uma única área, o fatiamento analisa as dimensões dessa área específica de acordo com os requisitos e fornece os resultados. Dicing funciona em operações analíticas. O corte de dados amplia para um conjunto específico de atributos em todas as dimensões para fornecer diversas perspectivas. As dimensões são consideradas a partir de uma ou mais fatias consecutivas.

(ii) Drill Down : Se a empresa deseja ir para um nível mais detalhado de qualquer número de resumo, o detalhamento é uma operação para navegar por esse resumo para níveis de detalhes menores. Isso dá uma ótima ideia do que está acontecendo e onde o negócio deve ser focado mais de perto.

Faça uma busca detalhada desde o nível da hierarquia até o nível de detalhe menor para a análise da causa raiz. Isso pode ser facilmente compreendido com um exemplo de como o detalhamento de vendas pode acontecer a partir de Nível do país -> Nível da região -> Nível do estado -> Nível do distrito -> Nível da loja.

Detalhar

(iii) Enrole : Roll up funciona oposto à operação de drill down. Se a empresa deseja dados resumidos, o roll up entra em cena. Ele agrega os dados do nível de detalhe ao subir na hierarquia dimensional.
Roll-ups são usados ​​para analisar o desenvolvimento e o desempenho de um sistema.

Isso pode ser entendido com um Exemplo como em um acúmulo de vendas onde os totais podem ser acumulados a partir de Nível da cidade -> Nível estadual -> Nível regional -> Nível do país .

(iv) Pivô : A dinâmica analisa os dados de dimensão girando os dados nos cubos. Por exemplo, a dimensão da linha pode ser trocada pela dimensão da coluna e vice-versa.

# 3) Mineração de dados

Este é um tipo de aplicativo onde o data warehouse permite a descoberta do conhecimento dos dados e os resultados serão representados com ferramentas de visualização. Nos dois tipos de aplicativos acima, as informações podem ser conduzidas pelos usuários.

Como os dados se tornam vastos em vários negócios, é difícil consultar e detalhar o data warehouse para obter todos os insights possíveis sobre os dados. Em seguida, a mineração de dados entra em cena para realizar a descoberta do conhecimento.

Isso leva aos dados com todas as associações anteriores, resultados, etc. e prevê o futuro. Portanto, isso é orientado por dados e não pelo usuário. Os dados podem ser descobertos localizando padrões ocultos, associações, classificações e previsões.

A mineração de dados se aprofunda nos dados para prever o futuro. Com base nas previsões, também sugere as ações a serem tomadas.

A seguir estão as várias atividades de Data Mining:

  • Padrões: A mineração de dados descobre padrões que ocorrem no banco de dados. Os usuários podem fornecer as entradas de negócios sobre as quais algum conhecimento dos padrões é esperado para a tomada de decisão.
  • Associações / Relacionamentos: A mineração de dados descobre relacionamentos entre os objetos com a frequência de suas regras de associação. Essa relação pode ser entre dois ou mais objetos (ou) pode descobrir as regras dentro das propriedades do mesmo objeto.
  • Classificação: A mineração de dados organiza os dados em um conjunto de classes predefinidas. Portanto, se algum objeto for selecionado dos dados, a classificação associa o respectivo rótulo de classe a esse objeto.
  • Predição: A mineração de dados compara um conjunto de valores existentes para encontrar os melhores valores / tendências futuras possíveis nos negócios.

Assim, com base em todos os resultados acima, a mineração de dados também propõe um conjunto de ações a serem realizadas.

Características de um data warehouse

Um data warehouse é construído com base nas seguintes características de dados como orientado para o assunto, integrado, não volátil e variante de tempo.

# 1) Orientado ao assunto: Podemos definir um data warehouse como orientado para o assunto, pois podemos analisar dados em relação a uma área de assunto específica, em vez da aplicação de dados inteligentes. Isso fornece resultados mais definidos para facilitar a tomada de decisões. No que diz respeito a um sistema educacional, as áreas disciplinares podem ser alunos, disciplinas, notas, professores, etc.

# 2) Integrado: Os dados no data warehouse são integrados de fontes distintas, como outros bancos de dados relacionais, arquivos simples, etc. Essa vasta quantidade de dados é buscada para uma análise de dados eficaz. Mas pode haver conflitos de dados, pois diferentes fontes de dados podem estar em formatos diferentes. O data warehouse traz todos esses dados em um formato consistente em todo o sistema.

# 3) Não volátil: Depois que os dados são carregados no data warehouse, eles não podem ser alterados. Logicamente, isso é aceitável, pois a mudança frequente de dados não permitirá que você os analise. As mudanças frequentes no banco de dados operacional podem ser carregadas em um data warehouse de forma programada, durante este processo, novos dados são adicionados, no entanto, os dados anteriores não são apagados e permanecem como dados históricos.

# 4) Variante do Tempo: Todos os dados históricos junto com os dados recentes no Data warehouse desempenham um papel crucial para recuperar dados de qualquer duração. Se a empresa deseja relatórios, gráficos, etc., para compará-los com os anos anteriores e analisar as tendências, são necessários todos os dados antigos de 6 meses, 1 ano ou até mais antigos, etc.

Benefícios de um data warehouse

Quando um sistema de data warehouse é produtivo, uma organização obtém os seguintes benefícios ao usá-lo:

  1. Inteligência de negócios aprimorada
  2. Maior desempenho do sistema e da consulta
  3. Business Intelligence de múltiplas fontes
  4. Acesso oportuno aos dados
  5. Melhor qualidade e consistência de dados
  6. Inteligência Histórica
  7. Alto retorno do investimento

# 1) Inteligência de negócios aprimorada: Nos primeiros dias, quando o Data Warehousing e Business Intelligence não existiam, os usuários de negócios e analistas costumavam tomar as decisões com uma quantidade limitada de dados e com sua própria intuição.

DW & BI trouxeram uma mudança ao fornecer insights com fatos reais e com os dados reais da organização que são coletados ao longo de um período de tempo. Os usuários de negócios podem consultar diretamente qualquer um dos dados de processos de negócios, como marketing, finanças, vendas, etc., com base em suas necessidades de tomada de decisão estratégica e decisões de negócios inteligentes.

# 2) Maior desempenho do sistema e da consulta: O armazenamento de dados reúne informações volumosas de sistemas heterogêneos e as coloca em um sistema para que um único mecanismo de consulta possa ser usado para a recuperação rápida de dados.

# 3) Business Intelligence de múltiplas fontes: Você sabe como o Business Intelligence geralmente funciona com dados? Ele absorve os dados de vários sistemas, subsistemas, plataformas e fontes de dados para trabalhar em um projeto. No entanto, o Data warehouse resolve esse problema para BI, consolidando todos os dados do projeto sem quaisquer duplicatas.

# 4) Acesso oportuno aos dados: Os usuários corporativos serão beneficiados por gastar menos tempo na recuperação de dados. Eles possuem algumas ferramentas úteis, com as quais podem consultar os dados com o mínimo de conhecimento técnico e gerar os relatórios. Isso faz com que os usuários de negócios gastem tempo suficiente na análise de dados em vez de na coleta de dados.

# 5) Qualidade e consistência de dados aprimoradas: O armazenamento de dados transforma dados com formatos de sistema de origem diferentes em um único formato. Portanto, talvez as mesmas unidades de negócios que estão fornecendo os dados para o data warehouse possam reutilizar o repositório DW para seus relatórios de negócios e consultas.

Portanto, do ponto de vista da organização, todas as unidades de negócios ficarão de prontidão com resultados / relatórios consistentes. Portanto, esses dados consistentes e de boa qualidade ajudam a administrar um negócio de sucesso.

# 6) Inteligência Histórica: O data warehouse mantém todos os dados históricos que não são mantidos por nenhum sistema transacional. Esta grande quantidade de dados é usada para analisar dados de duração de tempo específica e relatá-los, e para analisar as tendências para prever o futuro.

# 7) Alto retorno sobre o investimento (ROI): Qualquer pessoa começa um negócio com a expectativa de bons retornos dos investimentos, em termos de maiores lucros e menores despesas. No mundo real dos dados, muitos estudos provaram que a implementação dos sistemas de data warehouse e Business Intelligence gerou altas receitas e economizou custos.

Agora você deve ser capaz de entender como um sistema DW bem projetado agrega benefícios ao seu negócio.

Desvantagens do Data Warehousing

Embora seja um sistema de muito sucesso, é bom conhecer algumas das armadilhas do sistema:

  • Criar um Data Warehouse é definitivamente um processo complexo e demorado.
  • O custo de manutenção é alto, pois o sistema precisa de atualizações contínuas. Também pode aumentar se não for utilizado corretamente.
  • O treinamento adequado deve ser dado aos desenvolvedores, testadores e usuários para compreender o sistema DW e implementá-lo tecnicamente.
  • Pode haver dados confidenciais que não podem ser carregados no DW para a tomada de decisão.
  • A reestruturação de quaisquer processos de negócios (ou) sistemas de origem tem um grande efeito no DW.

Conclusão

Esperamos que este tutorial introdutório forneça um histórico dos fundamentos do armazenamento de dados. Vimos em profundidade todos os conceitos fundamentais do Data Warehousing.

Aprendemos a definição, os tipos, as características, os benefícios e as desvantagens do Data Warehousing neste tutorial abrangente.

=> Leia a série de treinamento Easy Data Warehousing.

Leitura recomendada

^