Menu

Oracle Data Warehouse: Arquitetura de Data Warehouse e mais

oracle data warehouse

Experimente Nosso Instrumento Para Eliminar Problemas

Guia do Oracle Data Warehouse com benefícios, arquitetura, riscos e comparação com o sistema OLTP (Online Transaction Processing):

No tutorial anterior de Guia abrangente para Oracle , aprendemos sobre os produtos e serviços Oracle em vários domínios, como aplicativos, bancos de dados, sistema operacional, etc. Este artigo fornecerá conhecimento aprofundado do Oracle Data Warehousing. Mas antes vamos primeiro entender o conceito de Business Intelligence (BI).

Business Intelligence

Business Intelligence é um domínio de software que incorpora certos métodos, tecnologias, ferramentas e aplicativos que ajudam a estruturar, refinar e transformar dados em massa em um formato inteligente e compreensível que pode ser utilizado por clientes para gerar relatórios personalizados e também ajuda na realização de negócios decisões.

Oracle Data Warehousing

Diferentes opções estão disponíveis para atender a essa necessidade, como Data Warehousing, OLAP (Online Transaction Processing), Data Mining, Data Integration, Decision Engineering, Spreadsheets, etc.

Enterprise Data Warehousing (EDW) é um dos principais componentes de BI que atende às necessidades analíticas e de relatórios das empresas. Data Warehouse é um Relational Database Management System (RDBMS), que mantém dados consolidados recebidos de várias fontes para uso posterior.

sites para baixar vídeo do youtube

O que você aprenderá:

Visão geral do Oracle Data Warehouse

Por que é denominado como ‘Data Warehouse’?

Vamos tentar lembrar o significado da palavra 'warehouse' para nos relacionarmos com o termo 'Data Warehouse'.

Um armazém físico é um repositório usado para armazenar mercadorias recebidas de várias origens, que podem ser posteriormente fornecidas ao cliente com base em suas necessidades.

Armazém de dados

(imagem fonte )

Da mesma forma, o data warehouse é um repositório de dados recebidos de vários sistemas de origem. Essas fontes podem ser quaisquer sistemas de armazenamento como data marts, arquivos simples ou quaisquer dispositivos de armazenamento de mídia contendo dados para diferentes domínios corporativos, como RH, Vendas, Operações, Gerenciamento de Recursos e Marketing, etc.

Objetivo de ter um data warehouse

Uma empresa pode ter ouvido falar sobre o conceito de data warehouse, mas pode não ter certeza se deve incluí-lo em sua empresa. Ainda assim, sempre haveria a necessidade de despejar dados de fontes diferentes em um terreno comum e arquivá-los para que o espaço de armazenamento pudesse ser liberado dos sistemas de transação. É aqui que o sistema de Data Warehousing se torna um requisito de negócios.

Para crescer no mercado, a gestão deve ser boa na tomada de decisões, o que só pode ser feito após estudar a fundo as tendências passadas de uma organização. Portanto, esses dados arquivados são mantidos no data warehouse em um formato bem organizado e calculado para que possam ser encaminhados para análise de negócios no futuro.

Benefícios do armazenamento de dados

Data Warehouse, se implementado com sucesso, pode ser benéfico das seguintes maneiras:

# 1) Ele simplificou as tarefas dos analistas, oferecendo uma versão aprimorada de soluções de inteligência de negócios. Ele extrai dados de vários sistemas de origem, os transforma e os armazena, que podem ser consultados diretamente pela empresa para análise.

Ele também oferece várias ferramentas que suportam o seguinte:

  • Geração de relatórios de negócios customizados.
  • Painéis interativos exibindo as informações necessárias.
  • Capacidade de detalhar os painéis apenas para obter os detalhes.
  • Mineração de dados e análise de tendências.

#dois) Mesmo depois de receber dados de vários sistemas de origem, os dados em um data warehouse permanecem consistentes como resultado das transformações que ocorreram durante o processo ETL. Dados consistentes dão confiança a um tomador de decisão em termos de precisão.

# 3) Os data warehouses também são definidos como uma economia de tempo, pois os dados críticos exigidos pelas partes interessadas para a tomada de decisões de negócios estão disponíveis em um único local e podem ser recuperados facilmente.

# 4) Eles são projetados para conter dados históricos e, portanto, podem ser consultados para estudar tendências durante diferentes períodos de tempo. Também ajuda as partes interessadas a definir o caminho de crescimento futuro.

Riscos envolvidos no uso de data warehouse

Junto com os benefícios, cada nova implementação envolve um conjunto de riscos que precisa ser cuidado.

Listados abaixo estão alguns dos riscos envolvidos:

  1. A não compatibilidade dos sistemas de origem com o sistema de armazenamento de dados pode resultar em muito trabalho manual.
  2. A estimativa incorreta de tempo do processo ETL pode levar à interrupção do trabalho.
  3. Esses são sistemas de armazenamento de alta tecnologia e, portanto, precisam de muita manutenção. Qualquer fluxo de trabalho ou mudanças de negócios podem custar muito alto.
  4. Configurar um data warehouse é um processo demorado, pois requer muito tempo para entender os fluxos de negócios e identificar os recursos de integração para projetar um warehouse.
  5. A segurança dos dados é sempre um risco aqui, pois contém dados históricos antigos que, se vazados, podem impactar os negócios.

Comparação de OLTP vs. Data Warehouse

As diferenças entre OLTP e Data Warehouse podem ser entendidas na tabela abaixo.

OLTPArmazenamento de dados
Insert & Updates são as principais operações realizadas por usuários finais em sistemas OLTP.Data Warehouses são consultados principalmente usando a instrução SELECT e só podem ser atualizados usando serviços ETL.
Os sistemas OLTP oferecem suporte a transações comerciais.O Data Warehouse apóia as decisões de negócios tomadas após a análise das transações de negócios concluídas.
Os dados permanecem voláteis, ou seja, continuam mudandoOs dados não devem ser alterados.
Eles contêm os dados mais recentes.Eles contêm os dados históricos.
Armazena os dados brutos sem quaisquer cálculos.Contém dados resumidos e bem calculados.
Os dados serão normalizados.Os dados permanecerão desnormalizados.
O tamanho do banco de dados Oracle pode variar de 50 MB a 100 GB.O tamanho do banco de dados Oracle pode variar de 100 GB a 2 TB.

Comparando Data Warehouse e Data Mart

Data Warehouse e DataMart

Data Warehouse e DataMart, não são os termos soam semelhantes e parecem relacionados ao armazenamento de dados.

Sim, eles estão relacionados e ambos são usados ​​para armazenar dados. A principal diferença entre os dois é a capacidade de armazenar os dados e essa diferença ajuda os usuários finais a escolher a unidade de armazenamento certa para seus sistemas.

O Data Mart tem menos capacidade de armazenar dados em comparação com o data warehouse e, portanto, pode ser considerado um subconjunto dele. Os data marts são geralmente identificados para armazenar dados limitados que podem ser de um determinado departamento ou linha de negócios, enquanto os data warehouses podem ser usados ​​para armazenar os dados consolidados de todos.

Vejamos um exemplo de um site de comércio eletrônico com várias categorias de mercadorias, como Moda, Acessórios, Artigos de casa, Livros e material escolar, Eletrodomésticos, etc.

Portanto, os data marts podem ser projetados para armazenar a categoria de dados do produto, enquanto os data warehouses podem ser usados ​​para armazenar dados completos do site, incluindo histórico, em um só lugar.

Os data marts são menores e podem ser criados com muito mais rapidez, sem muita análise, conforme necessário para projetar um data warehouse. No entanto, é preciso muito esforço para manter vários data marts em sincronia para manter a consistência dos dados.

Visão geral do processo ETL

ETL (Extração, Transformação e Carregamento) é um processo de extração de dados de diferentes sistemas de origem, transformando e carregando no sistema de Data Warehouse. É um processo complexo que precisa interagir com uma variedade de sistemas de origem para extração de dados e, portanto, também tecnicamente desafiador.

A transformação novamente precisa de muita análise para entender o formato dos sistemas de origem e trazer os dados para o formato comum, de forma que os mesmos dados possam ser armazenados no data warehouse.

O processo ETL é um trabalho recorrente que pode ser executado diariamente, semanalmente ou até mesmo mensalmente, dependendo dos requisitos de negócios.

Perguntas da entrevista do oracle plsql para experientes

Arquitetura de Data Warehouse

Vamos entender a arquitetura de um Data Warehouse que é projetado principalmente para armazenar dados refinados para requisitos de negócios predefinidos. A arquitetura consiste em 5 componentes com fluxo de dados de cima para baixo.

Os componentes são os seguintes:

  • Fontes de dados
  • Data Staging
  • Data Warehouse (armazenamento de dados)
  • Data March (armazenamento de dados)
  • Apresentação de dados

Arquitetura de Data Warehouse

Vamos entender todas as etapas listadas acima, uma por uma.

# 1) Fontes de dados

Existem diferentes sistemas de origem que atuam como uma entrada para sistemas de data warehouse.

Esses sistemas de origem podem ser:

  • Bancos de dados relacionais como Oracle, DB2, MySQL, MS Access, etc. que podem ser usados ​​para registrar transações diárias de qualquer organização. Essas transações comerciais diárias podem estar relacionadas a ERP, CRM, Vendas, Finanças e Marketing, etc.
  • Arquivos planos
  • serviços web
  • Feeds RSS e fontes semelhantes.

# 2) Teste de dados

Uma vez que as fontes de dados estejam no lugar, a próxima etapa seria extrair esses dados dos sistemas de origem para a área de preparação do warehouse.

Como os dados foram recuperados de diferentes sistemas que seguem diferentes formatos de armazenamento, é necessário reestruturar os dados para trazê-los para um formato comum. Portanto, a transformação de dados ocorre como uma próxima etapa.

Durante a transformação, ocorre a limpeza de dados, que inclui a aplicação de regras de negócios, filtragem de dados, remoção de redundância, formatação de dados, classificação de dados, etc.

# 3) Data Warehouse (Data Storage)

Assim que os dados forem extraídos e transformados, eles serão carregados em um ambiente multidimensional, ou seja, Data Warehouse. Agora, esses dados processados ​​podem ser usados ​​para análise e outros fins pelos usuários finais.

# 4) Data Marts (armazenamento de dados)

Conforme mencionado acima, os dados agora estão prontos para serem consumidos pelos usuários finais, há um processo opcional de criação de Data Marts como uma próxima etapa. Esses data marts podem ser usados ​​para armazenar dados resumidos de um determinado departamento ou linha de negócios para uso dedicado.

Por exemplo, Data marts separados podem ser adicionados para departamentos como Vendas, Finanças e Marketing, etc. como uma próxima etapa que conterá dados específicos e permitirá que um analista execute consultas detalhadas para as necessidades de negócios. Também evita que outros usuários finais acessem o warehouse completo e, portanto, torna os dados seguros.

# 5) Ferramentas de acesso a dados (apresentação de dados)

Existem várias ferramentas predefinidas de Business Intelligence que podem ser usadas pelos usuários para acessar data warehouses ou data marts. Essas ferramentas de front-end são projetadas de uma forma extremamente amigável, oferecendo aos usuários uma variedade de opções para acessar dados.

As opções são mencionadas abaixo:

  • Aplicando a consulta ao Oracle ou qualquer outro banco de dados diretamente por meio de SQL.
  • Geração de relatório.
  • Desenvolvimento de aplicativos.
  • Usando ferramentas de mineração de dados, etc.

Algumas ferramentas de armazenamento populares disponíveis no mercado são:

  • Analytix DS
  • Amazon Redshift
  • Software Ab Initio
  • Code Futures
  • Gestão Holística de Dados
  • Informatics Corporation

Cloud Data Warehousing

Cloud Data Warehousing

Os data warehouses são excessivamente reconhecidos pelo mundo. A próxima pergunta que surge: estamos usando uma abordagem otimizada para implantar Data Warehouses?

Então, o Cloud Data Warehousing foi introduzido, o que levou a melhor sobre o Enterprise Data Warehousing (EDW). O conceito de Data Warehouses baseados em nuvem oferece várias vantagens.

São os seguintes:

como abrir 7z no mac

(i) Escalabilidade: Os dados em sistemas em nuvem são facilmente escaláveis ​​para cima e para baixo sem complicações, enquanto consomem muito tempo e recursos para realizar o escalonamento em armazéns de dados tradicionais.

(ii) Economia de custos: Os data warehouses baseados em nuvem fizeram uma diferença notável no investimento necessário para a configuração de um warehouse. Eles reduziram o custo inicial em massa, eliminando o custo de

    • Manutenção de salas de hardware / servidor.
    • Pessoal necessário para manutenção.
    • Outros custos operacionais.

(iii) Desempenho: O desempenho é outro fator que permitiu aos sistemas baseados em nuvem dominarem os tradicionais. Se o negócio for expandido globalmente e os dados precisarem ser acessados ​​de várias partes do mundo com resposta mais rápida, os armazéns baseados em nuvem são os melhores para usar.

O Massively Parallel Processing (MPP) é um dos métodos de processamento colaborativo usados ​​por depósitos para conseguir o mesmo.

(iv) Conectividade: Conforme mencionado acima, se os dados precisam ser acessados ​​de várias localizações geográficas, os usuários precisam de conectividade excelente para esses warehouses e um warehouse baseado em nuvem oferece o mesmo.

Conclusão

Esperamos que todos tenham uma boa ideia sobre o sistema Oracle Data Warehousing depois de ler o artigo acima. Deixe-nos saber se você precisa de alguma ideia sobre um tópico específico sobre armazenamento de dados para que possamos abordar o mesmo nos próximos tutoriais.

PREV Tutorial | PRÓXIMO Tutorial

Leitura recomendada

^