Uma Empresa Americana de Meios de Comunicação de Massa a Transformar a Gestão de Dados

Learn more

Objetivos

● Servir como um portal central de atendimento automático e repositório para dados analíticos específicos

● Permitir a recuperação e a análise de dados em toda a organização 

● Dar resposta às necessidades de dados das diferentes partes interessadas e abordar vários níveis de proficiência técnica

● Permitir insights de negócios rápidos e iniciativas de ciência de dados mais profundas

Desafios

● Os dados atuais existem em silos em toda a organização

● A recuperação não é self-service 

● Antecedentes e definições requerem interação humana

Pilares das Estruturas de Trabalho

1. Gestão de Dados 

O objetivo era estabelecer rotinas e plataformas de "processo de dados" separadas de métodos e aplicações de "acesso a dados" para aumentar a prontidão para recursos de plataforma analítica - Ciência de Dados e Aprendizagem de Máquina. 

2. Inteligência de Negócios e Análises

Ativamos o atendimento automático para visualização de dados usando ferramentas de camada de apresentação como o Tableau. Construímos uma camada onde itens menores podem ser revertidos rapidamente para ativar qualquer requisito de negócio. 

3. Automação e Integração Contínua 

Estabelecemos rotinas de extração, transformação e carregamento de dados orientadas por CI-CD em conjunto com a implantação de testes automatizados, rastreamento de erros e alertas para desempenho otimizado. 

4. Infraestrutura de nuvem 

Recomendámos estabelecer uma infraestrutura em nuvem que fosse económica e competitiva. Fornece uma infraestrutura escalonável e camadas de ETL e Inteligência de Negócios de elevado desempenho. 

Visão Geral da Arquitetura

A arquitetura por trás da Plataforma Analítica é feita de componentes personalizados construídos sobre serviços e produtos baseados em nuvem. Esses componentes são responsáveis por gerir uma variedade de etapas de manipulação de dados, tal como extração, transformação e carregamento, entre outras. Eles são construídos de forma a que possam ser facilmente reutilizados em toda a plataforma e ligados uns aos outros para criar pipelines mais complexos.

Pode pensar nesses componentes como serviços independentes que migram dados de um lugar para outro ou que se transformam de um formato para outro. A saída de uma etapa pode ser a entrada de outra etapa e assim por diante. Normalmente, todos os pipelines são construídos para que os dados terminem numa solução de Data Warehouse baseada em nuvem, que permite às empresas consultar e trabalhar com base nesses dados - o principal objetivo de negócios da Plataforma Analítica.

Analytical Platform Architecture