O Monitoramento de Pipeline de Dados envolve o uso de aprendizado de máquina para entender a maneira como seus pipelines de dados normalmente se comportam e, em seguida, enviar alertas quando ocorrerem anomalias nesse comportamento (ver os 5 pilares).
Leia todos os tópicos:
- A Observabilidade de Dados é Essencial para o DataOps
- Por que a Observabilidade de Dados é Importante?
- Os Principais Recursos das Ferramentas de Observabilidade de Dados
- Observabilidade de Dados versus Testes de Dados
- Observabilidade de Dados versus Monitoramento de Pipeline de Dados
- Observabilidade de Dados versus Qualidade dos Dados
- Observabilidade de Dados versus Engenharia de Confiabilidade de Dados
- Qualidade dos Dados versus Confiabilidade dos Dados
- Sinais de que VOCÊ precisa de uma Plataforma de Observabilidade de Dados
- O Futuro da Observabilidade de Dados
Algumas ferramentas da pilha de dados moderna, como o Airflow, por exemplo, terão a capacidade de monitorar sua parte do pipeline de ETL. Embora sejam úteis, as equipes de dados precisam monitorar todo o pipeline de ponta a ponta, desde a ingestão até o destino e através da transformação até o consumo na camada de BI.
É também importante que a monitorização do pipeline de dados seja complementada com um processo de monitorização da própria qualidade dos dados. Isso ocorre porque, embora o pipeline possa estar funcionando bem, os dados que fluem por ele podem ser lixo.
Por exemplo, os valores dos dados podem estar fora do intervalo histórico normal ou pode haver anomalias presentes nas taxas NULL ou nos percentuais exclusivos. O Monitoramento de Pipeline de Dados em si pode ser feito automaticamente com aprendizado de máquina, bem como através da definição de regras personalizadas, por exemplo, se você souber que uma taxa de conversão monetária nunca pode ser negativa.
Quando o Monitoramento de Pipeline de Dados automatizado de dados é combinado com recursos para acelerar a resolução de incidentes, compreender o impacto desses incidentes e ilustrar a integridade dos dados ao longo do tempo, isso se torna a observabilidade dos dados.
Clique aqui e nos contate via What's App para avaliarmos seus projetos
Comente e compartilhe este artigo!
Leia também:
Nenhum comentário:
Postar um comentário