Data Observability | A Observabilidade de Dados é Essencial para o DataOps

À medida que as organizações crescem e as pilhas de tecnologia subjacentes que as alimentam se tornam mais complicadas (pense: passar de uma arquitetura monolítica para uma arquitetura de microsserviços), tornou-se importante para as equipes de DevOps do departamento de engenharia de software manter um pulso constante sobre a integridade de seus sistemas e implantar abordagens de integração e desenvolvimento contínuos (CI/CD). 

Leia todos os tópicos:

• A Observabilidade de Dados é Essencial para o DataOps
• Por que a Observabilidade de Dados é Importante?
• Os Principais Recursos das Ferramentas de Observabilidade de Dados
• Observabilidade de Dados versus Testes de Dados
• Observabilidade de Dados versus Monitoramento de Pipeline de Dados
• Observabilidade de Dados versus Qualidade dos Dados
• Observabilidade de Dados versus Engenharia de Confiabilidade de Dados
• Qualidade dos Dados versus Confiabilidade dos Dados
• Sinais de que VOCÊ precisa de uma Plataforma de Observabilidade de Dados
• O Futuro da Observabilidade de Dados

A Observabilidade de Dados, uma adição mais recente ao léxico da engenharia de software, atende a essa necessidade e refere-se ao monitoramento, rastreamento e triagem de incidentes para evitar tempo de inatividade de aplicativos de software.

Basicamente, existem três pilares de dados de observabilidade:

Métricas referem-se a uma representação numérica de dados medidos ao longo do tempo.

Logs, um registro de um evento que ocorreu em um determinado carimbo de data/hora, também fornecem um contexto valioso sobre quando um evento específico ocorreu.

Os rastreamentos representam eventos causalmente relacionados em um ambiente distribuído.

Juntos, esses três pilares e soluções de gerenciamento de aplicativos (APM), como DataDog ou Splunk, deram às equipes de DevOps e aos engenheiros de software conhecimento e insights valiosos para prever o comportamento futuro e, por sua vez, confiar em seus sistemas de TI para cumprir os SLAs .

As equipes de Engenharia de Dados precisavam de processos e ferramentas semelhantes para monitorar seus pipelines de ETL (ou ELT) e evitar tempo de inatividade de dados em seus sistemas de dados. Insira a observabilidade dos dados.

 Clique aqui e nos contate via What's App para avaliarmos seus projetos 

Comente e compartilhe este artigo!

brazilsalesforceeffectiveness@gmail.com

Leia também:

  

  

  

Data Observability | Por que a Observabilidade de Dados é Importante?

A Observabilidade de Dados é importante porque as consequências do tempo de inatividade dos dados podem ser graves.

Leia todos os tópicos:

• A Observabilidade de Dados é Essencial para o DataOps
• Por que a Observabilidade de Dados é Importante?
• Os Principais Recursos das Ferramentas de Observabilidade de Dados
• Observabilidade de Dados versus Testes de Dados
• Observabilidade de Dados versus Monitoramento de Pipeline de Dados
• Observabilidade de Dados versus Qualidade dos Dados
• Observabilidade de Dados versus Engenharia de Confiabilidade de Dados
• Qualidade dos Dados versus Confiabilidade dos Dados
• Sinais de que VOCÊ precisa de uma Plataforma de Observabilidade de Dados
• O Futuro da Observabilidade de Dados

Para engenheiros e desenvolvedores de dados, a Observabilidade de Dados é importante porque o tempo de inatividade dos dados significa desperdício de tempo e recursos; para os consumidores de dados, isso prejudica a confiança na sua tomada de decisão.

Nesse sentido, o valor do monitoramento do pipeline de dados e da Observabilidade de Dados é quase inestimável. Dito isto, é improvável que o diretor financeiro aceite “inestimável” quando você estiver construindo seu caso de negócios. Então, vamos dar uma olhada em como as equipes de dados mediram a qualidade dos dados.

Um cálculo simples para o número estimado de incidentes que você tem a cada ano (tenha você os detectando ou não) pode ser feito dividindo o número de tabelas que você tem em seu ambiente por 15.

Você pode então multiplicar esse número pelo tempo médio de detecção e pelo tempo médio de resolução. Se você ainda não está capturando essas métricas, não se preocupe, você não está sozinho. 

Nossa pesquisa do setor revelou que a média do setor é de cerca de 4 horas e 9 horas, respectivamente. Sinta-se à vontade para usar ou ajustar essas estimativas com base na maturidade da qualidade dos dados da sua organização.

Parabéns, você acabou de calcular o tempo de inatividade de seus dados! Agora vamos calcular seu custo e, portanto, o valor de uma solução de observabilidade de dados.

A primeira parte do cálculo, custo da mão-de-obra, é relativamente simples. Como sabemos que os profissionais de qualidade de dados gastam cerca de 40% do seu tempo em práticas ineficientes de qualidade de dados, podemos usar esta fórmula:

Total de engenheiros de dados x 1.804 (horas médias de trabalho em um ano) x US$ 62 (salário médio) x 0,4

O custo operacional da má qualidade dos dados é um pouco mais difícil de quantificar. Um incidente de dados pode ser tão inofensivo quanto um painel quebrado que ninguém usa ou tão doloroso quanto relatar números incorretos a Wall Street.

Uma maneira de estimar isso é medir o risco geral. Se uma organização investe em sua equipe de dados para aumentar a eficiência geral em 10% (ou insira seu próprio valor aqui), então, para cada hora de inatividade de dados, podemos assumir que a produtividade da organização foi reduzida em 10%. A fórmula é então:

Tempo geral de inatividade de dados x% de redução na receita horária gerada.

 Clique aqui e nos contate via What's App para avaliarmos seus projetos 

Comente e compartilhe este artigo!

brazilsalesforceeffectiveness@gmail.com

Leia também:

  

  

  

Data Observability | Os Principais Recursos das Ferramentas de Observabilidade de Dados

Os critérios de avaliação podem ser complicados quando você nem mesmo tem uma resposta forte para a pergunta básica: “O que são Ferramentas de Observabilidade de Dados?”

Leia todos os tópicos:

• A Observabilidade de Dados é Essencial para o DataOps
• Por que a Observabilidade de Dados é Importante?
• Os Principais Recursos das Ferramentas de Observabilidade de Dados
• Observabilidade de Dados versus Testes de Dados
• Observabilidade de Dados versus Monitoramento de Pipeline de Dados
• Observabilidade de Dados versus Qualidade dos Dados
• Observabilidade de Dados versus Engenharia de Confiabilidade de Dados
• Qualidade dos Dados versus Confiabilidade dos Dados
• Sinais de que VOCÊ precisa de uma Plataforma de Observabilidade de Dados
• O Futuro da Observabilidade de Dados

Uma ótima plataforma de observabilidade de dados possui os seguintes recursos:

• Ele se conecta à sua pilha existente de forma rápida e perfeita e não requer modificação de seus pipelines de dados, gravação de novo código ou uso de uma linguagem de programação específica. Isso permite um rápido retorno do valor e máxima cobertura de testes sem a necessidade de fazer investimentos substanciais.

• Ele monitora seus dados em repouso e não requer a extração dos dados de onde estão armazenados atualmente. Isso permite que a solução de Observabilidade de Dados tenha desempenho, seja escalonável e econômica. Ele também garante que você atenda aos mais altos níveis de requisitos de segurança e conformidade.

• Requer configuração mínima e praticamente nenhuma configuração de limite. As ferramentas de Observabilidade de Dados devem usar modelos de aprendizado de máquina para aprender automaticamente seu ambiente e seus dados. Ele usa técnicas de detecção de anomalias para avisar quando algo quebra. Ele minimiza falsos positivos levando em consideração não apenas métricas individuais, mas também uma visão holística de seus dados e o impacto potencial de qualquer problema específico. Você não precisa gastar recursos configurando e mantendo regras barulhentas em sua plataforma de Observabilidade de Dados.

• Não requer mapeamento prévio do que precisa ser monitorado e de que forma. Ele ajuda a identificar recursos-chave, dependências-chave e invariantes-chave para que você obtenha ampla Observabilidade de Dados com pouco esforço.

• Ele fornece um contexto rico que permite triagem e solução de problemas rápidas, além de comunicação eficaz com as partes interessadas afetadas por problemas de confiabilidade de dados. As Ferramentas de Observabilidade de Dados não devem parar no “campo X da tabela Y tem valores inferiores a Z hoje”.

• Em primeiro lugar, evita que problemas aconteçam , expondo informações valiosas sobre ativos de dados para que alterações e modificações possam ser feitas de forma responsável e proativa.

 Clique aqui e nos contate via What's App para avaliarmos seus projetos 

Comente e compartilhe este artigo!

brazilsalesforceeffectiveness@gmail.com

Leia também:

  

  

  

Data Observability | Observabilidade de Dados versus Testes de Dados

Semelhante à forma como os engenheiros de software usam testes de unidade para identificar códigos com erros antes de serem enviados para produção, os engenheiros de dados geralmente aproveitam os Testes de Dados para detectar e evitar que possíveis problemas de qualidade dos dados se movam posteriormente.

 

Leia todos os tópicos:

• A Observabilidade de Dados é Essencial para o DataOps
• Por que a Observabilidade de Dados é Importante?
• Os Principais Recursos das Ferramentas de Observabilidade de Dados
• Observabilidade de Dados versus Testes de Dados
• Observabilidade de Dados versus Monitoramento de Pipeline de Dados
• Observabilidade de Dados versus Qualidade dos Dados
• Observabilidade de Dados versus Engenharia de Confiabilidade de Dados
• Qualidade dos Dados versus Confiabilidade dos Dados
• Sinais de que VOCÊ precisa de uma Plataforma de Observabilidade de Dados
• O Futuro da Observabilidade de Dados

Essa abordagem funcionou (na maior parte) até que as empresas começaram a ingerir tantos dados que um único ponto de falha simplesmente não era viável.

Encontrei inúmeras equipes de dados que enfrentam problemas consistentes de qualidade de dados, apesar de um regime de testes rigoroso. É desanimador e um mau uso do tempo de seus engenheiros.

A razão pela qual até mesmo os melhores processos de teste são insuficientes é porque existem dois tipos de problemas de qualidade de dados: aqueles que você pode prever ( incógnitas conhecidas ) e aqueles que você não pode ( incógnitas desconhecidas ). 

Algumas equipes terão centenas (!) de testes para cobrir a maioria das incógnitas conhecidas, mas não têm uma maneira eficaz de cobrir as incógnitas desconhecidas.

Alguns exemplos de incógnitas cobertas pela observabilidade de dados incluem: 

• Um painel ou relatório do Looker que não está sendo atualizado e os dados desatualizados passam despercebidos por vários meses – até que um executivo de negócios vai acessá-los no final do trimestre e percebe que os dados estão errados.
• Uma pequena alteração na base de código da sua organização que faz com que uma API pare de coletar dados que alimentam um campo crítico no painel do Tableau.
• Uma alteração acidental no seu esquema JSON que transforma 50.000 linhas em 500.000 durante a noite.
• Uma alteração não intencional acontece em seu ETL, ELT ou ETL reverso que faz com que alguns testes não sejam executados, levando a problemas de qualidade de dados que passam despercebidos por alguns dias.
• Um teste que faz parte dos seus pipelines há anos, mas que não foi atualizado recentemente para refletir a lógica de negócios atual.
• Em um artigo do Medium , Gilboa Reif, engenheiro de dados sênior do Vimeo, descreve como o uso de observabilidade de dados e monitores de dimensão em escala ajuda a resolver a lacuna de incógnitas que as ferramentas de código aberto e de transformação deixam em aberto.

Por exemplo, se a percentagem nula numa determinada coluna for anómala, isto pode ser um indicador de um problema mais profundo que é mais difícil de antecipar e testar.

O CTO da Choozle, Adam Woods, diz que a Observabilidade de Dados dá à sua equipe uma visão mais profunda do que o teste manual ou o monitoramento poderiam fornecer. 

Sem uma ferramenta de Observabilidade de Dados, poderíamos ter cobertura de monitoramento nas tabelas resultantes finais, mas isso pode esconder muitos problemas. Você pode não ver algo pertencente a uma pequena fração das dezenas de milhares de campanhas naquela tabela, mas o [cliente] que está executando essa campanha verá isso. Com a Observabilidade de Dados chegamos a um nível em que não precisamos fazer concessões. Podemos ter alertas em todas as nossas 3.500 mesas.

Resumindo, a observabilidade dos dados é diferente e mais eficaz do que os testes porque fornece cobertura ponta a ponta, é escalonável e possui linhagem que ajuda na análise de impacto.

 Clique aqui e nos contate via What's App para avaliarmos seus projetos 

Comente e compartilhe este artigo!

brazilsalesforceeffectiveness@gmail.com

Leia também: