O que são Metadados?

Metadados são informações que descrevem os dados armazenados, mas vão além da simples estrutura. Eles fornecem contexto sobre os dados, como:

📌 Origem: De onde os dados vieram (ex.: sistema ERP, site, CRM).

📂 Formato: Como os dados estão armazenados (ex.: JSON, CSV, TXT).

📊 Estrutura: Detalhes sobre a organização dos dados (ex.: colunas, campos, tipos de dados).

📏 Propriedades: Tamanho do arquivo, data de criação, responsável pela ingestão.

✅ Qualidade: Informações sobre a confiabilidade dos dados (ex.: completude, precisão).

👥 Uso: Quem acessou os dados e para qual finalidade.

Metadados são usados para gerenciar, organizar e entender os dados em um ambiente como um Data Lake ou Data Warehouse.

O que é um Dicionário de Dados?

Um dicionário de dados é um documento ou recurso que descreve a estrutura dos dados em um banco de dados, tabela ou conjunto de dados. Ele foca principalmente em:

📌 Nomes dos Campos: Nomes das colunas ou atributos.

📂 Tipos de Dados: Tipo de cada campo (ex.: inteiro, texto, data).

📝 Descrição: Explicação do que cada campo representa.

⚠️ Restrições: Regras ou limitações (ex.: chave primária, valores únicos, obrigatoriedade).

O dicionário de dados é mais técnico e específico, voltado para quem precisa entender a estrutura dos dados para consultas, desenvolvimento ou integração.

Diferença entre Metadados e Dicionário de Dados

Escopo

Amplo: inclui origem, formato, propriedades, qualidade, uso, etc.

Restrito: foca na estrutura dos dados (nomes, tipos, descrições).

Objetivo

Contextualizar e gerenciar os dados.

Descrever a estrutura dos dados para uso técnico.

Exemplo de Uso

Saber que um arquivo JSON veio do site, foi ingerido em 2023 e tem 95% de completude.

Saber que a coluna "valor_venda" é do tipo float e representa o valor da venda.

Formato

Pode ser armazenado em JSON, XML, banco de dados ou ferramentas especializadas.

Geralmente é um documento (ex.: tabela, planilha) ou parte de um sistema.

Exemplo Prático para Ilustrar a Diferença

Vamos usar o mesmo cenário de Data Lake de vendas com dados de três origens:

🌐 WEBSITE: Arquivo JSON com logs de interações.

📊 CRM: Arquivo CSV com dados de clientes.

💰 ERP: Arquivo TXT com dados de transações de vendas.

📖 Dicionário de Dados

Aqui está um exemplo de como o dicionário de dados descreveria a estrutura dos dados do ERP (TXT):

id_venda

integer

Identificador único da venda.

Chave primária.

data_venda

string

Data da venda (formato YYYY-MM-DD).

Não pode ser nulo.

valor_venda

float

Valor total da venda.

Deve ser maior que 0.

id_cliente

integer

Identificador do cliente.

Relacionado ao CRM.

🗂 Metadados

Aqui está um exemplo de como os metadados descreveriam os dados do ERP (TXT):

{
  "fonte": "ERP",
  "formato": "TXT",
  "separador": ",",
  "estrutura": {
    "campos": [
      {"nome": "id_venda", "tipo": "integer", "descricao": "Identificador único da venda"},
      {"nome": "data_venda", "tipo": "string", "descricao": "Data da venda (formato YYYY-MM-DD)"},
      {"nome": "valor_venda", "tipo": "float", "descricao": "Valor total da venda"},
      {"nome": "id_cliente", "tipo": "integer", "descricao": "Identificador do cliente"}
    ]
  },
  "propriedades": {
    "tamanho_arquivo": "2MB",
    "data_ingestao": "2023-10-01",
    "responsavel": "Equipe de Vendas"
  },
  "qualidade": {
    "completude": "99%",
    "ultima_validacao": "2023-10-01"
  }
}

📌 Interpretação

✅ Dicionário de Dados:

Descreve a estrutura dos dados (nomes, tipos, descrições) de uma tabela ou conjunto de dados.
É mais técnico e voltado para quem precisa consultar ou manipular os dados.

✅ Metadados:

Descrevem tudo sobre os dados, incluindo origem, formato, propriedades, qualidade e uso.
São mais amplos e voltados para o gerenciamento e contextualização dos dados.

🔎 Resumo

📖 Dicionário de Dados: Foca na estrutura dos dados (nomes, tipos, descrições).

📂 Metadados: Incluem a estrutura, mas também contexto (origem, formato, qualidade, uso).

💡 Ambos são complementares: o dicionário de dados é parte dos metadados, mas os metadados vão além.