O que é
Este serviço trata da infraestrutura de armazenamento de dados: onde os dados da empresa ficam guardados e em que formato. "Big data" descreve volumes de dados grandes demais ou variados demais para uma planilha ou um banco tradicional; "data lake" é um repositório que guarda dados em formato bruto, de qualquer tipo, para uso futuro; "data warehouse" (DW) é um repositório mais estruturado, organizado para consultas e relatórios de negócio.
Na prática, o serviço é o desenho e a implementação de onde os dados vivem e como circulam entre sistemas, plataformas de mídia, CRM e outras fontes. É a camada que fica embaixo do BI, dos dashboards e da ciência de dados. Sem essa base bem desenhada, qualquer análise em cima fica limitada pelo formato e pela qualidade de onde os dados estão guardados.
Para quem faz sentido
Faz sentido para empresas com volume de dados que já não cabe confortavelmente em planilhas ou em um único banco simples, ou com dados vindos de muitas fontes diferentes que precisam ser combinados. Também faz sentido para empresas que pretendem usar ciência de dados ou modelos preditivos mais adiante, porque esses trabalhos dependem de acesso rápido a dados históricos organizados.
Empresas pequenas, com poucas fontes e volume modesto, costumam resolver sua necessidade com um banco de dados simples ou até planilhas bem estruturadas, sem precisar de um data lake ou data warehouse dedicado.
Quando contratar
O sinal mais claro é a dificuldade técnica: relatórios que demoram para carregar, sistemas que ficam lentos quando alguém tenta puxar um histórico grande, ou dados que precisam ser combinados manualmente porque vêm de fontes com formatos incompatíveis. Também vale contratar quando a empresa planeja um salto de maturidade analítica, por exemplo migrar de relatórios simples para ciência de dados ou modelagem preditiva, porque esses projetos futuros dependem de uma base de armazenamento adequada.
Não costuma ser o primeiro serviço a contratar: normalmente vem depois de a empresa já ter clareza de quais dados precisa guardar e por quanto tempo, definida em um trabalho de Estratégia e Gestão de Dados.
Vale considerar ainda que a decisão de arquitetura tende a ficar mais cara de reverter conforme o volume de dados cresce, então vale investir tempo na escolha inicial mesmo que isso pareça atrasar o início do projeto.
O que uma agência entrega
- Diagnóstico do volume, da variedade e da origem dos dados atuais
- Escolha da arquitetura adequada (data lake, data warehouse ou uma combinação dos dois) e da plataforma que a hospeda
- Desenho de como os dados entram, são organizados e ficam disponíveis para consulta
- Rotinas de ingestão e organização dos dados (em geral em conjunto com um trabalho de Engenharia de Dados)
- Definição de regras de acesso, retenção e segurança dos dados armazenados
- Documentação da arquitetura para times técnicos internos ou para quem vier a assumir o projeto depois
- Estimativa de custo de hospedagem conforme o volume de dados cresce, para evitar surpresa na fatura da infraestrutura
- Um plano de backup e recuperação para os dados armazenados
Como avaliar uma agência
Peça para a agência explicar, em termos simples, por que recomenda um data lake, um data warehouse ou os dois para o seu caso. A resposta deve estar ligada ao volume e ao uso que a empresa fará dos dados, não a uma preferência genérica de ferramenta. Pergunte também sobre custos de manutenção contínua da infraestrutura escolhida, porque esse tipo de estrutura costuma gerar custo recorrente de hospedagem, à parte do valor do projeto.
Avalie a experiência da equipe com segurança e controle de acesso, principalmente se os dados armazenados incluem informação de clientes, já que essa camada concentra dados sensíveis de toda a empresa.
Pergunte também qual plano de contingência existe para casos de indisponibilidade ou perda de dados, já que essa camada concentra informação de toda a empresa e uma falha ali afeta todos os projetos que dependem dela.
Peça uma estimativa de como o custo de hospedagem deve evoluir conforme o volume de dados cresce, não apenas o custo do projeto de implementação. É comum a fatura de infraestrutura surpreender meses depois de um data lake entrar em operação. Um sinal de alerta é a agência recomendar a arquitetura mais robusta e cara do mercado sem antes confirmar se o volume atual e o crescimento esperado realmente justificam esse porte.
Serviços relacionados
Perguntas frequentes
Minha empresa precisa de um data lake?
Só se o volume ou a variedade de dados já forem grandes o suficiente para dificultar o uso de planilhas ou bancos simples. Muitas empresas de porte pequeno ou médio ainda não chegaram nesse ponto.
Qual a diferença entre data lake e data warehouse?
O data lake guarda dados em formato bruto, de qualquer tipo, para uso futuro; o data warehouse guarda dados já organizados para consultas de negócio. Muitas empresas usam os dois juntos, com o data lake alimentando o data warehouse.
Esse serviço já entrega dashboards?
Não costuma incluir a camada visual. Ele entrega a estrutura de armazenamento; os dashboards e relatórios são construídos em cima dela, geralmente em outro serviço.
Existe um custo contínuo depois do projeto?
Sim, normalmente. A infraestrutura de armazenamento costuma ter custo de hospedagem que cresce com o volume de dados guardado, independentemente da agência contratada.