Um data lake, ou lago de dados, \u00e9 um reposit\u00f3rio centralizado para todos os nossos dados, onde \u00e9 poss\u00edvel armazenar tanto dados estruturados quanto n\u00e3o estruturados, com seus respectivos metadados, e que ficam dispon\u00edveis sob demanda a todo momento.<\/p>\n\n
O data lake comporta todos os tipos de arquivos, independentemente de sua origem, escala ou formato. Com isso, \u00e9 poss\u00edvel executar an\u00e1lises, visualiza\u00e7\u00f5es e processos de acordo com as necessidades espec\u00edficas da empresa.<\/p>\n\n
Embora n\u00e3o exista uma metodologia padr\u00e3o para criar um data lake, os seguintes passos devem ser considerados no processo:<\/p>\n\n
– Aquisi\u00e7\u00e3o de dados para processamento.<\/strong> Como ponto de partida, \u00e9 necess\u00e1rio obter os dados e metadados, preparando-os para a incorpora\u00e7\u00e3o ao data lake. \u00c9 fundamental identificar as fontes e os dados de maior valor para as tarefas nas quais ser\u00e3o aplicados.<\/p>\n\n – Curadoria de dados (data curation ou grooming).<\/strong> Em seguida, entram em a\u00e7\u00e3o os processos que transformam dados brutos em dados consum\u00edveis por aplicativos anal\u00edticos. Dessa forma, os dados passam a ter formatos interpret\u00e1veis e reconhec\u00edveis.<\/p>\n\n – Fornecer os dados.<\/strong> Com base na metainforma\u00e7\u00e3o dos dados, s\u00e3o executados processos que permitem o acesso \u00e0s informa\u00e7\u00f5es contidas no data lake conforme as pol\u00edticas estabelecidas. Isso impede o acesso a dados inadequados e garante que eles estejam prontos para serem usados corretamente.<\/p>\n\n – Preserva\u00e7\u00e3o dos dados<\/strong>. Por fim, entram em jogo os processos e pol\u00edticas que determinam quais dados devem ser mantidos e por quanto tempo. Isso tamb\u00e9m serve para garantir a disponibilidade das informa\u00e7\u00f5es e que o desempenho e os recursos necess\u00e1rios para acess\u00e1-las sejam sustent\u00e1veis.<\/p>\n\n Os principais benef\u00edcios do uso de um data lake s\u00e3o os seguintes:<\/p>\n\n Quando se trata de armazenar uma quantidade enorme de dados, \u00e9 comum associar o conceito de data lake ao de data warehouse (armaz\u00e9m de dados). O data warehouse \u00e9 composto basicamente pelos diferentes componentes do data lake cuja miss\u00e3o \u00e9 processar dados estruturados.<\/p>\n\n Ambos t\u00eam como foco o armazenamento de dados, mas existem algumas diferen\u00e7as:<\/p>\n\n – Acessibilidade.<\/strong> Um data lake oferece uma acessibilidade muito simples, enquanto em um data warehouse esse processo \u00e9 mais complexo.<\/p>\n\n – Armazenamento.<\/strong> O data lake tem um custo menor e \u00e9 escal\u00e1vel na nuvem, enquanto um data warehouse costuma ser mais caro.<\/p>\n\n – Esquema.<\/strong> Os data lakes baseiam-se em esquemas On-Read e os data warehouses em esquemas On-Write.<\/p>\n\n – Estrutura dos dados.<\/strong> O data warehouse coleta apenas dados j\u00e1 estruturados, enquanto o data lake recebe dados tanto estruturados quanto n\u00e3o estruturados.<\/p>\n\n – Finalidade dos dados.<\/strong> O uso dos dados deve estar sempre definido em um data warehouse, enquanto em um data lake isso nem sempre acontece.<\/p>\n\n – Flexibilidade.<\/strong> Em um data lake, \u00e9 mais f\u00e1cil fazer modifica\u00e7\u00f5es devido \u00e0 aus\u00eancia de estrutura, ao passo que em um data warehouse isso \u00e9 muito mais complicado.<\/p>\n\n – Usu\u00e1rios.<\/strong> Os dados em um data lake s\u00e3o manipulados por analistas; j\u00e1 em um data warehouse, qualquer usu\u00e1rio autorizado pode manipular os dados.<\/p>\n\n2. Vantagens de usar um data lake<\/h2>\n\n
\n
3. Data lake vs. Data warehouse<\/h2>\n\n
Artigos relacionados<\/h2>\n\n
\n