Delta Lake: Agora serĂĄ hospedado na Linux Foundation

Certamente, existem muitos benefĂ­cios em usar plataformas em nuvem para armazenamento de dados, mas existem algumas desvantagens. Por um lado, Ă© barato e conveniente, mas, por outro lado, nĂŁo Ă© tĂŁo organizado, especialmente se vocĂȘ estĂĄ acostumado a sistemas de gerenciamento de dados. Tais sistemas sĂŁo, por exemplo, bancos de dados.

Delta Lake

Esses sistemas foram projetados com suporte a transaçÔes e metadados. O que nĂŁo Ă© o caso do armazenamento em nuvem. Esses sĂŁo recursos essenciais se um usuĂĄrio estiver trabalhando com dados. É por isso que o Databricks, em 2017, fez o Delta Lake adicionar esses recursos ao armazenamento em nuvem.

Alguns meses atrås, o Delta Lake era de código aberto. Recentemente, a Linux Foundation, organização sem fins lucrativos, anunciou que sediarå o Delta Lake.

Matei Zaharia – co-fundador da Databricks e Ali Ghodsi – CEO da empresa, sĂŁo os criadores do projeto de cĂłdigo aberto Apache Spark. É um mecanismo de anĂĄlise unificado que se tornou o padrĂŁo para processamento de dados em larga escala. O Databricks continua sendo a força motriz por trĂĄs do desenvolvimento do projeto Apache Spark.

Essa estratĂ©gia de nĂșcleo aberto Ă© tĂ­pica para empresas que operam como projetos de cĂłdigo aberto e entidades comerciais. É uma maneira de equilibrar os benefĂ­cios do cĂłdigo aberto, com a necessidade de ser comercialmente viĂĄvel. No entanto, pode levar a efeitos colaterais nĂŁo intencionais.

A concorrĂȘncia dos fornecedores de nuvem forçou algumas empresas a oferecer produtos de cĂłdigo aberto para reagir. Em essĂȘncia, o que eles fizeram foi alterar as licenças de cĂłdigo aberto, para impedir que os fornecedores de nuvem tomassem o nĂșcleo do cĂłdigo aberto e ofereçam o serviço. Isso, Ă© claro, causou insatisfação entre muitos.

Delta Lake

Segundo Matei Zaharia, o Databricks estå tentando enviar uma mensagem para a comunidade. Por isso, eles escolheram a Linux Foundation como gerente da Delta Lake. Embora o Delta Lake fosse de código aberto hå apenas seis meses, os dados compartilhados por Databricks sugerem muita assimilação.

Desde o seu lançamento em outubro de 2017, o Delta Lake foi adotado por mais de 4.000 organizaçÔes e processa mais de dois exabytes de dados por mĂȘs.

A julgar pelos nĂșmeros anunciados pelo co-fundador da Databricks, a empresa tem trĂȘs vezes o crescimento de clientes e receita superior a 100 milhĂ”es de dĂłlares. Embora o Apache Spark nĂŁo seja a Ășnica plataforma de dados, a estratĂ©gia da Databricks parece fazer a diferença.