Nos tempos atuais, os avanços e tecnologias computacionais permitem organizar, analisar e, principalmente, guardar dados muito facilmente, com uma frequência extraordinária.
Desde os primórdios da computação, a humanidade gera uma quantidade massiva de dados, e o ritmo cresce freneticamente. Para você ter uma ideia, a humanidade dobra a quantidade de informação que cria a cada 3 anos! Até a década de 1950, esse ritmo era de 4 décadas e meia!
Imagine que, nos próximos anos, geladeiras, TVs, lavadoras, automóveis, simplesmente todos os eletrônicos deverão estar conectados à internet, gerando dados também. Esta nova fase chama-se ‘Internet das Coisas’, e está no início. Some a enorme quantidade de websites disponíveis para conseguir visualizar este panorama.
Tecnologias atuais permitem aumentar exponencialmente a quantidade de informações no mundo. Agora, empresas, governos e outras instituições precisam lidar com esta explosão de dados. O “Big Data” se propõe a ajudar nesta tarefa, uma vez que as ferramentas computacionais usadas até então para gestão de dados já não podem fazê-lo satisfatoriamente.
Além de lidar com volumes extremamente grandes de dados dos mais variados tipos, soluções de Big Data também precisam trabalhar com distribuição de processamento e elasticidade, isto é, suportar aplicações com volumes de dados que crescem substancialmente em pouco tempo.
O problema é que os bancos de dados convencionais, especialmente aqueles que exploram o modelo relacional, como o MySQL, o PostgreSQL e o Oracle, não se mostram adequados aos novos requisitos, já que são menos flexíveis.
Isso acontece porque bancos de dados relacionais normalmente se baseiam em quatro propriedades que tornam a sua adoção segura e eficiente, razão pela qual soluções do tipo são tão populares: Atomicidade, Consistência, Isolamento e Durabilidade.
Não é que bancos de dados relacionais tenham ficado ultrapassados, eles continuarão sendo úteis a uma série de aplicações por muito tempo, mas quanto maior um banco de dados se torna, mais custoso e trabalhoso ele fica. É preciso otimizar, acrescentar novos servidores, empregar mais especialistas em sua manutenção, etc.
Já existem novas tecnologias para bancos de dados e softwares para lidar com volumes extraordinários de dados.