Big Data: por que seu potencial é tão fantástico e tão assustador ao mesmo tempo

Autor convidado: Elcio Santos, CEO, AlwaysOn

Todo dia é gerado um Everest de dados. Você tem a opção de ser soterrado por eles ou escalá-los para conseguir superar os desafios que tem à frente.

Não estou exagerando.

O Instituto Gartner calculou em 2019 que eram gerados a cada dia 2,2 milhões de terabytes de dados.

Nesse ritmo, já ultrapassamos um total de 40 trilhões de gigabytes de dados acumulados em todo o mundo.

A boa notícia é que essa imensa quantidade de dados está disponível para você.

A má notícia, entretanto, é que apenas um pequeno volume dessa cordilheira de everests – o Big Data – é constituído por dados estruturados em algum data warehouse corporativo, que você pode acessar eficientemente para embasar suas decisões de negócio — principalmente se sua empresa pretende ser “customer-centric”.

A grande maioria são dados não estruturados, praticamente impossíveis de serem utilizados em seu estado bruto.

Para funcionar, é preciso acrescentar um novo termo nessa equação: Big Data Analytics

Big Data vs. Big Data Analytics

Como disse acima, o termo “Big Data” refere-se a um volume de dados que é tão grande, rápido ou complexo que é difícil senão impossível de processar, usando métodos tradicionais.

O ato de acessar e armazenar grandes quantidades de informações para análises existe há muito tempo, mas o conceito de Big Data ganhou impulso no início dos anos 2000, quando Doug Laney, analista do Gartner, deu contornos mais nítidos à definição de Big Data, na medida em que a articulou em torno de três dimensões, os cinco V’s:

Volume

As organizações coletam dados de uma variedade de fontes, incluindo transações comerciais, dispositivos inteligentes (IOT), equipamentos industriais, vídeos, mídias sociais e muito mais.

No passado, o armazenamento teria sido um problema – mas agora o armazenamento em datalake e Hadoop reduziram o problema.

Velocidade

Com o crescimento da Internet das Coisas, os fluxos de dados para empresas ganharam uma velocidade sem precedentes e devem ser tratadas em tempo hábil.

Tags, sensores e medidores inteligentes estão dirigindo a necessidade de lidar com essas torrentes de dados em tempo quase real.

Variedade

Os dados são em todos os tipos de formatos – de bancos de dados tradicionais a bancos de dados de texto não estruturados, e-mails, vídeos, áudios, dados de ticker e transações financeiras.

Com o passar do tempo, duas outras dimensões foram acrescentadas para ajudar os cientistas de dados a serem mais efetivos e comunicarem melhor as características do Big Data:

Variabilidade

Os fluxos de dados são imprevisíveis — mudando frequentemente e variando muito.

É desafiador, mas as empresas precisam saber quando algo está se tornando uma tendência nas mídias sociais e como gerenciar picos de carga de dados diários, sazonais e acionados por eventos.

Veracidade

Como os dados vêm de muitas fontes diferentes, é difícil vincular, combinar, limpar e transformar dados entre sistemas.

As empresas precisam conectar e correlacionar relacionamentos, hierarquias e múltiplas ligações de dados.

Caso contrário, seus dados podem sair rapidamente do controle.

Essa última dimensão é fundamental.

Sem garantir a qualidade dos dados (data quality), você ainda estará correndo o risco de ficar soterrado por essa montanha de dados – e isso pode afetar até mesmo a experiência do seu cliente (customer experience).

Aqui é onde entra o Big Data Analytics.

Continue a ler aqui