O grande banco de dados, à sua frente, disponível

Para todos os profissionais de inteligência de mercado, não resta a menor dúvida de que a internet é o mais rico dos repositórios de dados. Dinâmica, enorme, variada, incontrolável…

Exatamente aí reside a questão principal: o conteúdo da internet é bastante difícil de ser tratado. Em vários clientes, observamos esforços hercúleos para coletar, padronizar e armazenar adequadamente dados captados na web.

Nos deparamos, por exemplo, com uma empresa que, ao recolher impostos em cada município onde prestava serviços, se viu em grandes problemas para atualizar alíquotas em função de mudanças de legislação. Freqüentemente a empresa vivenciava perdas de incentivos tributários porque não havia como captar, regularmente, dados da internet.

Recentemente, conversamos com um banco de varejo preocupado com a captação de taxas de serviços bancários e preços (leia-se juros) das principais linhas de produtos de seus concorrentes. Como a atualização desses dados se dá com alta freqüência e o número de serviços taxados pelos bancos é enorme, considerável investimento em termos de recursos humanos foi alocado à iniciativa. Será que há solução menos custosa?

Sim, e quando falamos em preço, tocamos em um dos tópicos de interesse prioritário, tanto de pessoas físicas como de empresas. Não é à toa que buscadores especializados em preços e comparações de produtos, como o MySimon nos Estados Unidos e o Buscapé no Brasil, foram uma das categorias de serviços que vieram para ficar, mesmo depois do estouro da bolha de IPOs americanos na virada do século. Analisando com frieza, esses buscadores conseguiram sucesso comercial a partir do uso da internet como um grande banco de dados. E, evidentemente, a entrega de seus serviços não se dá com um exército de funcionários que ficam percorrendo, dia e noite, os varejistas online…

A idéia dos buscadores de preços pode ser facilmente expandida para outras aplicações. Através de robôs especializados, que conseguem identificar características especiais das páginas da internet, um mecanismo automático de varredura e captura de dados pode ser agendado. Trata-se de um mecanismo não-invasivo, ou seja, totalmente legal, que simplesmente percorre de forma programada sites públicos, realizando, dentre outras tarefas: autenticações, preenchimentos de formulários, coletas de dados, transformações e padronizações, sincronizações de dados, atualizações automáticas e por aí vai.

Os benefícios são óbvios: coleta rápida e automatizada, de baixo custo; consolidação de dados de vários sites em um único banco de dados, facilitando todas as análises comparativas possíveis; e armazenamento de dados em formato comum. Do outro lado, um tema a pensar é sobre a infra-estrutura necessária tanto para armazenar essa massa de dados, quanto sobre os instrumentos necessários para análises adequadas. Nesse ínterim, já falamos de modelos preditivos em artigos anteriores. Outra possibilidade incrível está se desenvolvendo com muita força nesse momento nas tecnologias de análise visual ad-hoc. Precisaremos, em breve, tratar a questão de ciclo de vida da informação.

Você ainda deve estar se perguntando sobre os outros esforços internacionais para organização de intercâmbios de dados e aplicativos, tais como o padrão XML e os Web Services. Sim, são realmente instrumentos fantásticos e devem ser, dentro do possível, acoplados à operacionalização de seus esforços de inteligência de mercado, especialmente os de análise competitiva em tempo “quase-real”. Mãos a obra!

Leonardo Vieiralves Azevedo é presidente da WG Systems. E-mail: [email protected]