You are browsing the archive for Dados Abertos.

A Web dos Dados

Elza Maria Albuquerque - October 16, 2017 in Dados Abertos, Destaque

Por Thiago Ávila e Judson Bandeira* Conforme exploramos no artigo anterior, as perspectivas para a produção de dados nos próximos cinco anos (2020) é animadora e desafiadora. Se por um lado a oferta de dados digitais deverá crescer exponencialmente, por outro lado, um percentual significativo destes dados podem não ser úteis para coisa alguma. As arquiteturas tradicionais para armazenamento de dados, especialmente na era pré-internet, foram sendo estabelecidas para armazenar os dados, em arquivos, isolados do mundo externo, caracterizando verdadeiras ilhas de dados e informações. Decorrente deste modelo, inúmeros problemas surgiram, especialmente a redundância de dados, que por sinal é um problema existente até os dias de hoje. Ao longo dos anos, o armazenamento de dados evoluiu para a criação dos bancos de dados, e posteriormente modelos de agrupamento como os sistemas de bancos de dados distribuídos e as federações de bancos de dados[1]. Paralelamente, em meados de 1996, Tim Berners-Lee publicou o artigo “The World Wide Web: Past, Present and Future [2] que definiu as diretrizes da Web, como ela devia ser na época e como ela deveria ser no futuro. Já naquela época, há quase 20 anos, Berners-Lee estabeleceu que a Web deveria ser um espaço de compartilhamento de informações para que pessoas (e máquinas) possam se comunicar entre si. Complementarmente, ele previu a existência da interação entre pessoas e hipertextos intuitivos e legíveis por máquina. Entretanto, a Web que conhecemos hoje foi se estruturando a partir do hipertexto, conhecidas como páginas web, tendo como principal foco a apresentação de informações. Apesar de Tim Berners-Lee ter previsto a leitura dos dados por máquina, a Web atual é prioritariamente interpretada por humanos. A partir da Web, inúmeras possibilidades de produção de informações foram se desenvolvendo ao longo do tempo. Páginas HTML, sítios, portais, conteúdo multimídia, arquivos diversos e mais recentemente com a “era social”, os blogs, mídias sociais, dentre outros. Ou seja, a Web se tornou um espaço global de informações que cresce a cada dia. Com o volume de informações crescente, surgiram outros problemas relevantes relacionados à busca e recuperação de informações. Rapidamente, a capacidade humana de encontrar informações na Web ficou muito limitada evidenciando a preocupação de que a localização e recuperação de dados na web deveriam ser feita por máquinas, mas faltavam dados sobre as informações que fossem entendidas por máquinas. Estes dados são conhecidos como metadados. Ademais, a Web atual é sintática, cuja busca é feita prioritariamente por palavras-chave num grande número de páginas obtendo baixa precisão. Além disso, as páginas de integram e se “linkam” de forma pouco estruturada e de forma manual. Como resultado, nem todos os dados podem ser encontrados por meio dos mecanismos de busca tradicional na web, muito menos é possível se especificar consultas complexas sobre os dados que estejam presentes em várias páginas, como por exemplo, “Qual o nome completo de todos os capitães dos times de futebol vencedores de todas as Copas do Mundo?”. Ou seja, assim como no tempo dos arquivos, os dados na Web ainda vivem isolados uns dos outros. Felizmente, várias instituições e pesquisadores ao redor do mundo estão muito atentos a este paradoxo, dentre elas e especialmente o W3C – World Wide Web Consortium. O W3C tem como missão liderar a WWW para o uso máximo do seu potencial, desenvolvendo protocolos e guias que apoiem o desenvolvimento da Web em larga escala. Sua visão para a Web envolve a participação, compartilhamento de conhecimentos apoiando a construção de uma confiança em escala global. Esta visão estabelece ainda a existência de uma única Web (One Web), que adota princípios e padrões abertos. Não preciso explicar muito sobre qual relação à Web tem a ver com a grande oferta de dados em escala global, não é? Afinal, por onde trafegam a maioria destes bilhões e trilhões de dados distribuídos mundialmente? Buscando alcançar esta visão, o W3C vem trabalhando fortemente na construção de uma nova Web, que atenda aos princípios e padrões abertos e que vá muito além da Web que conhecemos composta prioritariamente por arquivos e páginas HTML. Esta nova Web, mais conectada e aberta está sendo denominada a “Web dos Dados”. Na “Web dos Dados”, estipula-se que os dados passem a ser facilmente localizáveis bem como sejam associados a elementos semânticos, como os vocabulários. Além disso, os dados passam a serem entendidos como recursos de dados e para tal, precisam de identificadores exclusivos que viabilizem o acesso específico para cada recurso. E ainda, a forma como os dados passam a se relacionar entre si muda dos tradicionais esquemas de tabelas e bancos de dados para um esquema de sujeito-objeto-predicado, conhecido como tripla, dentre outros avanços. Felizmente, apesar da problemática do artigo anterior, as perspectivas podem ser promissoras considerando todo este maravilhoso trabalho que vem sendo desenvolvido por inúmeros especialistas mundo a fora sob a coordenação do W3C. Nos próximos artigos, estaremos explorando ainda mais a Web dos Dados, buscando entender como ela está sendo estruturada, os novos conceitos e aplicações relevantes. Até a próxima!!! * Estes artigos contam são oriundos de pesquisas científicas desenvolvidas no Núcleo de Excelência em Tecnologias Sociais (NEES), do Instituto de Computação da Universidade Federal de Alagoas (UFAL) e contam com a contribuição direta dos pesquisadores Dr. Ig Ibert Bittencourt (UFAL), Dr. Seiji Isotani (USP), e Armando Barbosa, Danila Oliveira, Judson Bandeira, Thiago Ávila e Williams Alcântara (UFAL). [1] Ribeiro, Danusa; Lóscio, Bernadette; Souza, Damires (2011). Linked Data: da Web de Documentos para a Web de Dados. V ERCEMAPI – Escola de Computação Ceará, Maranhão e Piaui. Disponível em: http://pt.slideshare.net/danusarbc/linked-data-da-web-de-documentos-para-a-web-de-dados-10057267 [2] Berners-Lee, Tim (1996). The World Wide Web: Past, Present and Future. Disponível em:  http://www.w3.org/People/Berners-Lee/1996/ppf.html Texto publicado no site Thiago Ávila. Ele faz parte da série de artigos Dados abertos conectados.
Flattr this!

Índice de Dados Abertos vai ser apresentado em mais de 10 municípios brasileiros em 2018

Elza Maria Albuquerque - October 5, 2017 in Dados Abertos, índice de dados abertos

Elevador Lacerda, na cidade de Salvador (Bahia). Foto: joelfotos / Pixabay / Creative Commons.

  Em abril e maio deste ano, a Open Knowledge Brasil (OKBR) e a Diretoria de Análise de Políticas Públicas da FGV/DAPP lançaram as edições brasileiras do Open Data Index (ODI). Ao todo, foram construídos três levantamentos para o país: Open Data Index (ODI) Brasil, no nível nacional, e ODI São Paulo e ODI Rio de Janeiro, no nível municipal. O objetivo do Índice de Dados Abertos é avaliar o estado da política de dados abertos de cada país ou cidade, levando em consideração todas as suas características: o tipo de dado que é divulgado, os formatos, a facilidade de acesso e a transformação dos dados em informação. No dia 30 de junho, finalizamos a enquete “Você quer construir o Índice de Dados Abertos da sua cidade?” e o resultado foi bastante positivo: 216 pessoas mostraram interesse em fazer o levantamento de forma voluntária em suas cidades! O objetivo da ação foi mapear grupos de pessoas e organizações interessadas em realizar o levantamento Índice de Dados Abertos para ampliar a abrangência da pesquisa e, principalmente, conhecer melhor a situação das políticas de transparência e Dados Abertos em outros municípios brasileiros. O foco dessa mobilização é a divulgação dos dados para promover o aprimoramento institucional por meio do fomento à transparência na estrutura do Estado, tanto a partir da fiscalização da sociedade civil como por meio de melhorias implementadas pelos gestores no acesso e na qualidade das informações disponibilizadas. O levantamento oferece para a sociedade a possibilidade de utilizar os resultados para a formulação e o monitoramento de políticas públicas de transparência e dados abertos. Neste primeiro ciclo de descentralização e ampliação do ODI nas cidades brasileiras, vamos realizar uma experiência com dez municípios: Arapiraca/AL, Belo Horizonte/MG, Bonfim/RR, Brasília/DF, Natal/RN, Porto Alegre/RS, Salvador/BA, Teresina/PI, Uberlândia/MG, Vitória/ES. Os principais critérios de escolha desses locais foram: priorizar as cidades que são capitais, conseguir distribuição regional e perfis diferentes de municípios. O apoio da Open Knowledge Brasil e da FGV/DAPP não conta com recursos financeiros para a realização do levantamento e da construção do ODI nas cidades. Até o final do ano, será oferecida uma capacitação para os grupos locais, ministrada pela equipe do Open Data Index (FGV/DAPP – OKBR), para que possam realizar o levantamento necessário para a construção do Índice. Em 2018, serão lançados os resultados e, apresentados os relatórios com oportunidades concretas para os municípios avançarem na pauta da transparência e dos dados abertos. “O maior objetivo é que cada vez mais municípios priorizem e avancem no sentido de um governo mais aberto, com mais dados públicos abertos, mais transparência ativa, mais e melhores canais de participação e um combate constante à corrupção”, diz Ariel Kogan, codiretor da Open Knowledge Brasil.

Detalhes sobre o Índice de Dados Abertos

O índice avalia as seguintes dimensões: Resultados Eleitorais, Mapas da Cidade, Limites Administrativos, Escolas Públicas, Estatísticas Criminais, Orçamento Público, Leis em Vigor, Gastos Públicos, Estatísticas Socioeconômicas, Atividade Legislativa, Localizações, Concentração de Poluentes, Previsão do Tempo, Compras Públicas, Registro de Empresas, Transporte Público, Qualidade da Água e Propriedade da Terra. Ele oferece um parâmetro de referência sobre a capacidade dos governos de fornecer dados abertos, apresentando essa informação de forma clara, de fácil entendimento e usabilidade. O ODI é um projeto pioneiro na promoção da transparência nos municípios brasileiros, uma vez que o índice pode ser utilizado como ferramenta de avaliação e identificação de gargalos, para orientar os municípios em relação ao aprimoramento de suas políticas de dados abertos. A parceria entre OKBR e FGV/DAPP busca contribuir para que os municípios tenham ferramentas capazes de aumentar a eficácia de suas políticas de transparência e dados abertos e sua capacidade de resposta e diálogo com os cidadãos.
Flattr this!

Natália Mazotte é a nova codiretora da Open Knowledge Brasil

Elza Maria Albuquerque - October 5, 2017 in Dados Abertos, Destaque, Escola de Dados, Open Knowledge Brasil

Natália Mazotte. Foto: Álvaro Justen.

Desde setembro, a Open Knowledge Brasil conta com uma nova diretora-executiva. A jornalista Natália Mazotte, que já liderava o programa da Escola de Dados no Brasil, agora trabalha com Ariel Kogan, nomeado em julho de 2016 como diretor-executivo da organização. A decisão foi aprovada pelo conselho deliberativo no dia 29 de agosto deste ano, como parte de um planejamento organizacional que terá como meta ampliar as frentes de trabalho da Open Knowledge em pesquisa e capacitação para a produção e o uso de dados abertos no país. Natália Mazotte atua na interseção entre dados abertos, tecnologias cívicas e jornalismo desde 2010. Em 2012, participou dos esforços iniciais para criar o capítulo da Escola de Dados e consolidá-lo no Brasil. É cofundadora da Gênero e Número, organização que trabalha dados abertos para expor as assimetrias de gênero, e da primeira agência de jornalismo de dados do país, a J++. Tem mestrado em Comunicação e Cultura pela UFRJ e foi pesquisadora no MediaLab da UFRJ, com experiência em análise de redes sociais e métodos digitais. Como diretora, ela vai desempenhar um papel fundamental no desenvolvimento e aperfeiçoamento de projetos da Open Knowledge. “Existe um enorme potencial para avançarmos com a agenda de dados abertos no país. Especialmente se olharmos para os problemas que podemos resolver com eles, para a abertura como um meio, e não como um fim”, afirma. “Vou concentrar meus esforços em gerar mais conhecimento sobre o impacto da produção e do uso de dados, e continuar dedicando meu trabalho ao florescimento do nosso principal programa de capacitação, a Escola de Dados.” Ariel Kogan pontua que a codireção já havia sido proposta para Natália antes mesmo dele assumir o cargo como diretor-executivo da organização. “Na prática, a Natália já vinha desempenhando um papel de direção, na área de capacitação, mas era importante formalizar com o conselho. Para a organização, a entrada dela representa inovação e mais um passo na consolidação da Open Knowledge Brasil como referência em debates e questões ligadas ao universo dos dados digitais, suas aplicações e implicações. Ao mesmo tempo, traz o desafio de construir projetos e modelos novos”, destaca.
Flattr this!

OKBR é tema de estudo sobre fundações de código aberto e inovação social

Elza Maria Albuquerque - October 2, 2017 in Dados Abertos, Destaque, Open Knowledge Brasil

Uma visualização da rede da mailing list da Open Knowledge*. Imagem: CC BY SA.

Como as pessoas inicialmente se reúnem para criar um projeto on-line? Por que elas escolhem as licenças livres? Como o grupo se organiza quando está crescendo? Qual é o modelo econômico dessas organizações? Essas são as principais questões do artigo “Fundações de código aberto como inovadoras sociais em economias emergentes: o estudo de caso no Brasil”, do Clément Bert-Erboul, especialista em sociologia econômica, e do professor Nicholas Vonortas. A pesquisa, focada na dinâmica das organizações, tem a Open Knowledge Brasil (OKBR) como objeto de estudo. A intenção deles é apresentar o trabalho sobre inovação social na conferência Globelics, em outubro, e depois submeter para uma revista internacional. Segundo Clément, o Brasil tem uma história especial de propriedade intelectual. Por isso ele tem interesse particular neste país. “Eu fiz o meu doutorado sobre as redes sociais de comunidades livres na França (Sésamath, Videolan e OWNI) para entender como as licenças gratuitas são usadas em diferentes profissões. Agora, minha pesquisa no Brasil me permite fazer um estudo sobre outros tipos de comunidades e fazer uma análise mais geral para tentar uma comparação internacional”, diz. Entre 2010 e 2014, no Departamento de Sociologia da Universidade de Lille 1, Clément fez doutorado sobre o impacto das instituições sobre as redes sociais da Internet. Desde 2016, Clément é pós-doutorando no Departamento de Política Científica e Tecnológica (DPCT) da UNICAMP. “Tenho uma bolsa de estudos pós-doc da FAPESP para trabalhar em redes de conhecimento e propriedade intelectual até outubro de 2018. No DPCT, eu trabalho com a equipe INSYSPO focada em políticas científicas de inovação. Tenho interesse em estudar comunidades como a OKBR ou análise de scientometrics da plataforma Lattes, por exemplo. Também trabalho no DPCT com Luis Ignacio Reyes Galindo no acesso aberto de revistas científicas e Gil Vicente sobre o bio hacking”, disse. Confira, abaixo, a conversa que tivemos com Clément sobre seu estudo: OKBR: Por qual motivo veio para o Brasil? Clément: O Brasil tem uma história especial de propriedade intelectual. Por isso, eu tenho interesse particular neste país. Eu fiz o meu doutorado sobre as redes sociais de comunidades livres na França (Sésamath, Videolan e OWNI) para entender como em diferentes profissões, as licenças gratuitas são usadas. Agora, minha pesquisa no Brasil me permite fazer campo sobre outros tipos de comunidades e fazer uma análise mais geral para tentar uma comparação internacional. OKBR: Por que escolheu a OKBR como objeto de pesquisa? Clément: Minha pesquisa na França era sobre profissões diferentes, como professores, jornalistas e engenheiros de informação. Quero ver como diferentes tipos de organizações que não são de informática usam a licença aberta. A OKBR é um bom exemplo dessa difusão em diferentes atividades que se chama processo de institucionalização. É possível analisar diferentes tipos de contribuições como os acadêmicos, os ativistas das ONGs, os membros do OKBR, empresas ou contribuidores individuais. OKBR: Desde quando você se interessa pelos temas que a Open Knowledge aborda? Clément: Estou trabalhando em dados livres desde o final da minha pós-graduação. Grande parte do meu trabalho foi na comunidade Sésamath. Na França, esse grupo produziu manuais escolares e software para matemática em colégios secundários. O modelo econômico dessa organização tem a particularidade de vender manuais em papel e distribuir gratuitamente o mesmo conteúdo online. OKBR: Quais são os desafios da sua pesquisa? Clément: O desafio mais importante da minha pesquisa é buscar dados qualitativos e quantitativos. Eu desejo comparar minhas análises de rede com entrevistas de contribuidores. Hoje as tecnologias mudam. As tecnologias de comunicação das comunidades viram proprietárias com o Facebook, o WhatsApp etc. Este fenômeno está excluindo os pesquisadores públicos no exterior dos campos numéricos. Em seguida, eu trabalhei com arquivos de listas com endereços de e-mails públicos, mas agora essas tecnologias não estão sendo mais usadas. Acho que esse fenômeno vai ser um problema para marcar e registrar a história das comunidades online que a base de minha pesquisa possibilitou. OKBR: Quais são os destaques? Clément: Os arquivos das listas de discussões da OKBR têm muita informação para tornar a rede social dos colaboradores e analisar as diferentes organizações que participam das discussões. É possível estudar muito bem o processo de institucionalização de comunidades. OKBR: Pelas suas pesquisas, o que sugere para aprimorar o trabalho e aumentar o impacto da Open Knowledge Brasil? Clément: O resultado principal do artigo é que a institucionalização comunitária tende a reduzir a diversidade das origens institucionais dos contribuintes. Isso poderia ser um problema para o turn-over de sua comunidade. Para resumir nossos resultados, podemos dizer que existem dois tipos de inovadores sociais em código aberto: insiders e outsiders. Em primeiro lugar, os insiders estão envolvidos em um processo de baixo para cima e usando uma instituição dedicada para realizar suas ideias em colaboração com uma organização estruturada em uma área geográfica restrita. Em segundo lugar, os outsiders participam de longe com diferentes organizações e trabalham em instituições na periferia dos campos de código aberto, como as universidades. Eles têm a possibilidade de engajar processos de inovação de alto e baixo nível, sem uma forte participação de comunidades locais abertas. Essas categorias podem ser identificadas em uma rede social, e sua gestão específica deve melhorar a inovação, visando atores-chave, geralmente ignorados devido ao seu baixo envolvimento a priori em um layout núcleo / periferia. Esses resultados podem significar, pelo menos, duas coisas que não são contraditórias. Primeiro, os acadêmicos e as empresas representam inovadores sociais independentes – específicos em comparação com as organizações sem fins lucrativos envolvidas em cidades específicas. Em segundo lugar, as comunidades acadêmicas e de empresas estão muito dispersas tanto no nível nacional quanto no nível internacional. Para uma investigação futura, a avaliação desses grupos não pode ser feita em apenas uma monografia, mas múltiplas investigações de campo. *Explicação sobre a imagem da matéria:  A imagem foi feita com dados do arquivo da mailing list da Open Knowledge Brasil durante o ano de 2014. As cores representam as pessoas que se envolvem no mesmos tópicos (é um cálculo estatístico). O tamanho é calculado com o número de contatos que os indivíduos têm. A posição no layout é definida pelo número de contatos. Quanto mais um indivíduo tiver contatos, mais ele/ela estará no centro. A rede mostra um núcleo muito ativo e algumas pessoas externas se envolvendo em tópicos específicos.
Flattr this!

O que faremos com os 40 trilhões de gigabytes de dados disponíveis em 2020?

Elza Maria Albuquerque - September 29, 2017 in Big Data, Dados Abertos, Inovação

Foto de um homem negro segurando um celular nas mãos. Ele é negro, usa óculos e tem a cabeça raspada.

Pessoa segura e olha para um celular. Foto: Pixabay / Creative Commons CC0.

Por Thiago Ávila* Com o crescimento da web e o uso massivo de tecnologias da informação, a quantidade de dados gerados e disponibilizados tem crescido exponencialmente. Neste contexto, é estabelecido um ciclo virtuoso de oferta e demanda, pois o aumento da necessidade de dados e informações impulsiona o desenvolvimento das Tecnologias da Informação e da Comunicação (TICs) e consequentemente, a evolução da capacidade e do volume de ferramentas tecnológicas viabilizou este crescimento expressivo da produção de dados e informações. Cumpre destacar que na atual dinâmica mundial, essa demanda por informações passa a se diversificar, seja pela sua rapidez na sua atualização, na sua distribuição geográfica ou ainda, em áreas do conhecimento que ainda apresentem carências na produção de informações a seu respeito. Este tema passa a ganhar maior relevância quando se é observado os prognósticos referentes ao volume de dados que serão produzidos nas próximas décadas. O estudo “A Universe of Opportunities and Challenges”, desenvolvido pela consultoria EMC [1], aponta que de 2006 a 2010, o volume de dados digitais gerados cresceu de 166 Exabytes para 988 Exabytes. Conforme a figura 1, existe a perspectiva que o volume de dados alcance a casa dos 40.000 Exabytes, ou 40 Zettabytes (ou 40 trilhões de Gigabytes).

Figura 1 – Estimativa de crescimento do volume de dados digitais de 2010 a 2020 [2].

Este mesmo estudo apresenta outros dados relevantes. Até 2020, a perspectiva que o volume de investimentos no ecossistema digital cresça em 40% em todo o mundo e, no mesmo período, o custo do investimento por gigabyte entre 2012 e 2020 deve cair de $ 2,00 para $0,20. Ademais, a tendência é de forte descentralização da economia digital no mundo, onde os países emergentes devem responder por 62% do market share. E o que poderemos fazer com toda essa oferta de dados que não param de crescer? Um importante estudo da consultoria McKinsey, denominado “Big Data: The Next Frontier For Innovation, Competition And Productivity”[2] aponta diversos potenciais para o uso massivo de grandes volumes dados na economia global, atualmente conhecido como Big Data. Segundo o estudo, existem cinco grandes maneiras em que usando dados grandes podem criar valor. Primeiro, o Big Data pode ajudar a descobrir um valor significativo nas bases de dados mediante a geração de informação transparente e utilizável em maior frequência. Em segundo lugar, as organizações poderão cada vez mais, criar e armazenar dados transacionais em formato digital, e obter informações muito mais precisas e detalhadas sobre diversas áreas, por exemplo, equilibrando seus estoques com as perspectivas de venda dos próximos meses ou semanas e com isto melhorar o seu desempenho. Em terceiro lugar, Big Data permite o aprimoramento da relação com os clientes, viabilizando uma extração e segmentação cada vez maior do perfil dos clientes de uma empresa. Em quarto lugar, análises sofisticadas pode melhorar substancialmente a tomada de decisões. E ainda, Big Data pode ser utilizado para melhorar e criar uma nova geração de produtos e serviços. Por exemplo, os fabricantes estão usando dados obtidos de sensores incorporados em produtos para criar pós-venda ofertas de serviços inovadores, como a manutenção proativa (medidas preventivas que se realizam antes de ocorrer uma falha sequer são notados). A Mckinsey prevê ainda que o Big Data poderá apoiar novas ondas de crescimento da produtividade, estimando um potencial de ampliação das margens operacionais na casa dos 60%. Ademais, o estudo prevê que o Big Data se tornará um dos diferenciais para o crescimento das empresas e diferenciação junto à concorrência. Diante de tais fatos, as empresas estão considerando o uso de grandes bases de dados cada vez mais a sério. No campo governamental, especialmente em estudos sobre dados abertos governamentais, como o guia para abertura de dados do Chile[3], outros benefícios da oferta de dados são identificados como:
  • Melhorar a eficiência da gestão pública e a qualidade das políticas públicas;
  • Agregar valor às informações e decisões governamentais;
  • Fomentar a inovação mediante a utilização de dados abertos no desenvolvimento de aplicações e serviços inovadores;
  • Promover o crescimento econômico através de informações ofertadas de forma massiva, permanente e confiável, a ser utilizada ou transformada para a criação de novos negócios e melhoria dos serviços de governo.
Tudo bem. As perspectivas da economia digital e da oferta de dados são muito promissoras, mas existem problemas relevantes a serem considerados, como:
  • Poderá haver uma escassez de talentos necessários para que as organizações possam aproveitar o potencial do Big Data. Em 2018, somente nos Estados Unidos da América, está previsto um gap de 140 a 190 mil profissionais com habilidades para análise de grandes bases de dados diante da demanda existente, e na camada gerencial, a previsão é que o gap seja de cerca de 1,5 milhões de gestores e analistas com o know-how necessário para usar o Big Data como subsídio para a tomada de decisão eficaz; [2]
  • Algumas questões devem ser superadas para capturar o potencial do Big Data, como o estabelecimento de políticas para tratamento da privacidade, segurança da informação e propriedade intelectual, bem como a reorganização dos fluxos produtivos para incorporar este novo ativo [2];
  • Para a tomada de decisão eficaz, as empresas poderão organizar não apenas as suas informações, mas também consumir cada vez mais as informações de terceiros (como fornecedores, governo, etc.) o que vai resultar em um esforço ainda maior para a melhoria da oferta de dados considerando o caráter cada vez mais descentralizado destes recursos de dados [2];
  • No que tange a Dados Abertos Governamentais, em 2012, já existiam cerca de 115 catálogos de dados governamentais disponíveis, ofertando cerca de 710.000 conjuntos de dados [4]. Atualmente, em 2015, segundo o DataPortals.org, existem 417 catálogos de dados governamentais abertos disponíveis em todos os continentes, o que comprova a rápida ascensão e distribuição geográfica desta oferta de dados;
  • Segundo a IBM[5], 80% dos dados produzidos nas empresas são desestruturados, ou seja, requerem um esforço muito maior para ser aproveitado para subsidiar a tomada de decisão, e certamente, parte destes dados não serão úteis para tal finalidade;
  • Quanto ao potencial de uso dos dados digitais do mundo, o estudo da EMC aponta um dado preocupante: em 2012, apenas 23% da informação digital do mundo é útil para gerar novas informações e conhecimento e apoiar a tomada de decisão no âmbito do Big Data, e deste total, apenas 3% destas informações são úteis para uso imediato (os demais 20% ainda precisam ser tratados para estar aptas ao uso) [1];
  • No cenário tecnológico atual, o volume de dados aptos a serem explorados para tomada de decisão (valor analítico) deve alcançar apenas 33% do volume total de 40 Zettabytes [1].
Em resumo, nas perspectivas atuais, 67% da oferta de dados em 2020 poderão ser inúteis para reuso e apoio à construção do conhecimento e subsidiar a tomada de decisão. Essa oferta de dados estará cada vez mais distribuída ao redor do globo. Ou seja, poderemos fazer muita coisa com estes 40 trilhões de terabytes ou simplesmente NADA. Dependerá muito dos nossos esforços para melhorar a qualidade desta oferta de dados, tratando os pré-requisitos para a obtenção de valor a partir do seu uso, como descrito brevemente neste artigo. Nos próximos artigos, exploraremos questões relevantes sobre os dados na economia digital, apresentando tendências e ações que estão sendo desenvolvidas no âmbito global para melhorar a oferta de dados na web e consequentemente explorar todo o seu potencial para a melhoria da ação governamental, empresarial, acadêmica, dentre outros. Até a próxima.
Thiago Ávila é conselheiro consultivo da Open Knowledge Brasil. * Estes artigos contam são oriundos de pesquisas científicas desenvolvidas no Núcleo de Excelência em Tecnologias Sociais (NEES), do Instituto de Computação da Universidade Federal de Alagoas (UFAL) e contam com a contribuição direta dos pesquisadores Dr. Ig Ibert Bittencourt (UFAL), Dr. Seiji Isotani (USP), e Armando Barbosa, Danila Oliveira, Judson Bandeira, Thiago Ávila e Williams Alcântara (UFAL). [1] Gantz, John and Reinsel. (2012). David. The Digital Universe In 2020: Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East. EMC Corporation. Acesso em: jul. 2015. Disponível em: http://www.emc.com/collateral/analyst-reports/idc-the-digital-universe-in-2020.pdf [2] Manyika, James; Chui, Michael; Brown, Brad; Bughin, Jacques; Dobbs, Richard; Roxburgh, Charles & Byers, Angela Hung. (2011). Big data: The Next Frontier For Innovation, Competition, And Productivity. McKinsey Global Institute. Disponível em: http://www.mckinsey.com/insights/business_technology/big_data_the_next_frontier_for_innovation. Acesso em: jul. 2015 [3] Norma Técnica para Publicación de Datos Abiertos en Chile (2013). Gobierno de Chile. Unidad de Modernización y Gobierno Digital. Disponível em: http://instituciones.gobiernoabierto.cl/NormaTecnicaPublicacionDatosChile_v2-1.pdf. Acesso em: maio. 2015. [4] Hendler, James and Holm, Jeanne and Musialek, Chris and Thomas, George. (2012). US Government Linked Open Data: Semantic.data.gov. IEEE Intelligent Systems, p. 25-31, vol. 27. doi: 10.1109/MIS.2012.27. [5] IBM. (n.d).Apply New Analytics Tools To Reveal New Opportunities. IBM. Acesso em: jul. 2015. Disponível em: http://www.ibm.com/smarterplanet/us/en/business_analytics/article/it_business_intelligence.html Texto publicado no site Thiago Ávila. Ele faz parte da série de artigos Dados abertos conectados.
Flattr this!

Dados com menos atrito

Elza Maria Albuquerque - September 17, 2017 in Dados Abertos

Texto traduzido e adaptado de frictionlessdata.io/about/ Uma tradução do “about” do novo projeto da OK International, Frictionless Data. Somos da comunidade de dados abertos e transparência. Nos colocamos dos dois lados: de quem publica os dados e de quem os consome. O atrito ou “fricção” ocorre quando os consumidores gastam tempo e recursos demais apenas para poder entender e trabalhar com os dados. Os consumidores de dados abertos merecem mais respeito e a chance de interpretar com precisão (sem custo adicional) os dados fornecidos. Do lado de quem produz, o atrito se refere à dificuldade de encontrar consensos sobre, por exemplo, quais nomes usar nas colunas de uma planilha, ou quais padrões utilizar para descrever os tipos de dados permitidos em cada coluna. Até a decisão sobre qual formato de documento adotar: os consensos da nossa comunidade são transformados em padrões, e ao adotarmos padrões consensuais estamos garantindo, para ambos os lados, a redução do atrito.

Nossa Visão

O objetivo da iniciativa “Frictionless Data” é remover o atrito no trabalho com dados. Para alcançar esse objetivo, estamos desenvolvendo uma série de ferramentas, padrões, e boas práticas para a publicação de dados. Central à noção de dados sem atrito está o padrão de Pacote de Dados , um formato de contentorização para qualquer tipo de dado, com base em práticas existentes de publicação de software open-source. A partir do nosso trabalho no desenvolvimento e implementação do CKAN e do aprendizado sobre os vários fluxos de publicação de dados, percebemos que existe muito atrito no trabalho com dados. Estes atritos que queremos remover — na aquisição, compartilhamento, e validação dos dados — impedem as pessoas de extrair benefício verdadeiro da multitude de dados sendo abertos todos os dias. Isso mata o ciclo procurar/melhorar/compartilhar que torna o ecossistema de dados dinâmico e produtivo. Providenciamos, em apenas uma camada, uma estrutura de transporte de dados básica que reduz significantemente o atrito no compartilhamento e integração de dados, que apoia a automação, e os faz de maneira a não impor mudanças drásticas nos dados subjacentes sendo empacotados. Focamos não só em dados tabulares, mas também qualquer outro tipo de dados que possa ser “empacotado”. A natureza simples e leve desse empacotamento torna fácil sua adoção por publicadores, por usuários de dados e por criadores de ferramentas. Temos trabalhado nestes e outros problemas similares por quase uma década, e desta vez pensamos que chegou a hora de dados sem atrito. Ajude-nos a chegar lá.

“Conteinerização” de dados

Vemos nossa abordagem como análoga aos esforços de padronização no transporte de bens físicos. Historicamente, o carregamento de bens em um navio de carga era um processo lento, manual, e caro. A solução encontrada para estes problemas veio na forma da conteinerização, o desenvolvimento de diversos padrões ISO especificando as dimensões dos containers usados em transporte internacional. Com a consequente automação de vários elementos da cadeia de transporte, a conteinerização reduziu dramaticamente o custo e tempo requeridos para o transporte de bens. Atualmente o transporte de dados entre ferramentas pode ser considerado comparável ao transporte de bens físicos na era pré-conteinerização. Hoje em dia, antes que se consiga começar de fato uma análise dos seus dados ou criar um aplicativo que faz uso intensivo de dados, é necessário extrair, limpar, e preparar os dados: procedimentos que são lentos, manuais, e caros. Melhoras radicais na logística de dados —através de especialização e padronização — pode nos levar a um mundo onde gastamos menos tempo ordenando e limpando dados e mais tempo criando conhecimento útil.

Princípios

1. Foco: Concentrar em uma parte do fluxo de dados, um aspecto específico (e.g. empacotamento), e em tipos específicos de dados (e.g. tabulares). 2. Orientação à Web: Construir para a web, usando formatos que funcionam naturalmente com HTTP, tal como JSON, um formato de troca de dados comumente usado por APIs de web, e CSV, que é facilmente usado em transmissões em tempo real (streaming). 3. Distribuição: Projetar com a visão de um ecossistema distribuído sem centralização, sem ponto único de falha, nem dependência. 4. Abertura: Criar de maneira que qualquer pessoa possa usar e reusar a criação livremente e abertamente, em uma comunidade que é aberta a todos. 5. Criação com ferramentas existentes: Integrar com ferramentas existentes assim como projetando para uso direto — por exemplo, quando uma integração usando um Pacote de Dados Tabulares não está disponível, use um formato CSV. 6. Simplicidade: Manter os formatos e metadados simples e leves, de maneira que sejam fáceis de aprender e de usar, não fazendo mais do que o necessário no cumprimento dos seus objetivos. Flattr this!

Olhe o problema e meça o impacto: principais achados no encontro da comunidade latino-americana de dados abertos

Elza Maria Albuquerque - September 1, 2017 in Dados Abertos, Destaque, Open Knowledge Brasil

Por Natália Mazzote* De 22 e 25 de agosto a comunidade latino-americana de dados abertos se reuniu na Costa Rica em seus principais eventos regionais, Abrelatam e Condatos de 2017. Dos muitos debates que aconteceram entre atores da sociedade civil, governo, academia e entidades privadas que marcaram presença, um se destacou: o avanço na agenda de dados abertos depende da capacidade de gerarmos e medirmos seu impacto na solução de problemas reais. Dados não são um fim em si mesmo e a comunidade ¨abredatera” tem entendido e defendido essa visão. Na Abrelatam, a desconferência que começa com a construção de uma agenda colaborativa, foram tantos post-its perguntando “por que estamos aqui?”, “qual o propósito da abertura de dados?”, “a quem estamos servindo?” que os facilitadores abriram uma sessão intitulada “questões existenciais em dados abertos”. Claro que não se ignora o fato de que dados abertos são um bem público e uma necessidade para Estados Democráticos, ampliando a transparência e a possibilidade de participação e controle social nas instituições que nos governam. Mas, em última instância, desejamos governos mais abertos porque eles possibilitam avaliações de políticas públicas baseadas em evidências e dados, e isso contribui para melhorias nos serviços oferecidos à cidadania, resolução de problemas coletivos e promoção de inovação social. Portanto, o ponto-chave dos questionamentos é: estariam os dados abertos produzindo o impacto esperado, ou seja, de fato melhorando a vida das pessoas? Uma das falas mais inspiradoras durante a Condatos, na hospitaleira San José, foi a da Beth Novack, cofundadora do think-tank americano The Gov Lab. E a frase que mais resume sua apresentação é: “Don’t tell me how many datasets you opened, tell me how many lives you improved and problems solved” (não me diga quantas bases de dados você abriu, me diga quantas vidas melhorou e quantos problemas resolveu).

Beth Novack durante o evento. Foto: Natália Mazzote / Open Knowledge Brasil.

Novack trouxe exemplos de projetos de impacto com dados, que têm a colaboração na raiz da abertura de dados, e destaco dois: o Network of Innovators e o Smarter Crowdsourcing for Zika. O primeiro é uma rede de compartilhamento de habilidades que permite que inovadores governamentais e cívicos avaliem as capacidades internas de resolução de problemas públicos. O segundo busca gerar soluções inovadoras no setor público para lidar com epidemias causadas por mosquitos, como Zika e dengue. Também conheci projetos de impacto com uso de dados apresentados na noite de #DatosyChilinguiros, promovida pelos sempre animados parceiros da Social Tic e Escuela de Datos. Dónde reciclo, do DataUY, é um app cívico que visualiza como e onde reciclar resíduos em Montevidéu. La tierra esclava, do ElDiario.es e ElFaro.net, é uma série de investigações jornalísticas guiadas por dados que mostram o fluxo da comercialização de monoculturas em países como Guatemala, Colômbia e Brasil. Iniciativas que envolvem inteligência coletiva, uso de dados em aplicativos cívicos ou no jornalismo investigativo. Todos voltados a entender melhor ou resolver problemas complexos das nossas sociedades. E desenvolvidos por públicos muito específicos: pesquisadores, jornalistas, inovadores do setor público e do setor privado. Quem está, no fim das contas, colocando a mão na massa para usar dados abertos. Entre chilinguiros e bons debates, essas foram algumas das lições tiradas da troca em San José, na edição que celebrou o 5o ano de Abrelatam e Condatos. Não menos importante, vale registrar o bordão que marcou o evento: Abre la data, mae! O próximo destino da comunidade “abredatera” latino-americana será Buenos Aires, junto com outros atores globais que estarão na International Open Data Conference (IODC) no ano que vem. *Natália Mazzote é codiretora da Open Knowledge Brasil e coordenadora da Escola de Dados. Ela representou a OKBR no evento. Flattr this!

OKBR participa da AbreLatam e da ConDatos na Costa Rica

Elza Maria Albuquerque - August 23, 2017 in abrelatam, condatos, Dados Abertos, Evento

Estaremos em San José, na Costa Rica, nos dias 23, 24 e 25 de agosto, para participar da AbreLatam e da ConDatos, eventos anuais que se tornaram o principal ponto de encontro sobre dados abertos na América Latina e no Caribe. É um momento de diálogo sobre o status e o impacto do tema em toda a região. Natália Mazotte, coordenadora da Escola de Dados, vai representar a Open Knowledge Brasil. No dia 24/08, quinta-feira, ela vai participar do painel “A voz da cidadania: a demanda de dados” (La voz de la ciudadanía: la demanda de datos – nome original), às 14h. A AbreLatam, uma desconferência sem agenda prévia, começou nesta quarta-feira, 23 de agosto. Todos os participantes têm oportunidades iguais de falar sobre temas relacionados à abertura de dados em vários campos, como governo aberto, serviços públicos, privacidade, direitos humanos, participação cidadã, aspectos técnicos e mais. A ConDatos, conferência que acontece logo em seguida, nos dias 24 e 25 de agosto, reúne especialistas de instituições públicas, setor privado e sociedade civil para apresentar, discutir e propor avanços na política de dados abertos, governo aberto, inovação cívica, desafios públicos, privacidade e novas formas de trabalhar com dados abertos. Durante o evento, a Open Knowledge Brasil vai apresentar os resultados de um dos seus principais projetos recentes, a edição brasileira do Open Data Index, além de ter a oportunidade de aprofundar o contato com a comunidade latino-americana de dados abertos e buscar sinergias para ações regionais. Flattr this!

Confira última aula do curso online sobre dados abertos e orçamento público

Elza Maria Albuquerque - August 10, 2017 in capacitação, curso, curso online, Dados Abertos, Destaque, Gastos Abertos, OpenSpending

  A última aula do curso de Capacitação do Projeto Gastos Abertos aconteceu na quarta-feira (02/08), via YouTube, com o seguinte tema: “Como fazer upload de CSVs no OpenSpending Next”. O foco foi ensinar os participantes a utilizarem a plataforma do OpenSpending Next compreendendo mapeamento completo dos CSVs e construção de visualizações. A primeira aula, sobre a Lei de Acesso à Informação e suas premissas; O que são formatos abertos; O que é o formato CSV e como utilizá-lo, e a segunda aula, sobre Openspending Next e Para Onde Foi o Meu Dinheiro, estão disponíveis online. O objetivo das três aulas foi capacitar, principalmente técnicos do poder público, em relação ao controle social, leis de transparência e acesso à informação, dados abertos, como disponibilizá-los e também como utilizar as ferramentas já criadas pela Open Knowledge Internacional. Os responsáveis pela capacitação foram Lucas Ansei, desenvolvedor de software pelo AppCívico e um dos responsáveis pelo projeto Gastos Abertos, e Thiago Rondon, coordenador do projeto Gastos Abertos, criador do AppCívico e conselheiro da Open Knowledge Brasil. Lucas foi quem facilitou as três aulas. Confira, abaixo, o vídeo da terceira aula do curso de Capacitação do Gastos Abertos: Flattr this!

Gastos Abertos divulga relatório do primeiro ciclo do game com líderes regionais

Elza Maria Albuquerque - July 28, 2017 in Dados Abertos, Destaque, Gastos Abertos, orçamento aberto, poder público

Após seis meses de jornada, o Gastos Abertos fechou o primeiro ciclo do game com líderes regionais. Com objetivo de documentar o que foi construído e a experiência de desenvolver uma tecnologia social nova, a iniciativa lançou o relatório “Primeiro Ciclo do Gastos Abertos 2016-2017”. “Assim, registramos os aprendizados e fortalecemos o propósito da OKBR em relação ao conhecimento aberto”, disse Thiago Rondon, um dos coordenadores do Gastos Abertos. Ao todo, pessoas de 60 cidades brasileiras participaram do processo. O documento conta detalhes sobre o primeiro ciclo, como os desafios enfrentados, apresenta a metodologia aberta, os resultados e aprendizados. Um dos pontos positivos apontado pelo relatório foi o interesse e o compromisso de muitos cidadãos em mudar a realidade de suas cidades com o uso de dados e que a tecnologia precisa estar acessível a eles. Segundo Thiago, o primeiro ciclo foi de muito aprendizado. “Focamos na metodologia e escutamos muito os líderes para buscar uma maneira de construir um ciclo de atividades que possa ter mais impacto como dinâmica, e que ela possa ser recorrente. Agora, nosso foco é usar essa experiência no próximo ciclo para implementar um chatbot no Facebook que possa acompanhar e dar apoio aos líderes nas missões”, contou. Abaixo, escolha o melhor formato para você visualizar o relatório “Primeiro Ciclo do Gastos Abertos 2016-2017”: 

Feedback

< p>Para Márcia Aparecida Reis, líder regional do Gastos Abertos e moradora da cidade de Três Corações (MG), a jornada foi de grande aprendizado. “O projeto é fantástico e extremamente importante para o controle social. Uma sociedade informada deixa de ser formada apenas por eleitores. Eles se tornam, além de eleitores, fiscais do seu próprio imposto. Espero poder contribuir em outros projetos do Gastos Abertos”, disse. Um dos grandes destaques da iniciativa aconteceu em maio deste ano. O Prefeito de Balneário Camboriú (SC), Fabrício Oliveira, assinou a Carta Compromisso de Transparência do Gastos Abertos. O responsável pela articulação da iniciativa foi Gabriel Pimentel, líder local voluntário da Open Knowledge Brasil. A ação faz parte da terceira missão do ciclo 1 do Gastos Abertos. “Não imaginei que iria aprender tanto. O Projeto me mostrou que combinar a tecnologia com o serviço público é um dos caminhos que podemos apostar na melhoria da qualidade de vida da sociedade. Dados abertos mais do que informarem quanto e para onde os recursos estão indo, eles são ótima fonte de indicadores e diagnóstico da situação do município. Foi muito gratificante para mim, saber que estou contribuindo para a melhora das estruturas cívicas da cidade”, conta Gabriel.

Depoimento

Confira, abaixo, o relato completo da Márcia Aparecida Reis, líder regional do Gastos Abertos, moradora da cidade de Três Corações (MG). Conheci o Gastos Abertos via Facebook. Logo em seguida, fiz a minha inscrição com muita facilidade. Iniciamos a primeira missão informando como era o portal da transparência em nosso município. Já na segunda missão, naveguei pelo Portal da Transparência da Prefeitura de Três Corações e detectei o que não estava sendo lançado nele. Assim, foi gerado um pedido de informação juntamente com a Prefeitura. Foi muito fácil gerar o pedido. Porém, não foi possível efetuá-lo pelo Portal. Por isso, fui ao Gabinete do Prefeito e protocolei o pedido. Recebemos retorno após 19 dias. Infelizmente, já na terceira missão, não tive sucesso. Era para que o Prefeito assinasse a Carta Compromisso – mesmo esclarecendo todo o trabalho realizado e a importância da Carta Compromisso, o mesmo me disse que não queria saber de transparência. Fato que me frustrou bastante. Porém, não podemos desistir. Finalizando a quarta missão, pontuei os servidores do Controle Interno que cooperaram com o nosso trabalho e colocaram o portal da transparência para funcionar – apesar disso, há cerca de 15 dias todos foram exonerados! Lamentável! Dessa experiência, consegui apresentar o projeto ao Centro de Apoio Operacional das Promotorias de Justiça de Defesa do Patrimônio Público de Minas Gerais (CAOPP), que está analisando a possibilidade de desenvolvermos uma campanha com o Ministério Público de Minas Gerais (MPMG). Também apresentei o Projeto ao Ministro do Tribunal de Contas da União João Augusto Ribeiro Nardes. Agora aguardo a data de disponibilidade do mesmo para que venha a Três Corações para um evento sobre Governança e Fiscalização. Além disso, fui convidada pela Sra. Patrícia Coordenadora da Ouvidoria do Tribunal de Contas de Minas Gerais a apresentar o trabalho que nós realizamos. É possível que o TCE-MG abrace a nossa causa. A reunião está agendada para o início de agosto/2017 na sede deles. Como líder regional do Gastos Abertos, espero captar mais voluntários para nossa próxima fase. O Projeto é fantástico e extremamente importante para o controle social. Uma sociedade informada deixa de ser formada apenas por eleitores. Eles se tornam, além de eleitores, fiscais do seu próprio imposto. Espero poder contribuir em outros projetos do Gastos Abertos. Agradeço a agilidade, seriedade, transparência, comprometimento e dedicação por parte dos diretores Ariel, Lucas e Thiago. Quanto aos webinários, eles foram fundamentais para interagirmos com outros líderes do Brasil. A criação do grupo no WhatsApp também foi muito bom. Assim, nós pudemos trocar experiências uns com os outros quando havia alguma dúvida. Em relação à Carta Compromisso, informo que não desisti. Vou insistir até que o Prefeito e os vereadores assinem. Obrigada! Márcia Aparecida Reis Líder Regional – Gastos Abertos Flattr this!