城市系列:短評台北市智慧城市委員會

OKFN Taiwan - July 6, 2015 in Comment, Featured

19281640218_d7699559ba_k

日前在台北市智慧城市委員會的發言脈絡,簡單重新把想法整理。

1. 我們先從題目開始,「智慧城市」就是 Urban 掛(都市規劃)對上 ICT 掛(資通訊),而 ICT 掛又可以拉出來一個目前流行的 Internet 等後面一大掛的輕量級選手。

2. 會議會有如此精采的討論(這很難得!),在於市府目前想法多以 urban 為主軸,但這也無可厚非。幾個本地城市發展,本來就是 urban 的資源、權力、位階和生態圈比較豐富,這也反應在政務官的背景。ICT 想從「智慧」切下去,對到 urban 習慣的作法,本來就不好切的很全面。切的很快、很全面,而且直接與市民相關的,似乎走到最後都有點問題(如 Wifly)。但對 urban 比較有用(如管線資訊中心)的 ICT 部分,又不是直接面對城市的居民(或網民),很難被 appreciate,啟動的靜摩擦力也會很大。這部份還有類似 BIM 這樣的東西,我個人不覺得一般的台灣 ICT 甚至 Internet 業者會關注這一塊。

3. 不過 ICT/Internet 在 Urban/Renovation 所服務的場域(例如想要轉型的城市),可能服務的人口很快的就會比 urban 還多。這就是我說的網路人口紅利的概念 [a] [b]。台北市在這一個部分應該是很明顯紅利的。但看看各局處的編制,交通大隊有多少人,資訊局有多少人。這兩邊所處理事情的面貌以及要服務的對象,我不覺得後者會比前者少。但從編制來看,很顯然資訊單位就很辛苦了。

4. 「交通」剛好是現場列席相關局處內比較奇特的,不完全是 urban,但受到 urban 影響很大。也不能說完全是 ICT,但卻有 ICT 能夠大為發展的空間,交通不能再傻傻的土法煉鋼啊。

5. ICT/Internet 和 urban 發展所強調的「空間」和「地域」,在台灣好像不是很落的下來(潮詞叫做公共服務的 O2O)。簡單一點來說,例如一個地域的議題拋出來,有意見的可能都不是跟這地域議題切身的利益相關者(如住民、通勤人口等),所以 ICT/Internet 這種本身就極具有超地域特性的領域,要轉換到能透過 urban 強力所主導的軸線然後發展一些作法(如實證場域),很容易走的見樹不見林。

6. 所以專案辦公室 (PMO) 的組成就至關重要,這部分是 hold 不 hold 的住的關鍵,也是轉換上面(雲端)到下面(城市、場域),或是轉換權力結構的下面(網民?群眾智慧)到上面(都市計畫)的關鍵機制。

7. 這部份我就沒提了,和台北市遇到同樣問題的城市,在東亞可能不少。問題多的地方,解法可能也要很多。問題多的地方而且人口數量很大的地方,解法要很能 scale。社會問題多的地方、人口有一定數量,而且網路社會發達的城市,怎麼孵出「智慧」的解決方案,這是同樣樣貌的城市(東亞、南亞、中南美?)都會有興趣的。當然也有一些是來自於網路社會發達,但人口數量不高的城市,這對台北市合不合用,PMO 可能要多看多讀多接觸一些實際在那個城市的人。

[a] http://blog.schee.info/2014/12/13/net-demographic-dividend/
[b] http://blog.schee.info/2014/12/31/growth-strategy-demographic-dividend-taipei/

作者:TH Schee

Analyzing regional data: Data Expedition in Costa Rica

Camila Salazar - July 6, 2015 in Data Expeditions, Event report, fellowship

 

2.947 civil servants will be elected next year in Costa Rica, during the upcoming municipal elections. But, are the citizens aware of what’s going on in every district? Do they know the main issues their district is facing or the way the budget been spent?

To answer these questions Abriendo Datos Costa Rica, School of Data and Social Tic organized a Data Expedition in Costa Rica. As a result 57 people from civil society (journalists, analysts, programers, designers,…) worked in teams during eight hours with the data.

The database that was used in the expedition can be accessed here. We built it with data from the Supreme Electoral Tribunal, the National Institute of Statistics and the General Contoller of Finances.

What did the participants find?

The participants worked in ten different groups and each one tried to answer one specific question.  This were some of the findings:

  • One of the teams thought as an exercise: If we were to allocate money to elderly population in poverty, in which districts we would invest it? Analyzing the data, they concluded that in 17% of the districts a tenth of the pIMG_2906opulation was elderly people in poverty. This was a good example of how to use data to make informed decisions.
  • Another group asked: Which are the best districts to live in if you are a woman? The participants classified the districts according to their gender gap index and found that the ones with more gender inequality had a female occupation rate two times lower that the districts with less gender inequality.
  • One team found that the district with more electoral participation in local elections had one of the worst budget spending. Why isn’t the local government spending on its population?
  • Some other teams analyzed the districts with more disabled people or with more usage of technology.

 

During the activity the team of facilitators tried to explain the difference between correlation and causation, which was one of the most common mistakes the attendants were making when analyzing the data.

exp6

For this training we provided a database ready to use to the participants. But in the future it might be interesting to show them where where can they find public databases and more datasets to enrich their analysis.

Overall the best part of the experience was to see so many people interested in learning about how to use data, working in teams and answering questions that affect their daily lives. As Julio Cortés, one of the participants, said, the idea behind these activities is to help building a more informed society. So, we’ll definitely be planning new activities in the next months to encourage the usage of open data!

More pictures of the event here.

Flattr this!

كيفية اختيار الرسم البياني المناسب

Amr Eleraqi - July 4, 2015 in Aware, charts, datavis, graphs

طريقة تصميم الخرائط الشجرية باستخدام Google Drive

Amr Eleraqi - July 4, 2015 in DataViz, tools, treemaps

Opendata.ch/2015: DANKE

murielstaub - July 2, 2015 in Bern, event, National

IMG_0402

Bild: CC-BY-SA Ernie Deane

Gerne nutzen wir die Gelegenheit und wollen Danke sagen. Danke an all unsere Sponsoren, welche die gestrige Konferenz möglich gemacht haben. Weiter bedanken wir uns von ganzem Herzen bei allen Vortragenden und Workshopleiter/innen sowie bei allen Teilnehmenden. Wir sind überwältigt, dass ihr so zahlreich erschienen und trotz sonnig und warmem Wetter bis ganz am Ende geblieben seid.

Wir veröffentlichen hier im Verlaufe der kommenden Tage immer wieder neue Inhalte in Bezug auf die Konfrenz. Einen Anfang machen wir mit den Folien der Keynote-Speaker, die wir soeben auf Speakerdeck geladen haben und euch nun auf unserem Kanal zur Verfügung stehen.

French open data connection: drinks & chat with Cédric Lombion

Michaela Rybičková - July 2, 2015 in data visualisation, Featured, Meetup, okfn, Open Data, open data meetup, open knowledge France, otevřená data, School of Data, Události

Cédric Lombion from Open Knowledge France, is coming to Prague with and aim to do an international research about the state of open data. His plan is to meet public project managers and discuss the problems they face when creating open data policies.  And he’s very keen to meetup with Prague’s open data community – developers, datajournalists, students and data geeks of all sorts! Cedric also works as community manager at School of Data, in which he also participates as a trainer with focus on data visualisation.

If you’re interested in exchanging experience with a French peer or just catch up with the latest turns of events with #opendatacz, join us! It’s vacation season, so it will be an informal gathering with no set agenda. Everyone can bring a topic or idea to the table. And test various kinds of beers from small local breweries :)

When: Wed 15th of July, 7pm
Where: Pivo a párek, Korunní 105 (map)
Please register so that we can reserve you a seat: http://bit.ly/1HzjMLp

Just Released: “Where Does Europe’s Money Go? A Guide to EU Budget Data Sources”

Jonathan Gray - July 2, 2015 in Data Journalism, eu, European Union, Featured, financial transparency, Follow the Money, open budget data, Open Fiscal Data, Open Knowledge, Open Spending, Policy, research, Where Does My Money Go

The EU has committed to spending €959,988 billion between 2014 and 2020. This money is disbursed through over 80 funds and programmes that are managed by over 100 different authorities. Where does this money come from? How is it allocated? And how is it spent?

Today we are delighted to announce the release of “Where Does Europe’s Money Go? A Guide to EU Budget Data Sources”, which aims to help civil society groups, journalists and others to navigate the vast landscape of documents and datasets in order to “follow the money” in the EU. The guide also suggests steps that institutions should take in order to enable greater democratic oversight of EU public finances. It was undertaken by Open Knowledge with support from the Adessium Foundation.

Where Does Europe's Money Go?

As we have seen from projects like Farm Subsidy and journalistic collaborations around the EU Structural Funds it can be very difficult and time-consuming to put together all of the different pieces needed to understand flows of EU money.

Groups of journalists on these projects have spent many months requesting, scraping, cleaning and assembling data to get an overview of just a handful of the many different funds and programmes through which EU money is spent. The analysis of this data has led to many dozens of news stories, and in some cases even criminal investigations.

Better data, documentation, advocacy and journalism around EU public money is vital to addressing the “democratic deficit” in EU fiscal policy. To this end, we make the following recommendations to EU institutions and civil society organisations:

  1. Establish a single central point of reference for data and documents about EU revenue, budgeting and expenditure and ensure all the information is up to date at this domain (e.g. at a website such as ec.europa.eu/budget). At the same time, ensure all EU budget data are available from the EU open data portal as open data.
  2. Create an open dataset with key details about each EU fund, including name of the fund, heading, policy, type of management, implementing authorities, link to information on beneficiaries, link to legal basis in Eur-Lex and link to regulation in Eur-Lex.
  3. Extend the Financial Transparency System to all EU funds by integrating or federating detailed data expenditures from Members States, non-EU Members and international organisations. Data on beneficiaries should include, when relevant, a unique European identifier of company, and when the project is co-financed, the exact amount of EU funding received and the total amount of the project.
  4. Clarify and harmonise the legal framework regarding transparency rules for the beneficiaries of EU funds.
  5. Support and strengthen funding for civil society groups and journalists working on EU public finances.
  6. Conduct a more detailed assessment of beneficiary data availability for all EU funds and for all implementing authorities – e.g., through a dedicated “open data audit”.
  7. Build a stronger central base of evidence about the uses and users of EU fiscal data – including data projects, investigative journalism projects and data users in the media and civil society.

Our intention is that the material in this report will become a living resource that we can continue to expand and update. If you have any comments or suggestions, we’d love to hear from you.

If you are interested in learning more about Open Knowledge’s other initiatives around open data and financial transparency you can explore the Where Does My Money Go? project, the OpenSpending project, read our other previous guides and reports or join the Follow the Money network.

Where Does Europe’s Money Go - A Guide to EU Budget Data Sources

Asamblea de socios 2015

maestro - July 2, 2015 in okfn spain

De momento no sabemos la ubicación con certeza, pero la idea es que sea en Zaragoza el próximo 5 de Septiembre Sábado.

Si no eres socio te podrás hacer allí mismo (la cuota es de 25€ al año) o en este enlace y siempre podrás participar en las actividades paralelas.

Utiliza este formulario para sugerir temas para la asamblea de socios o para actividades paralelas

[contact-form]

إستخراج البيانات من صفحات الإنترنت

alirebaie - July 2, 2015 in Learn, tools

ما هو المقصود من التجريف؟

وفقا للمعني في المعجم فهي تشير الي الازالة (على سبيل المثال الطبقة الخارجية) من السطح عن طريق ضربات قوية بأداة خشنه أو حادة بينما تجريف الويب يشار اليه في الويكيبيديا كبرنامج كمبيوتر يقوم باستخراج المعلومات من شبكات الإنترنت. تجريف شبكة الإنترنت هو عملية جمع المعلومات من الشبكة العالمية تلقائيا من أجل تقليل الحاجة للبحث اليدوي وتقليل عمليات النسخ واللصق من المواقع.

وبالتالي فان التجريف يصف الطريقه التي يتم بها استخراج البيانات المخفية في الوثائق – مثل صفحات الويب وملفات بي دي إف وجعلها صالحة للاستخدام لإضافة المزيد من المعالجة عليها. ويعتبر التحقيق في البيانات من المهارات الأكثر فائدة اذا تم العمل بها – وهي ليست صعبة بشكل خاص في أغلب الاحيان. وللقيام بأبسط سبل التجريف فأنك لا تحتاج حتى إلى معرفة كيفية كتابة التعليمات البرمجية

 مقدمه مختصرة الي لغة الإتش تي إم إل

ان معرفه بنية موقع على شبكة الانترنت هو الخطوة الأولى نحو استخراج واستخدام البيانات. ولهذا السبب من المفيد أن تتعلم القليل عن لغة الإتش تي إم إل

ان الحصول على البيانات من المواقع قد تبدو معقدة قليلا في البداية – ولكن اطمئن فبمجرد قيامك بها عدة مرات سوف تصبح متشابهة. ولاستخراج البيانات من المواقع نحن بحاجة إلى القاء نظرة خاطفة علي كود الإتش تي إم إل الأساسي. لا تقلق لا تحتاج لفهم كل التفاصيل منه فقط ما يجعلك قادرا على القيام بذلك

الإتش تي إم إل هي اختصار للغة توصيف النص التشعبي وهي اللغة المستخدمة لوصف (علامات الترميز) صفحات الويب. وهي اللغة الأساسيه لانتشاء محتوى صفحه الويب. الإتش تي إم إل  نفسها لا تحدد الطريقة التي تبدو عليها الأمور – فهي تساعد فقط في تصنيف المحتوى والهيكل. لذلك دعونا نلقي نظرة خاطفة على بعض المواقع

قم بفتح موقع يحتوي علي قائمه بكل نواب برلمان المملكة المتحدة بمتصفح جوجل كروم

http://www.parliament.uk/mps-lords-and-offices/mps/

انتقل لأسفل إلى قائمة النواب

انقر بزر الفارة الأيمن على أحد الإدخالات

حدد

Inspect Element

سوف يقوم الكروم بفتح مساحه ثانوية في أسفل الصفحه ليظهر الكود الاساسي للأتش تي إم إل والذي يركز علي العنصر الذي قمت باختياره

الاقواس المدببه هي وسوم  الإتش تي إم إل

قم بتحريك الفارة الي أعلي والي أسفل ولاحظ كيف يمكن للكروم تعريف كل عنصر

يمكنك توسيع وطي قطاعات معينة من خلال النقر على المثلثات

هل لاحظت شيئا ما ؟ كل صف في القائمة الطويلة للنواب هو ضمن قطاع واحد من <tr></tr> حيث تشير <tr> الي صف من الجدول

الاسماء والدوائر في وسوم <td></td>حيث تشير td  الي جدول البيانات اي أننا نتعامل هنا مع جدول

اذا قمت بتمرير الفارة الي أعلي القائمه ستلاحظ  عنصر <table> يتبعه عنصر <tbody> نعم انه جدول الإتش تي إم إل مناسب

تفضل وقم بالاكتشاف !

 الإتش تي إم إل ليست لغزا. إذا كنت ترغب في معرفه المزيد عنها وكيفية انشاء صفحات الويب باستخدامها – قم بزيارة هذا الموقع لقراءة مقدمة بسيطة عنه

School of Webcraft

متصفحات ويب أخري

للقيام بنفس الشيء في المتصفحات الويب الأخرى جرب الطرق التالية.

فايرفوكس Firefox : قم بتثبيت وتنصيب الفاير باج Firebug  (http://getfirebug.com/)

Safari: Preferences > Advanced > Show Develop Menu > Show Web Inspector

ثبت مستكشف للانترنت 7 ( Internet Explorer 7): قم بتثبيت شريط الادوات المطور

عناصر اللإتش تي إم إل

ويتم تحديد العناصر من خلال “وسم”  اسمائها  وقد تحتوي علي نصوص داخلية و “attributes” (named properties): <tag attribute=”value”>text</tag>

الوثيقة بأكملها <tag attribute=”value”>text</tag><html> –

  • <body> – الجزء المقروء من صفحة الويب
  • <table> – إطار عنصر الجدول
  • <tr> – صف في الجدول
  • <td> – خلية من المحتويات داخل الصف
  • <th> – خلية رأس الجدول داخل الصف

استخراج جدول من صفحة ويب باستخدام جداول بيانات جوجل

دعونا نحفظ البيانات المتوفرة لدينا في جدول بيانات – حتى نتمكن من استخدامها فيما بعد. ويتم ذلك بطريقه سهله عن طريق معادلة خاصة في جداول البيانات جوجل.

معادلة جداول بيانات جوجل:

=importHTML(“”,”table”,N)

سوف تقوم بتجريف جدول من صفحة ويب الإتش تي إم إل الي جدول بيانات جوجل. يحتاج عنوان المسار لصفحة الويب المطلوبة وعنصر الجدول المطلوب على حد سواء أن يكونا في علامات اقتباس مزدوجة. العدد N يحدد الجدول N’th في الصفحة (يبدأ العد من 1) كما في الجدول المطلوب لتجريف البيانات.

اقرأ المزيد عن: استخراج جداول الإتش تي إم إل وتحويلها الي جدول بيانات جوجل.

  1. اذهب الي موقع http://drive.google.com وقم بالتسجيل وإنشاء جدول بيانات جديد
  2. حرر الخليه A1 (الخليه بأعلي اليسار)
  3. استخرج جدول محافظات مصر باللغة العربيةhttp://ar.wikipedia.org/wiki/مصر
  4. ادخل المعادله التاليه داخل الخليه

=ImportHTML(“http://ar.wikipedia.org/wiki/مصر”, “table”, 1)

(العدد الاخير يشير إلى عدد الجداول في الوثيقة قم بتجربتها واختبارها والعثور على المتطابق  …)

  1. اضغط زر ادخال
  2. انتظر لبرهة وسوف تري الجدول يظهر بطريقه سحريه
  1. انتظر ليس هذا هو الجدول الذي توقعناه أليس كذلك ؟ يرجع ذلك لأن هناك جداول متعددة في الصفحة وتقوم مستندات ووثائق جوجل باختيار المستند الاول (الرقم1 في نهاية المعادله هو من اعطي الامر بذلك). – ببساطة قم بتغييره إلى 2 أو 3 حتى تحصل على الجدول الصحيح. (تذكر أننا نحاول الحصول على جدول المحافظات المصرية)
  1. بعد تجربة أرقام جدول مختلفة يمكنك معرفة أن الجدول الذي نحاول البحث عنه هو رقم الجدول. وبشكل سحري  يظهر جدول البيانات التي نحتاجها في جدول البيانات وقد تم سحبها مباشرة من صفحة ويكيبيديا. ملحوظ هامه أرقام الجدول ليست واضحة دائما – ابدأ بالرقم 1 وقم بزيادة عدد الجدول حتى تحصل على الارقام الصحيحة.
  2. تهانينا : لقد قمت بتجريف أولي مجموعة البيانات الخاص بك!

تجريف المواقع باستخدام ملحق تجريف للكروم

متى يجب أن اتعلم التجريف؟

هناك عدد من الاسباب

إذا كان عليك استخراج البيانات بانتظام وحيث يوجد العديد من الجداول في صفحة واحدة

إذا تم نشر المعلومات التي تبحث عنها عبر العديد من الصفحات

إذا كنت ترغب في تشغيل المجرفه بانتظام – مثل اذا كان يتم نشر المعلومات كل أسبوع أو شهر

كنت تبحث عن بعض الاشياء مثل تنبيهات البريد الإلكتروني إذا كانت المعلومات على تتغير علي صفحة ويب معينة

….واذا كنت لا تريد أن تدفع لشخص آخر للقيام بذلك نيابة عنك!

ملخص

تغطي هذه الدورة تجريف شبكة الإنترنت وكيفية استخراج البيانات من المواقع. وتتمثل المهمة الرئيسية للتجريف في تحويل البيانات التي الشبه منظمة الي بيانات مهيكلة وجعلها صالحة للاستعمال بسهولة للإضفاء المزيد من المعالجة عليها. علي الرغم أنها مهمة بسيطة نسبيا مع معرفه بسيطة للبرمجة – لصفحات الويب الاحاديه-  أو بدون ادني خبرة الإطلاق. لقد قدمنا ​​= importHTML ملحق التجريف لتلبية الاحتياجات الخاصة بك في التجريف.

لمعرفة المزيد اقرأ

Scraping for Journalism: A Guide for Collecting Data: ProPublica Guides

Scraping for Journalists (ebook): Paul Bradshaw

Scrape the Web: Strategies for programming websites that don’t expect it : Talk from PyCon

An Introduction to Compassionate Screen Scraping: Will Larson

 دليل : استخراج البيانات من داخل ملفات البي دي إف

يمكن لملفات بي دي إف أن تكون في جميع الصور والأشكال – إذا كنت تستعرض ملف بي دي إف منسق علي نحو جيد و لم يتم مسحه ضوئيا فاعطي تابولا  الفرصه لاستخراج المعلومات. كيف يتم ذلك ؟ اطلع علي البحوث القصيرة بأسفل:

سوف تحتاج الي:

  1. ابدأ برنامج Tabula  (بالنقر المزدوج علي ايقونه Tabula)
  2. وجه متصفحك  الي http://127.0.0.1:8080
  3. اختر الملف الذي تود تحميله وانقر Submit
  • انتظر حتى نهاية تحميل ملف PDF
  • انزل بالسهم الي أسفل لصفحه 74- حيث سنقوم باستخراج هذا الجدول

انقر واسحب مربع التحديد فوق الجدول

  • سوف تظهر لك نافذة توضح كيف يمكن لبرنامج Tabula استخراج البيانات.
    ابدأ الآن في تحميل البيانات كـ CSV

حسنا لدينا الآن مجموعة بيانات للواردات المصرية في تنسيق CSV.

ماذا عن تمثيل هذه البيانات مرئيا في قصة ذات مغزى؟

لحسن الحظ لدينا الآن ادوات رائعة لإنتاج المخططات البيانيه ومن ثم يمكنك وشرها على شبكة الإنترنت.الـ  Datawrapper هو واحد من هذه الأدوات لتمثيل البيانات

اذهب الي http://datawrapper.de إنشاء حساب ثم اضغط على زر “create a chart”

يمكنك حفظ مصدر البيانات هنا وتعديل البيانات. يمكنك أيضا تبديل موضع البيانات وهو ما يعني تحويل الصفوف والأعمدة من أجل الحصول على الصفوف التي تريد أن تصورها كرؤوس الأعمدة.

بعد النقر علي visualize يمكنك تحديد نوع المخطط وصقل الرسم البياني عن طريق تغيير الألوان أو مضيفا العنوان والوصف. أفضل مخطط لنوع البيانات التي لدينا هنا هو مخطط الاعمدة لأن هدفنا من تمثيل هذه البيانات مرئيا  هو اظهار مقارنات بين الواردات في مصر خلال 5 سنوات الماضية.

بعد النقر فوق نشر سوف تحصل على رابط لتمثيل البيانات الخاص وكود HTML ثم يمكنك وضعه في موقع الويب الخاص بك.

ها هي الآن يمكنك النقر على الرابط واللعب بهذا المخطط الرائع: http://cf.datawrapper.de/11mKD/2/

 

New York City, Open Data Challenges

Tarek Amr - July 2, 2015 in Aware, FOI, Open Data, Open Government Data, Video

City agencies have access to a wealth of data and statistics reflecting every part of urban life. But as data analyst Ben Wellington suggests in this entertaining talk, sometimes they just don’t know what to do with it. He shows how a combination of unexpected questions and smart data crunching can produce strangely useful insights, and shares tips on how to release large sets of data so that anyone can use them.