Blog

2014开放数据日中国区活动

开放数据日(International Open Data Day)是一个全球社区共同探讨开放数据,利用开放数据创新的节日。2014年的开放数据日是2月22日,本周六。目前在中国区域,将会有以下活动: 1. 成都,21日(周五)下午5点半,将在成都 Thoughtworks 的办公室举行一场开放数据与公民创新相关的活动。活动嘉宾是来自美国休斯顿市的 Bruce (郝小龙),他在休斯顿成协助政府与社区成立了「为美国编程」休斯顿分部。要参加的朋友请私信 @openpartychengdu 2. 北京,22日(周六)早上10点至下午6点。 由北京linux用户组发起的开放数据黑客松活动北京市东直门国华投资大厦 11层 thoughtworks办公室举办。午餐需自理。感兴趣的朋友请点击此报名:http://huiyi.csdn.net/meeting/info/702/community?project_id=782 3. 线上,22日(周六)起将由开放知识基金会中国组织对全国城市的政府数据公开性和开放性进行普查,目的是寻找身边可用的政府持有的数据 。欢迎感兴趣的朋友点此报名:https://jinshuju.net/f/CZCwhZ 4. 线上,22日(周六)下午3点,将有香港开放数据社区,台湾开放数据社区,与中国大陆开放数据社区共同相聚的 Google Hangout 活动。请感兴趣的朋友点此注册:https://plus.google.com/events/c59pf93ftd17t98d82ub3mfnqgs 5. 明日亦将同步发起「开放数据中国」这一新的合作性网络,共建中国开放数据生态,届时请大家留意相关微博

寻找身边的“大”数据:本地开放数据普查活动即将展开

当你想要了解本地政府提供了哪些服务,或是想要了解本地政府预算与支出情况,又或是想要了解附近有哪些艺术馆、图书馆或是其他假期开放的公共场地,你都需要依赖公共机构释放的数据。这些关乎本地生活的数据,你知道到哪里去查询吗?你知道有多少现在是公开可获得的?又有多少是完全开放的呢?(不知道何为开放数据,请戳这里) 如今,你或许可以帮忙来改变现状,呼吁你的当地政府作出改变,释放更多数据,并让他们更开放! 基于开放知识基金会2013年的全球各国开放数据普查活动基础上,基金会即将推出城市级别、地区级别的本地开放数据普查。如果你对此感兴趣,无论是想要建议我们开展对你所在城市和地区的普查,或是想要建议我们重点调查某个数据集的情况,又或是有兴趣成为志愿者花上5-10分钟来调查某一数据集是否存在于你的地区,那么请填写下面的问卷:

新书推荐: Joel Gurin 的《Open Data Now》

「开放数据是一种可以方便获得和使用的公共数据。普通民众、企业和机构能够使用它来创建新的产业、分析数据模式和趋势、作出数据驱动的决策以及解决复杂的问题。开放数据是一种赋有使命的数据:它是一种能改变我们运作公司和政府方式的免费、开放、透明的数据」 —— Joel Gurin, 《Open Data Now》 对于大多数中国民众而言,「开放数据」可能还是一个比较陌生的概念。而在欧美,开放数据已经成为主流,被社会各界广泛接纳。特别是对于各级政府而言,颇有不做开放数据,都羞于见人的趋势。在这几年逐步推动开放数据的过程中,开放数据一直被视为使政府更为透明的利器。但令人无法否认的是,开放数据其本身,也拥有着不可忽视的商业价值。 Joel Gurin 的这本新书 《Open Data Now》不谈开放数据对政府透明化的老调,而更着重于谈论其商业价值。而这本书不得不说是一本很合时宜的书籍。对于像欧美这样的国家,开放数据已经运作多年,投入甚巨,无论是政府也好还是普通民众,都亟待看到开放数据能够刺激社会创新从而转化为巨大的经济利益。而 《Open Data Now》一书,无疑能为诸多创业者和企业提供运用开放数据的新思路,从而将开放数据变为真正能够变现的资源。届时,麦肯锡描绘的 3-5 万亿美金一年的经济价值便能得以实现。而对于像中国这样刚刚开始探索开放数据的国家,这本书所介绍的内容则可以更好吸引创业者和企业来关注并共同推动开放数据在中国的发展,加速政府对开放数据的投入。 《Open Data Now》一书开篇便点出,「开放数据」就如同当年的互联网一般,必能掀起一股新的商业变革浪潮。在当下的商业社会,一个企业或多或少都要接触点互联网。而未来,一个企业如果不懂得利用开放数据,那也是很难想像的一件事。开放数据的美妙在于其对于企业而言没有任何的成本可言,而通过适当的利用则能为企业创造巨大的价值。而这一经济价值又往往让人难以想像的巨大。 一个经典的案例便是 2006 年成立的 Climate Corporation。这家公司通过使用国家气象台开放的气象数据最终创造了 10 亿美金的市值。其最初主要业务是通过气象数据来为其他商业公司提供基于天气的定制化保险服务。例如,高尔夫球场会因为下雨天不能营业而造成经济损失,传统的保险产品可能会在该球场损失超过一个固定的数额后进行理赔。但 Climate Corporation 并不这么做。 它通过分析天气数据进行预测,从而预估出该球场在全年可能有多少天因为天气恶劣而遭受损失,从而基于此设计一个定制化的阀值来进行理赔。而在他们开展业务的过程中,他们发现农业是受天气影响最大的产业,从而他们决定将重心放在农业之上。他们的业务不但包括为农民提供定制化的保险,而且提供咨询服务。比如,他们会通过预测天气,来告知农民应当何时播种,何时施肥来使效益最大化。不仅如此,他们的服务还能帮助农民避免洪水、暴风雨等恶劣天气。而 Climate Coporation 之所以这么成功,这一切都归功于开放的气象数据、土壤数据。 除了 Climate Corporation,Joel 在书中还分别详尽介绍了开放数据在教育、医疗、能源等热门领域内的应用。对于每一个领域,Joel 都亲自做了大量的访谈和调研,尽力将最宝贵的第一手资料和经验分享给读者。而最令人欣喜的,便是 Joel 在每一章最后,都会针对性地为创业者和企业提供具体的商业建议,指导大家如何能够利用起开放数据在相应领域内开拓新的机遇。 《Open Data Now》除了涉及政府的开放数据之外,它还特别提到了未来个人数据的变革。Joel 在书中提到个人数据应当回归个人掌控,而不是再由服务提供方掌管。第一步要做的便是让企业将数据提供给个人用户下载,比如我们所熟悉的 Google 便允许用户下载自己的数据。而第二步便是给用户充分的自由来选择和服务提供方共享哪些个人数据。而这一点便被称作「个人数据保险库」。这一保险库可以允许个人用户自由选择和一个特定服务提供者共享何种个人数据,并且拥有对这些数据的绝对控制权。换句话说,如果你不再满意这个服务提供方,你可以随时终止和其的共享而收回所有自己的数据并存入保险库。Joel 认为这从某种角度来说也能称为开放数据,是一种有选择的个人数据的开放。而这一领域也将成为未来商业创新的热点。 由于 Joel 本身曾经长期工作在消费者知情权这一领域,也担任过白宫智慧披露 (smart disclosure)这一特别工作组的主席,他也在书中特别提到了如何利用公开在网上的评论数据以及开放数据等来帮助消费者更好地作出决策进行消费。而这一领域也将会是诸多企业和创业者必须重视的机遇。 […]

从开放数据到开放发展(四) 城市 X 开放 X 数据

把整个城市搬上 GitHub:开源芝加哥 GitHub 是一个代码托管网站,但与过往许许多多代码托管网站不同的地方在于其提供了充分「开放」的工作模式。它鼓励任何人对一个公开的代码库进行「复制」(fork) 从而对原有代码进行修改、扩展、改正,同时,它也充分鼓励任何人都参与进一个项目的讨论,你可以新开一个「工单」来提出问题,汇报 Bug,建议新增功能。正是这样「开放」的模式使其成为程序员届最重要的工具和社区。 而在2013年2月,芝加哥市政府决定将它们整个城市的数据上传至 GitHub,并鼓励所有人来「复制」它们的数据,帮助它们提升数据的质量或者利用这些数据作出创新的应用。这无疑是自2009年奥巴马政府宣布全国开展开放数据运动以来,开放数据领域内最大的壮举。你或许会问为什么这非常重要?这些数据不是或多或少已经开放在 data.gov 或者芝加哥市的开放数据门户上了吗? 事实上,如果说将数据放在开放门户提供大家下载是开放数据1.0,那么将数据放在 GitHub 这样一个鼓励开放协作的平台就是进入了开放数据 2.0。 开放协作使得数据能够像代码一样被「复制」并由社区来提升质量,而这就提供了一个「发布者-使用者」之间的双向通道来进一步帮助城市管理者将数据化为真正有用的资源,这是单单将数据开放下载所不能达到的效果。 开放的城市服务热线:从 FixMyStreet 到 Open311 FixMyStreet 是英国民间非营利机构 MySociety 推出的第一款产品,也是首款在城市服务领域内引入开放模型的应用。往常,对于公共设施比如路面、街道路灯等的报修以及其他城市服务的投诉都只是单向的、单人的沟通,这也就造成了问题的重复投诉率高、处理进度不透明等问题。 而 FixMyStreet 首次引入了开放模型将单向、单人的沟通改造成双向、多人的沟通模式,允许多人集中地多一个问题进行投诉,并提供平台对有关部门的处理进度进行追踪。比如,上图中显示的就是英国南安普敦市市民向市政府投诉有路障倒地阻碍了人行道,地图上标记了准确的问题地点,次日早上市府便立刻回复说该问题已登记在案,并且在问题解决后,立刻再次回复让公众知情。 这样的开放模型在解决城市服务问题中有着众多的优点:首先,这样的开放模型更容易吸引人去参与进城市问题的投诉中。对于如今的手机党、微博党而言,可能简单的在地图上点点,写上两句话,要比起一本正经拨打热线电话来的更容易。其次,沟通成本会更低。传统的热线电话方式,使得单一问题的投诉重复率大大增加,而开放模式则使得单一问题能够由多人同时参与,这也就减轻了相关部门在接受问题投诉上所付出的时间和人力成本,避免资源浪费在同一问题上。最后,采用开放模型是政府树立良好形象的极佳途径。开放模型不仅仅是将工作流程开放,允许更多民众参与,更是对信息的透明化:政府何时受理该问题,是否持续跟进问题,是否已解决问题等等信息都通过一个透明化的渠道让公众知情,而这也将能更好的塑造一个透明、公开的政府形象。 FixMyStreet 的成功,顿时引爆了一场民间对城市服务热线改造的风潮。各种类型的类似产品在各个国家、城市相继推出,民众的参与热情一度高涨,但随之产生的问题也越来越多。首先,民间自行开发的类似产品虽然可以吸引到民众的参与,但是有时候却无法保证政府的参与。其次,由于产品过多,政府不可能在所有产品上同时跟进问题,这反而降低了政府效率。最后,因为每个人采用的产品很可能不同,因此投诉的重复率问题又回来了,因为民众的注意力被不同产品分散了。 为了解决这些问题,Open311 诞生了。 Open311 其本身并不是一个新的App,而是一个供第三方应用与政府的城市服务热线进行数据交换的 API 标准。它所制定的标准确保了各个地方政府采用统一的接口来供第三方产品使用,这样就确保了所有第三方应用都能通过统一的渠道将数据反馈到政府机构。同时第三方应用之间也就有了统一的接口来交换以及同步数据,从而解决了上文提到的由于产品过多,民众的注意力被分散的问题。 更为重要的是,Open311 制定的 API 标准使得城市服务热线的数据得以真正开放。而此类数据对于城市规划等问题都是极为重要的。2010年,Wired就曾经从纽约的NYC 311服务那私下获取过近百万通311电话的数据,并就此制作了可视化图表进行数据分析。而现在有了 Open311 协议,通过开放的渠道来完整取得相关的数据就不再是问题。 Open311 作为一个美国土生土长的孩子,脱胎于美国城市服务热线 311,但它本身并不仅仅是一个美国的标准而是期望成为一个国际标准。目前除了美国的城市比如纽约、芝加哥之外,还有英国南安普敦、巴尼特,芬兰赫尔辛基等城市采用了 Open311 的 API 标准,那我们是不是也可以期待中国的 12345 有一日可以成为 Open12345 呢? 设计你的城市 城市的规划,听上去好像是一件离老百姓很远的事情。但如果政府采用开放模型来重新组织城市规划活动,那么普通民众也能参与其中,并且还能出其不意地帮助城市规划部门提升效率。拿城市规划的先期调研来说,规划机构往往需要耗费大量人力成本和时间成本来收集详细的城区地块数据。而这一过程,如果能够让熟悉这一地块的民众来协助,则会事半功倍。 […]

拥抱「小数据」,共建畅通无阻的数据世界!

注意:本文是对开放知识基金会创始人 Dr. Rufus Pollock 的一系列「小数据」的文章进行翻译整理后编写而成,具体参考的原文列表如下: 1. Forget Big Data, Small Data is the Real Revolution https://blog.okfn.org/2013/04/22/forget-big-data-small-data-is-the-real-revolution/ 2. What Do We Mean By Small Data https://blog.okfn.org/2013/04/26/what-do-we-mean-by-small-data/ 3. Frictionless Data: making it radically easier to get stuff done with data https://blog.okfn.org/2013/04/24/frictionless-data-making-it-radically-easier-to-get-stuff-done-with-data/ 4. Git (and Github) for Data https://blog.okfn.org/2013/07/02/git-and-github-for-data/ 「大数据」v.s. 「小数据」[1] 「大数据」已然成为2013最火热的词,不论是不是身在技术圈,你或多或少都会听到「大数据」如何如何神奇,是解决医疗、交通、贫穷等等各种大小问题的关键。但事实上而言,关于大数据的讨论往往忽略了更为重要的一点:真正的机会其实根本不在所谓的「大数据」,而恰恰是在「小数据」。我们要意识到,这个时代需要的不是建立起一个个新的数据寡头来支配一切「大数据」,而是要重视去中心化的数据生态来使流动的「小数据」得以整合协作。 事实上,如果我们回顾一下计算机历史,所谓的「大数据」从不是我们感到陌生的事物。自计算机诞生起,我们就一直面临着数据量超越计算处理能力的挑战,而这一挑战目前却因为商业利益的需求被粉饰成一个全新的机遇。 与此同时,我们却没能意识到什么才是真正的革命性挑战:在这个数据日益丰富的时代,如何构建大型的、去中心化的系统来访问、存储以及处理数据。你可能会觉得这个描述和目前所宣传的「大数据」挑战并没有什么两样,但请注意这里我们并不是在谈论一个大型企业如何利用并行技术在大规模计算平台上处理数据。让我们真正兴奋的是,如何在这个数据时代去建设去中心化的系统使得更多的普通人能够在这个由丰富的「小数据」构成的数据生态中更有效地协同合作。 在未来的某一天,我们会发现谈论「大数据」是很可笑的,因为正如我们不会谈论「大型软件」一样,数据的尺寸大小并不是其价值之所在,真正的价值在于数据其本身是否能够为我们的问题提供解决的方案。 事实上,对于很多问题而言我们根本不需要所谓的「大数据」,「小数据」已经足以为我们提供足够的信息。比如说,我们本地的公交时刻表,政府的支出数据,家庭的用电量等等,这些其实都只算得上「小数据」。再想想平时我们常用的 Excel,它所能处理的数据也只是「小数据」。著名的 TED […]

开放数据在上海,听听来自政府内的声音

注:下文根据我今日参会笔记整理完成,写作匆忙,必有疏漏和错误之处,还望谅解并指正,谢谢! 昨日在微博上搜索「开放数据」,偶然看见了复旦大学数字治理与移动政务实验室主任郑磊老师发布的“电子治理的未来”国际研讨会的公告。因为会议日程安排上有关于开放数据/开放政府的内容,我今日便前往复旦旁听了这一次有趣的会议。会议上午由两位来自美国的专家分享了开放数据/大数据对智慧城市,电子政务的影响,讨论了相关政策建设的必要性和挑战。上午的主题演讲还请来了台湾东海大学的项靖教授,项教授的主题报告主要涉及了一个个性化政府服务的问题。对于生活中的琐事,他分享了在台湾运作的e-管家项目:这个平台为市民提供了一个统一的、定制化的生活助手(比如提供定制化的各种账单,退税通知等)。对于人生大事,比如生育、丧葬、结婚等,项教授提出了case-manager的概念,即为市民提供一个一站式的解决方案。由专项人员为你通过信息系统将原本复杂的政务流程简化,提供省时省力的服务。 在下午,开放数据/开放政府的环节正式开始。这一环节的嘉宾有学者更有两位来自政府的嘉宾,对于开放数据的发展,提供了很多有用的信息。下面主要分享一下这两位的演讲。 第一位嘉宾是来自上海市政府的官员。他的演讲题目是「上海市政府数据信息开放的探索与实践」,主要谈论上海市政府探索与建立上海市政府数据服务网 的经验和教训。他的演讲肯定了上海的确有计划逐步开展开放数据的工作,政府也正在协调、权衡以及商议各方面的问题来争取将政府资源早日开放给社会利用。相关的具体内容,如果您有兴趣了解更多,请联系作者本人。 第二位政府方面的嘉宾是上海环境监控中心的伏晴艳总工程师 (注:这里说明下,环境监测中心本身非政府机构,是公益性科学技术单位,但考虑到它提供的空气质量实时系统服务属于环境部门支持的,是一种政府向市民提供的服务,这里也暂且归入政府方面嘉宾)。她分享的题目是「上海环境空气质量信息公众服务」。演讲中,伏总工提到了监测中心从97年起步做空气质量周报,直到世博期间的飞跃,到11年开始转型做了API分时段预报,到2012年做实时发布,到13年做AQI分时段预报的整个过程。重点说明了和公众有效沟通的问题,特地征集了air baby的形象设计,让不懂空气质量分类的老百姓能轻易理解信息。还谈到了外滩实时外景照片的引入,来让人们直观理解空气质量的情况。演讲中,还特别提到了长江三角的空气质量数据共享。对于未来,环境监测中心主要扮演政府和民间之间的中间角色,推进政府监测点的发展,增进与市民间的进一步高效、清晰的沟通。未来还有计划建成一整套的污染源监控与预警系统,以及相关的决策系统。 在问答环节中,我向伏总工提问了是否将来有计划做开放数据的发布,比如提供API或者一周、一月数据的批量下载。伏总工回应,目前数据下载是有提供,但可能比较难找到(注:有人指下路吗?),而对于API,可能会放出,但有比较多的考量。主要是政府部门向公众提供服务的一个博弈过程。她提到,对于提供数据给第三方开发,比较担忧的是第三方如何诠释数据。因为她之前提到了环境监测中心做了很大的努力让环境数据可以被老百姓看明白,但第三方为了谋利或者吸引眼球,未必能做到这一点。比如之前美使馆数据和国内数据的比较,很多人选择相信美使馆数据认为国内数据有问题,但实际国内数据其实可能更准确(注:这一点,可以参考之前TechPresident关于中国开放数据报道里提到的Bu ShuJian同学做的研究,她的结果说明国内数据可能更全面,并没有问题),因此她也期待整个开放数据的生态成长来避免这些问题。 另一个问题涉及到了个性化空气质量问题,比如是否能提供我所在小区的空气质量,伏总工回应说,上海市政府将在今年底完成区县的监控点工程,明年建成覆盖全市的监控点,这样就能提供更细致的空气质量信息。 除了这两位政府端的声音,整个环节还分享了郑磊老师及其学生完成的「市民对空气质量信息的需求的调查结果」,刘文静老师分享的「法院在信息公开推进中的作用」,清华大学博士生做的「关于中国地方信息公开的信息选择」的博士课题讨论,还有来自上海政法的肖卫兵老师的「从信息流通角度提升政府信息公开工作」的演讲。整个环节都很精彩,如果对这些内容有兴趣的朋友,可以单独留言沟通。