用大数据预测雾霾,微软是如何做的?

发布时间:2019-10-29 15:28:35   来源:大数据   点击:
全球范围里,有超过半数的人类居住在城市之中,城市化的进程也从未停止过。面对越来越庞大的城市,许多事情已经超出了控制:拥堵

全球范围里,有超过半数的人类居住在城市之中,城市化的进程也从未停止过。面对越来越庞大的城市,许多事情已经超出了控制:拥堵的交通,严重的空气污染,让人烦躁的噪音等等。

没有人真正了解城市中到底发生了什么,也没有人真正了解城市里的居民、住户每天在发生什么样的故事。对于城市管理者来说,他们需要更多的信息化方式来了解动态的城市,知晓正在发生的情况,并即时做出反应。

城市计算这门研究正在逐步解决上述的问题。在微软亚洲研究院主管研究员郑宇的带领下,他和他的团队正在利用城市计算解决各类问题,比如雾霾、噪音、交通拥堵和能耗等问题。尤其是在空气质量分析、监测这一领域里,已经和国内部分政府机构签约,目前预测范围覆盖了全国300多个城市。

所谓城市计算指的是计算机科学以城市为背景,跟城市规划、交通、能源、环境、社会学和经济等学科融合的新兴领域。更具体的说,城市计算是一个通过不断获娶整合和分析城市中多种异构大数据来解决城市所面临的挑战(如环境恶化、交通拥堵、能耗增加、规划落后等)的过程。

用大数据预测雾霾

2016年11月30日,美国计算机学会(ACM)网站公布了2016年该学会在全球范围内评选出的32名杰出科学家,郑宇是入选的两名中国大陆科学家之一。不仅如此,郑宇还是2013年美国《麻省理工科技评论》(MIT Technology Review)评选出的35个35岁以下的全球杰出青年创新者之一。他还是人工智能领域国际顶尖学术期刊ACM Transactions on Intelligent Systems and Technology的主编 ,也是到目前为止ACM/IEEE顶尖学术期刊里唯一在大陆获得博士学位的主编。

微软亚洲研究院主管研究员郑宇。

据郑宇介绍,城市计算包括城市感知及数据捕获、数据管理、城市数据分析、服务提供四个环节。与自然语言分析和图像处理等“单数据单任务”系统相比,城市计算是一个“多数据多任务”的系统。城市计算中的任务涵盖改进城市规划、缓解交通拥堵、保护自然环境、减少能源消耗等等。

“城市计算最后主要能帮助我们解决3个问题,即理解问题的现状、预测未来和考究历史。以空气质量为例,我们可以根据有限的空气监测站点给出的数据,算出城市每个角落的空气质量分布,了解清楚现状;也可以通过数据预测未来。当然也可以通过这些数据,分析历史:雾霾产生的原因是什么?”郑宇在接受澎湃新闻专访时说。

目前,微软在利用城市计算预测空气质量上,已推出Urban Air系统,通过大数据来监测和预报细粒度空气质量,该服务覆盖了中国的300多个城市,并被中国环境保护部采用。同时,微软也已经和部分其他中国政府机构签约,为不同的城市和地区提供所需的服务。该技术可以对京津冀、长三角、珠三角、成渝城市群以及单独的城市进行未来48小时的空气质量预测。那具体是如何做到的?

首先雾霾的大数据主要包括当前空气质量数据、气象条件、未来天气预报3类数据。在北京共有35个空气质量监测点,外加上美国大使馆的一个监测点,共36个。

郑宇介绍,要预测一个地方的空气质量,并不是指单纯地只看这个地方本地的数据,而且要考虑到周边地区的空气及其他因素,比如空气质量站点数据、交通流数据、气象数据、厂矿数据、人口流动数据、路网结构等。

与传统模拟空气质量不同,大数据预测空气质量依靠的是基于多源数据融合的机器学习方法,也就是说,空气质量的预测不仅仅看空气质量数据,还要看与之相关的气象数据、交通流量数据、厂矿数据、城市路网结构等不同领域的数据,不同领域的数据互相叠加,相互补强,从而预测空气质量状况。

“预测的准确率,我们现在已经做到北京未来6个小时的准确率达到了75%,在深圳和广州做到了80%。未来48个小时的预测准确率达到50%。大家不要小看50%的准确率,它其实已经非常高了。相比之下,天气预报24小时的准确率只有40%。”郑宇说。

预测未来空气质量情况,给在城市生活的居民出行带来重要的提示信息,除了与环保部的合作外,微软的空气质量监测系统Urban Air还为在2015年于福州举办的第一届全国青运会的空气质量保障工作中提供了技术支持。另外一个科技巨头IBM也推出了类似的服务。IBM与北京市环保局共同创办了“联合环境创新中心”,使得政府官员可以在最恶劣的情况下更好地制定减排计划。IBM还与张家口市签订了协议,在冬奥会之前作出一些前期规划和应对方案。

除了政府部门,城市计算还能帮助城市居民规划出行安排。如果你约3-5个好友一起周末踢球,你就可以根据预测给出的空气质量情况进行选择。

在采访的过程中,郑宇还向澎湃新闻解释了为什么中国政府部门给出的空气质量数据与美国大使馆的数据不同。

“美国用的是自己站点的读数。其实两者的测量原理都是一样的。美国大使馆公布的是实时的PM2.5浓度,以及根据这个浓度换算的AQI(air quality index)值。中国政府的测点也公布了实时浓度,但发布的AQI是根据过去24小时的平均浓度。所以两者之间换算方法不一样,导致AQI看上去不一致。但实时浓度值其实是一致的,有时候中国政府公布的污染物浓度还会比美国大使馆公布的高。”郑宇说。

用大数据解决美国纽约的噪音问题

城市化发展进程中,除了有空气污染问题,噪音问题同样值得关注。被誉为“世界中心”的纽约,噪音问题尤为严重。已经有研究证明,人如果长时间处在噪音环境下,会对人的血压、记忆和睡眠等都造成影响。

“用传统的方面解决噪音问题是非常困难的,因为传统技术通过撞击传感器来监测噪音。但噪音是声音上的变化,在时间和空间上的反应非常剧烈,并且可能是一瞬就消逝了。而另一个原因是,传感器并不能让你知道噪音污染的原因。”郑宇告诉澎湃新闻。

如果想要对噪音进行监测,郑宇认为需要在100平方米的范围内,甚至更小的区域内装一个传感器。那整个纽约市可能需要装约100万个传感器。这既不可行,而且要花费的人工管理成本也很大。其次,对于噪音的定义和人的感受有着非常紧密的联系。白天时间里,人对噪音的容忍程度和夜里会有明显地区别。

这样一来,在城市计算中,就需要考虑人的感受。郑宇给出的解决方法是根据美国人工投诉热线311,通过电话记录人们投诉的原因和地点,把人变成噪音监测的传感器。这样就能为噪音给出准确的定义和分析,政府也能及时给出限制措施。

除此之外,郑宇还在用城市计算预测城市人流,为城市大型活动的人流管控提供政策服务。目前,微软已经和贵阳市共同做了研究项目。利用出租车的数据,可以知道每一平方公里内,有多少出租车进入和有多少出租车驶出。可以让政府部门提前2-3小时进行备案,疏导人流,防患于未然。

“人流量控制其实在很多地方都非常需要,比如机尝地铁站等。它能真正降低事故发生的概率。但预测人类的行为其实是非常困难的,因为当你有重大事件或活动发生的时候,很远地方的人也会赶来参加。这就要求建立许多相关性,融合许多的数据。”郑宇说。他还举了一个简单的例子,比如城市上班族出行的早高峰时间,会随着天气的变化有所改变,那在预测人流量时就不能只考虑一个因素。

未来,在人工智能、深度学习等算法的支持下,城市计算给大众带来的惊喜会更多,但郑宇也向澎湃新闻介绍了这门学科遇到的挑战。首先,数据的获龋虽然并不是数据越多,对于城市计算就越有帮助。但如何更准确有效地获取相关数据,还是值得思考的问题。其次,数据融合。即打破各类数据的壁垒,让来自不同行业、领域的数据进行融合。最后,还要向各个行业的专家进行学习,进行对比借鉴。

“有时候我们需要先用自己的能力证实一下,即你能做出东西来,并展示给其他人看。在与行业对接时,还需要用他们的语言把问题讲清楚,别人才会接受你。别人接受你之后,才有可能真的落地并真正推动行业进步。”郑宇对澎湃新闻说。

------分隔线----------------------------