English 简体中文

作者介绍


​  康雨豪，美国威斯康星大学麦迪逊分校地理系M.S/Ph.D学生，空间数据科学实验室(GeoDS@UW)成员。2018年取得武汉大学理学学士学位；2019年夏在麻省理工学院MIT Senseable City Lab访问；2018年夏在摩拜单车算法组实习；2017年夏在北京大学遥感所时空大数据与社会感知研究组S³-Lab访问。主要研究方向为基于场所的空间研究，地图学，地理时空智能知识挖掘与分析。


       场所(Place)是地理学中的重要概念。理解人们对场所的认知是其根本。情绪是连接场所环境和个体感知的桥梁。一方面，情绪反映了人们认知、经历和理解场所的方式；另一方面，周围的环境影响着人们的情绪。因此，理解人对环境的情绪是分析人对场所感知的重要方面。

 

       情绪采集和提取方法随着时代发展而不断演化。传统的情绪衡量方法是以问卷形式进行自我评估，需要耗费大量的人力物力财力且不具备实时性。社交平台上海量的带有地理标签的用户生成内容(UGC)和以人工智能为依托的情绪计算（如人脸识别技术的发展）为情绪衡量提供了新方法。

 

       本研究基于UGC和人脸表情识别技术提出了计算不同场所情绪的框架。为了验证框架可行性，我们选择旅游景点作为一类特殊的场所，并且将幸福指数(happiness)作为我们重点研究的一种情绪。同时，本研究探究了不同场所环境因素对于人们情绪表达的影响。

内容导读


       暑假将至，正是出游的好时机。如何选择旅游景点？一张根据人们在景点幸福程度而排序的旅游景点排名表，会为人们的旅游决策提供支持。本研究利用数百万张来自于全球80个景点的社交媒体照片，根据其中的两百多万张人脸表情，提取出景点附近人们的情绪，制作出了一张基于情绪指数的旅游景点排名表，并尝试探究影响人们情绪的环境因素。

 

       研究发现，中国长城，英国巨石阵，以及一些游乐场所（如迪斯尼乐园）等位居前列，在这些场所的游客笑脸丰富、较为开心；而受文化、拍照行为差异等复杂因素影响，一些宗教场所则排在靠后的位置。此外，景点的环境对人们的情绪有影响，开阔的空间，如自然景观，存在水域，植被密度高，坐落于市郊/乡村与人们的积极情绪正相关，而室内封闭空间，坐落于城市等因素与人们的积极情绪负相关。本研究适用于计算不同类型的场所(Place)人们的情绪，以及探究人们主观的感知与物理环境之间的关系，为理解人们情绪，探究“人地关系”提供支持。


数据准备

本研究选取了全球范围内比较有代表性的80个景点作为研究对象，并搜集了一系列可能影响情绪的地理属性和环境因素，包括经纬度，所在大洲，所在国家，是否存在水域，室内/室外场所，绿色植被覆盖率，郊区/城区，场所类型（自然、娱乐、宗教、博物馆、宫殿及其他文化类别）等。


根据选取景点的经纬度坐标，从Flickr下载2012年1月和2017年6月所有距离景点1km内的照片，共600万张照片。


场所构建

场所作为人类概念化的产物，源自人描述一个特定空间的经验。本文采用以下方法来构建场所：利用DBSCAN空间聚类提取出照片热点区域；使用凸壳提取出聚类后剩余点的最小多边形以构建场所。

1.研究背景

2.研究方法

      研究流程如图1，首先，从社交网站Flickr爬取大量带有地理坐标的照片数据并存储在云服务器上，同时收集各场所的地理环境属性；基于照片的空间密度聚类得到AOI(Area of Interest)作为本研究的基本单元——场所(place)；之后利用人脸表情识别接口提取照片中人的情绪；最后，利用相关性分析和多元回归分析模型探究影响情绪的地理环境因素。此外，为确保结果可信，通过不同参数设置下的敏感性测试以判断情绪识别结果是否可靠。

情绪计算

通过人工智能平台Face++提供的API，可以返回与照片中人脸情绪有关的分数指标（如图3，happiness和smile value等）。基于这些人脸情绪指标，本研究提出了愉悦指数(Joy Index)和平均幸福指数(Average Happiness Index)来衡量一个地方人们的开心程度。

图1 研究流程
图2 场所构建
图3 情绪计算

3.实验结果

情绪地图和景点排名

在构建旅游景点场所和进行情绪计算后，全球80个景点的空间分布及其情绪指数：Joy Index和Average Happiness Index(AHI)如图4。圆形代表Joy Index，菱形代表AHI， 红色越深表示人们越开心，蓝色越深则相反。

图4 全球80个景点的空间分布及其情绪指数：Joy Index和Average Happiness Index(AHI)
图5为基于情绪指数的景点排名表。蓝色的线条表明了情绪值的95%置信区间，而中间的黄色点则为最终的情绪值。中国的长城排在了第一位，说明游客在我国古代劳动人民的结晶——长城最开心。一些游乐场所如迪斯尼乐园紧随其后。而游客在一些宗教场所则表达较少的开心。
图5 基于情绪的景点排名(Joy Index)
图6 地理环境与情绪(Joy Index)的皮尔逊相关系数

情绪和环境因素的关系探究

根据相关性分析的结果，娱乐场所、自然景观、开阔地区、存在水域、坐落于市郊等对提升游客积极情绪有显著的积极影响，而坐落于城区、室内场所等则对于情绪有消极影响。以上可以概括为当人们处于开放性质的场所时，对于人们的情绪具有积极作用。多元回归分析的结果与此类似，R2为0.57，并且在统计学上显著。可见地理和环境因素在一定程度上能解释不同景点情绪指标的差异。

文章来源：未名时空公众号

基于人脸表情大数据提取不同场所的人类情绪

4.讨论

本研究的方法和结果存在以下不足。首先，影响人们情绪的因素较为复杂，环境因素只是其中一部分；文化和场所本身属性会影响到人们的情绪表达，如在一些宗教场所、博物馆等，较低的情绪分数并不意味着人们不幸福，而可能是该场所人们情绪表达较少。其次，社交媒体大数据本身存在有偏性，例如大部分照片是由少数用户上传的，因此我们尝试采用bootstrap策略对数据集进行抽样以减少数据的不确定性，同时探究了不同群体人们的情绪表达。最后，虽然目前基于人脸识别技术的情绪提取方法不断成熟，其有效性仍存在质疑，故结合传统方法和文本数据的情绪提取可以与之相互补充；此外，人脸识别技术的隐私保护问题需要在之后的研究中进行讨论。

5.总结

本研究根据人脸表情识别接口、空间聚类等构建了提取场所情绪的框架。并以全球80个景点为案例研究，通过相关性分析和多元回归分析探究了影响情绪的地理环境因素。最终得到的研究结果与此前心理学的研究一致，即开阔场所和能接触到自然的地方人们的情绪更加积极。未来的研究方向包括多源数据融合、多尺度分析等。

参考文献


Kang, Y., Jia, Q., Gao, S., Zeng, X., Wang, Y., Angsuesser, S., Liu, Y., Ye, X., & Fei, T. (2019). Extracting human emotions at different places based on facial expressions and spatial clustering analysis. Transactions in GIS, 23(3), 450-480.

 

Kang, Y., Zeng, X., Zhang, Z., Wang, Y., & Fei, T. (2018). Who are happier? Spatio-temporal Analysis of Worldwide Human Emotion Based on Geo-Crowdsourcing Faces. In 2018 Ubiquitous Positioning, Indoor Navigation and Location-Based Services (UPINLBS) (pp. 1-8). IEEE.

 

Kang, Y., Wang, J., Wang, Y., Angsuesser, S., & Fei, T. (2017). Mapping the Sensitivity of the Public Emotion to the Movement of Stock Market Value: A Case Study of Manhattan. International Archives of the Photogrammetry, Remote Sensing & Spatial Information Sciences, 42

文章来源：未名时空公众号         仅供学习交流使用！