近日，《美国地理学会会刊》（Annals of AAG）在线发表题为“Urban Visual Intelligence: Studying Cities with Artificial Intelligence and Street-level Imagery”的论文。文章提出了“城市视觉智能”理论框架，系统性地阐述了街道尺度的图像数据和人工智能技术在感知城市空间、理解人地关系中的重要作用，并讨论了其中存在的挑战和未来的发展机遇。北京大学的张帆博士是论文的第一/通讯作者，合作者包括麻省理工学院Lawrence Value，Gary Hack，Carlo Ratti，北京大学刘瑜、伦敦大学学院Micheal Batty等海内外知名学者。
从19世纪末到20世纪中期，卡米洛·西特（Camillo Sitte）、凯文·林奇（Kevin Lynch）、鲁道夫·阿恩海姆（Rudolf Arnheim）和简·雅各布斯（Jane Jacobs）等学者对城市的视觉维度进行了开创性的研究，确立了这一城市研究的关键领域。数十年来，随着大数据和人工智能的兴起，人类的行为、感知以及与城市的交互方式正在经历翻天覆地的变化。本文回顾了针对城市视觉空间的相关工作，提出了“城市视觉智能”这一理论框架，系统地讨论了图像数据和人工智能技术如何改变城市研究者对城市进行感知和量化的方法，使得我们可以在各种尺度上探索城市物质环境与人类活动、社会经济环境之间的关系。这些新的方法不仅促使我们重访经典的城市理论和研究领域，而且在当下这个以人工智能和数据驱动为研究范式的时代，助力于创造更符合人类行为模式和需求的城市空间。
图像在城市研究中一直发挥着至关重要和持久的作用，为我们提供了对物质环境的宝贵洞察，并影响了城市规划理论。这种历史重要性对于塑造我们对城市空间、个人、社区影响的理解至关重要。从十九世纪开始，图像促进了对城市空间的审美评价，使研究人员能够观察、记录和评估城市空间的设计、美感和运转（Freestone 2011）。图像在塑造城市规划理论方面也发挥了关键作用，强调了城市环境中美学价值的重要性及其对人类行为的影响（C. Mulford 1899; Cullen 1961; Nasar 1990; Robinson 1903）。使用图像研究城市在过去依赖于手动收集和人工的观察和分析。该领域的先驱，如林奇（1960），使用第一手观察和从一个城市的照片样本来理解和认知城市的主要视觉要素；怀特（1980）手工收集并手动分析了数小时的社区摄像头视频，以研究人类在城市空间中的行为。尽管这些传统方法提供了宝贵的洞察，但在可扩展性和大时空尺度研究的可行性方面存在局限性（Sampson and Raudenbush 1999; Clifton, Livi Smith, and Rodriguez 2007）。随着传感技术、社交媒体平台和志愿者地理信息技术的快速发展，我们现在能够更加有效地收集和利用图像数据，极大地扩展了城市研究的范围和规模（Biljecki and Ito 2021）。不仅如此，强大的计算机视觉和人工智能方法的出现进一步彻底改变了对这些海量图像数据集的分析（Ibrahim, Haworth, and Cheng 2020）。这种数据收集和分析技术的转变，带来了城市视觉研究的新活力。
尽管如此，如何区分和充分有效利用不同视觉数据仍面临挑战；如何发展标准化方法框架来提取和理解这些视觉信息仍然是一个待解决的问题；用于概念化量化城市空间物质环境的方法论尚未完全建立；此外，目前还不清楚这种物质空间量化如何能够系统地加深我们对人地关系的理解，以及它能如何整合或增强经典理论和实践。在本文中，我们梳理了基于视觉信息来理解城市的理论和最近的实证研究，引入了“城市视觉智能”的概念框架，旨在将街道尺度自然影像与人工智能技术有机融合，以便观察、理解、量化城市的物质环境，并进一步理解其与人类活动和社会经济环境间的相互作用和共同演化关系。
图 1. 城市视觉智能的概念框架
城市视觉智能的概念框架旨在不同尺度下——包括视角（Vista）、场景（Scene）、场所（Place）、以及城市（City）——揭示城市物质环境及其与社会经济环境之间的复杂联系，回答其中的关键问题。
视角（Vista）层面回答了街景大数据如何提供一种全新的方式来观察城市物质环境。这种方法不仅超越了传统的实地勘察方法，同时与经典的遥感手段形成互补，强调不同数据源的语义及时空分布特点。
场景（Scene）层面强调街景影像的语义挖掘，回答如何基于前沿的计算机视觉和深度学习方法来理解图片中的对象、语义、及对象间的空间和语义关系。文中详细综述了常见的深度学习模型、地理人工智能方法、面向城市视觉环境的数据集、针对街景影像的计算机视觉任务、以及场景分析和理解技术。
场所（Place）层面回答在影像的语义挖掘基础上，如何基于人工智能技术对场所的物质环境进行量化表达，进一步讨论这些视觉环境是如何影响和塑造个体的空间认知，从而更全面地刻画场所。文中从场所认同（Place identity）、场所构成（Place structure）、场所感知（Place perception）三个方面对当前工作进行了梳理。
城市（City）层面视城市为一个有机整体，探讨基于场所的量化表达，如何在精细时空尺度上理解物质环境与居民活动、社会经济环境之间的相互作用和长期演化关系，及其对城市规划和治理策略的影响。文中从公共健康，交通与移动性、社会经济三方面综述了现有研究。
仅仅使用视觉数据可能无法完全捕捉城市的复杂性，新的数据源和方法也带来了一系列新的挑战。文章讨论这了这一过程中目前存在的问题，其中包括：从场所内建模到场所间推断的可迁移性挑战，从场所个体感知到群体认知中的主观性和文化性挑战，街景分析中的各种不确定性挑战等。同时，文章也讨论了几个未来的工作方向，包括：从街景中挖掘隐含的语义信息，将视觉模态与文本、位置、声音等其他模态进行融合以更好地支持决策，AI驱动的城市场景生成，可解释和可靠的AI模型，以及在挖掘和理解城市的隐藏规律中的机遇。
文中详尽地对每一个层级中的问题、方法、以及现有工作进行了展开，详细内容请参考原文。
1. Zhang, F., Salazar-Miranda, A., Duarte, F., Vale, L., Hack, G., Chen, M., Liu, Y., Batty, M. and Ratti, C., 2024. Urban Visual Intelligence: Studying Cities with Artificial Intelligence and Street-Level Imagery. Annals of the American Association of Geographers, pp.1-22.
论文下载：
https://doi.org/10.1080/24694452.2024.2313515
2. Fan, Z., Zhang, F.*, Loo, B.P. and Ratti, C., 2023. Urban visual intelligence: Uncovering hidden city profiles with street view images. Proceedings of the National Academy of Sciences, 120(27), p.e2220417120.
论文下载：
https://www.pnas.org/doi/full/10.1073/pnas.2220417120
素材来源：S3-Lab
材料整理：张 帆
内容排版：宋 瑞
