内容导读
街景影像已经密集地覆盖了城市。近几年来有大量的工作基于街景影像来表征城市街道的物质环境（physical environment），回答城市规划、环境评估、公共健康、社会不平等、交通系统、房地产、城市居民感知以及社区文化等领域的问题。例如，Gebru T （2017）和Fan（2023）的研究基于海量的数据，揭示了街景影像具有预测人口分布和社会经济指标的潜力。然而在基于街景影像来表征城市街道物质环境中依然存在两个关键挑战。
1.现有的研究通常只关注孤立的单个视觉要素（例如树木或建筑）的比例或数量，而不考虑这些元素在街景中的空间排列或邻接关系。在应对特定的城市问题时，这种简化表示无法完全捕捉到城市物质环境的复杂性。街景内部元素之间的空间关系（例如它们的相对位置和布局）对物质环境的感知有着关键影响。例如，如果两张街景图像中的树木比例相同，但在一张图像中树木均匀分布，而在另一张图像中，树木聚集在一端，这将导致这两个位置中的阴影、美学和潜在的行人流量明显不同。因此，第一个研究差距是如何在街道尺度下动态的将街景图像中视觉要素的空间关系纳入考虑，以便将这些信息整合到下游任务中。
2.此外，现有研究缺乏对街道之间的空间依赖和空间交互的综合考虑，在建模人类活动相关任务时表达能力有限。相邻街道通常在外观、人类活动和社会经济属性方面表现出相似性，在进行街道表征时需要将这种空间依赖关系纳入考虑。而城市是人类活动的主要载体，即使是相距很远的街道也可能存在很强的联系。例如工作场所和住宅区之间，或者在商业区和住宅区之间，这常常会导致远距离的潜在的空间交互。这两种空间关系的缺乏些可能无法有效的对街道进行表征和理解。因此，本研究的第二个研究空白在于量化街道之间的这两种空间关系，并将它们融合以更准确地进行街道表征。
为了应对这些挑战，本文提出了一种基于双重空间语义的动态城市街道图表征方法（图1）。
图 1. 论文整体框架：（1）在街道内层面，该框架基于元素邻接矩阵计算加权街景图像语义特征。（2）在街道间层面，该框架构建双重空间语义混合图，结合来自道路网络的空间依赖和来自社会关系的空间交互。（3）该框架开发了基于双重空间语义的动态城市街道图表示方法。（4）它提供了下游任务分析工具，包括准确性评估、空间估计、注意力可视化和可解释分析。模型通过多层迭代更新节点（城市中每一个街道都视为一个节点）特征，用户可以自主选择不同的图神经网络编码器和语义分割模型。
在街道内（intra-street）层面，我们设计了一个动态加权模块，该模块结合了街景图像中视觉要素之间的空间关系，首先，通过语义分割获取每种视觉元素的比例，形成初始特征向量。然后，计算元素的像素相邻关系，生成邻接矩阵，表示各要素的空间分布。通过初始特征向量与邻接矩阵点积，得到了结合了空间邻接信息的加权特征向量，增强了对物质环境的理解。达到“相同元素，不同语义”的自适应调整的效果（图2）。
图 2. 该工作流程图说明了如何将街景图像中的像素邻接关系纳入考虑的过程：（1）将原始全景图像分割成不同语义类别；（2）然后将每个类别像素化以计算元素分布；（3）计算每个视觉要素的空间邻接矩阵；（4）点积得到加权语义特征（相同元素，不同语义）。
而在街道间（inter-street）层面，我们基于路网拓扑和社交媒体中的人类移动（human mobility）轨迹构建了两张图：第一张图考虑街道节点的一阶或二阶邻居，捕捉浅层次的街道之间的空间依赖（topology）关系，另一张图捕捉人类活动带来的远距离空间交互关系。这两个图共同处理前一个模块的输出，融合后的特征用于街道表征任务。两个图分别用于捕捉短距离和长距离空间关系，这种混合空间关系的捕捉超越了“空间接近影响更强”的简单逻辑（图3）。
图 3. 基于双重空间语义的动态城市表示方法的架构示意图。该方法采用浅层参数共享策略，集成自注意力和图卷积层进行动态加权。这种方法有效地将长距离空间交互与近距离空间依赖性融合在一起，增强了模型捕捉全局和局部交通模式的能力。残差连接的加入增强了模型的鲁棒性。由此产生的融合特征为城市街道的学习和表征提供了一种有效的方法。
为了验证我们提出的动态城市图表征方法，我们以街道的交通流估计作为下游任务（它与人类动态和社会经济高度相关），并研究了不同视觉元素对城市交通流的可解释影响。我们的方法分别在车速和流量估计的任务中提高了 2.4% 和 6.4%的准确率。这表明街景影像不仅提供了有关城市交通的丰富视觉信息，而且也验证了我们表征结果的质量。此外，我们的空间可解释性分析表明，如果不考虑潜在的空间交互关系，传统图模型将会显著低估高密度城市中心的交通拥堵程度。
论文发表于ISPRS Journal of Photogrammetry and Remote Sensing（https://doi.org/10.1016/j.isprsjprs.2024.09.032）
论文的相关代码开源在：
https://github.com/yemanzhongting/HybridGraph
引用:
[1] Zhang Yan, Li Yong, Zhang Fan*. Multi-level urban street representation with street-view imagery and hybrid semantic graph[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2024, 218: 19-32.
[2] Gebru Timnit, Krause Jonathan, Wang Yilun, et al. Using deep learning and Google Street View to estimate the demographic makeup of neighborhoods across the United States[J]. Proceedings of the National Academy of Sciences, 2017, 114(50): 13108-13113.
[3] Fan Zhuangyuan, Zhang Fan*, Loo B P Y, et al. Urban visual intelligence: Uncovering hidden city profiles with street view images[J]. Proceedings of the National Academy of Sciences, 2023, 120(27): e2220417120.
