人工智能凭借自动化和智能优化的力量实现了复杂任务的自动处理，大语言模型（LLMs）以其卓越的自然语言理解和生成能力，进一步推动了各行各业的智能化变革，引领我们迈入了一个由智能技术主导的新纪元。在这个过程中，大语言模型通过学习海量的人类知识，逐渐形成了对常识和世界观的理解。这种涌现的“智能”不仅仅是数据驱动的结果，更代表了一种新的思维方式和技术能力，使得模型展现出类似人类的认知特征，如理解上下文、推理以及进行创造性思考。这些具备一定“智能”的模型不仅能通过优秀的交互能力显著提高生产效率，还能通过感知世界运行的底层逻辑启发科学发现。在城市科学领域，这些优势将带来一系列颠覆性的变化，催生出新一代的城市感知技术。
大语言模型（LLMs）凭借其在学习人类现有知识的过程中涌现出的常识与世界观，在各个领域引发了智能化变革。作为通过大数据分析城市环境与人类活动的关键领域，城市感知正因LLMs的应用而产生变革。本文将探讨在LLMs的支持下，城市感知技术如何形成以人机交互、认知智能和自主决策为特征的全新阶段，并分析这一过程中可能遇到的潜在挑战。
图1 大语言模型推动下一代城市感知的发展
城市感知通过整合文本、图像、轨迹、社会经济等多模态大数据，研究城市环境与人类活动，以推动高效、可持续的城市规划、发展和管理。城市感知在应对全球性挑战方面发挥着重要作用。例如，他通过对城市环境的细致监测揭示了社会经济差距，支持制定精准政策以减少不平等；同时，它能够通过AI模型优化能源使用效率，从而增强城市对气候变化的适应能力。然而，现有城市感知技术多局限于监测城市现象，如交通流动态或空气质量评估，难以深入探索城市运行的底层机制，这限制了新一代城市感知技术的突破。以GPT、Gemini和LLaMA为代表的大语言模型（LLMs）展现的常识与世界观，包括对时间、空间、物理、社会互动和情感的认知，为城市感知突破当前限制奠定了重要基础。本文探讨了LLMs如何显著推动下一代城市感知的发展，以及这一变革性进程中可能面临的挑战。
常识和世界观将 LLMs 塑造为下一代城市感知的变革性角色
LLMs中的常识与世界观的涌现引领其迈向以交互性（interactivity）、认知智能（cognitive intelligent）和自主决策（automated decision-making）为特征的新一代城市感知。
常识与世界观为LLMs提供了一个接近人类认知的基础框架，使得机器能够以更贴近人类的方式进行思考和交流，这种相似性实现了人与LLMs的高效双向知识交互。通过检索增强生成（RAG）等技术，人们可以向LLMs注入城市领域专业知识或当地情况，如当地人口分布和经济发展数据，从而提升城市感知的准确性和专业性，帮助规划人员获得更有见地的建议。另一方面，LLMs通过其对常识和世界观的理解，促进了更加自然流畅的人机交互，使得城市感知的输出能够以更直观、易于理解的方式呈现给用户，从而变革了城市感知的体验。例如，在公共政策制定中，LLMs可以高效收集并分析公众意见，支持更民主和科学的决策过程。
常识与世界观为LLMs提供了理解城市现象的基础框架，这使得城市感知具备认知智能，从而能够理解城市现象的作用机制——例如天气对出行、社会事件对人群流动的影响。这种理解作为隐性约束，帮助模型有效应对交通事故、公共集会等复杂紧急事件，并专注于高风险区域，从而提高应急管理效率。
将LLMs与多智能体协作，能够使得多智能体系统具备常识与世界观。这让智能体在复杂的城市环境中实现更高层次的自主性和效率，从而推动城市感知从决策支持（decision support）向自主决策（decision making）转变。LLMs通过迭代的决策与响应机制，与多智能体系统形成智能闭环，实现从感知到响应的高效自动化循环。例如，在智能交通系统中，集成LLMs的智能体能利用实时数据预测交通流量、自动调整信号灯，并规划最优行驶路线，以减少拥堵和提升道路使用效率。
尽管LLMs引领着下一代城市感知系统的发展，其应用仍然在技术、文化、隐私等方面面临多重挑战。在技术上，由于城市中存在的多源异构的多模态数据的组织形式与语义内容差异巨大，导致他们难以被高效整合。其次，LLMs缺乏对空间、时间及其关系的精细理解，仅能基于语言处理时空描述，而非形成真实感知。文化上，文化与价值的多样性使LLMs在理解城市现象时可能边缘化少数群体声音，导致潜在的歧视与偏见。对于隐私保护方面，由于LLMs依赖人类活动数据训练，其复杂模型结构可能引发隐私泄露风险。
这些挑战迫使我们改进训练数据的全面性和模型训练过程，以寻求有效的解决方案。通过引入持续学习和基于人类反馈的强化学习（RLHF），以提升LLMs的适应性、社会敏感性和隐私保护能力。
本文探讨了LLMs在城市感知中的潜在应用与挑战，尤其强调了LLMs通过其对常识和世界观的理解，引领以人机交互、认知智能和自主决策为特点的下一代城市感知的突破。
展望未来，我们正处于这一变革时代，开发技术进步与以人为本相融合的城市感知系统至关重要。通过充分释放LLMs的潜力，我们能够为城市感知开创一个新时代，使其不仅更加高效与智能，同时也更加灵活与包容，从而为建设更智慧、更可持续的城市环境做出贡献。
责任编辑
李高才 Yale University
余晓玲 南方科技大学
扫二维码 阅读原文
原文链接：https://www.cell.com/the-innovation/fulltext/S2666-6758(24)00187-5
本文内容来自Cell Press 合作期刊The Innovation 第六卷第一期发表的Perspective文章“Urban sensing in the era of large language models” (投稿: 2024-05-29；接收: 2024-12-01；在线刊出: 2025-01-06)。
DOI：10.1016/j.xinn.2024.100749
引用格式：Hou C., Zhang F., Li Y., et al. (2025). Urban sensing in the era of large language models. The Innovation 6: 100749.
张帆 通讯作者，北京大学地球与空间科学学院研究员，助理教授，博士生导师。曾担任香港科技大学助理教授、麻省理工学院高级研究员。2022年入选国家海外高层次人才引进计划。研究方向为地理人工智能、城市大数据挖掘等。担任《Transactions in Urban Data, Science, and Technology》副主编、《ISPRS Journal of Photogrammetry and Remote Sensing》，《Computers, Environment and Urban Systems》编委等。入选Stanford全球前2%顶尖科学家榜单、荣获2024 CPGIS Young Scholar Award, 2022 Geospatial World 50 Rising Stars、2020 WGDC全球前沿科技青年科学家等荣誉。在PNAS、Nature Communications、Nature Geoscience, Nature Reviews Earth & Environment等期刊发表SCI论文70余篇。
