基于视觉语言模型与优化的城市3D植被布局生成方法

植被在城市中扮演着核心角色，承担着平衡遮荫与天空可视性、塑造微气候、固碳以及提供声学遮蔽等功能。此外，景观风格（如规则式、现代主义、风景式）的美学选择对市民福祉至关重要，应在城市景观设计中得到充分考虑。 本文提出了一种新颖的植被放置方法，适用于从灌木到大型乔木的各类植物，可应用于三维城市场景中。该方法以独立地块为输入，利用条件视觉语言模型（VLM）生成植被的俯视渲染图，并在草坪区域布置大型乔木、小型乔木和灌木。随后，通过检测单个植物个体并匹配相应的 3D 资产，将渲染图转换为三维场景。 为优化所提出的配置方案，我们设计了一个迭代优化流程：在确定性可行性修复后固定 VLM 生成的位置，并采用 CMA-ES 算法对每个实例的尺度变换及离散的植被资产替换进行联合优化。为构建优化的目标函数，我们利用高效的遮荫与基于路径的声学暴露代理模型来评估生成的三维场景。此外，我们在每次优化步骤中渲染场景内视角图像，以计算视角相关的感知描述符，从而能够生成既具美学价值又满足功能需求的城市场景植被布局。