type
status
date
slug
summary
tags
category
icon
password
URL
by Simon Meng, mp.weixin.qq.com • See original
大语言模型越来越大,仿佛要接管一切。但是,好像还没有人把“空间”视作一种可被LLM兼容的一种“模态”🤔——这里的空间不是狭义的3D模型或点云,而是包含人的感知习惯的空间关系——例如,在一条狭长昏暗的甬道的尽头,人们会期待一个明亮静谧的庭院,在庭院旁边则应该有一间舒适的房间;而这种关系,对于人们在虚拟世界获得舒适的感受至关重要。
所以,我们作为一群技术狂热又心有不甘的“跑路”建筑师😂,自研了可以习得空间拓扑关系等建筑学经验的GNN(图网络)模型,重新连接LLM和游戏引擎+3D资产,使LLM输出的局部而抽象的空间描述能快速转换为完全可通行、可沉浸式体验且符合人类感知习惯的3D(游戏关卡)场景原型,并且支持通过对话再次快速修改和调整!
🤩我们最终将创建的跨模态空间推理模型,将Ready for 山雨欲来的AI native game + XR + 元宇宙时代!
🤗而这只是我们空间计算研究的一个切面,我们的wip研究还包括泛神经辐射场类(泛nerf)基于文字输入和LLM对话的全场景3D内容迁移等。我们深知这些是难但是正确的事,还好我们足够幸运,完成了奇绩创坛领投种子轮融资,让梦想得以延续。
- 作者:Simon阿蒙
- 链接:https://shengyu.me//article/LLM-SPACE
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章