1. 3D 仿生建筑师 AI 智能体架构

3D 生物建筑师 AI 智能体旨在通过文本和图像参考学习特定类型的生物智能,生成结构设计输出(假设、视觉描述和图像可视化)。
notion image

2. 实现3D 生物建筑师

请下载并打开以下工作流程。🔽
通过网盘分享的文件:L3-3D仿生建筑师.json 链接: https://pan.baidu.com/s/1jttH1rbe9UEQl6nPpOK3jw?pwd=c6qx 提取码: c6qx
notion image
你可以使用珊瑚的图像进行测试。
notion image

3. 工作流程解释

3.1 基本参数

模型名称及图片上传

notion image
在这个工作流中,由于加入了图片理解能力,因此使用两个模型,一个为常见的文字处理模型(deepseekV3),另一个是能够“观察”和“理解”图片的多模态模型,需要注意两个模型的名称并不一样。 图片上传区上传你希望 AI 观察作为参考的图片

种子/seed

notion image
设置模型参数。注意模型种子(model seed),默认情况下,它会在每轮运行后更新,这意味着即使输入相同,它也会不断生成新的输出。

温度/temperature

notion image
Temperature/温度数值
控制的是大语言模型的自由发挥程度,越接近0答案会越“准确和保守谨慎”,越接近1会越“有趣和放飞自我”。

3.2 大语言模型文字处理部分

LLM“大脑”用于处理 COT(思维链)。前一个模型的输出将作为用户提示输入到下一个节点。
notion image
当你更改图像时,请记住在此处保持生物名称与图像一致。
notion image
你也可以在第二个“大脑”中更改设计目标建筑类型。
notion image
 

3.3 图像生成部分

你可以像在普通工作流程中一样更改图像生成参数。
💡
如果你想测试相同的图像提示输入,可以在其他独立的图像生成工作流程中进行,而不是运行整个3D 生物建筑师。因为运行 LLM 工作流程会消耗 token 费用。
Ps:本流程中使用的 SDXL 模型,以期获得更好的效果,如果你不想下载新模型,也可以使用 sd 1.5模型,但是注意要将生成图片的尺寸修改回 512x512。 SDXL 模型下载地址:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0.safetensors
notion image
 

4. 进一步思考

4.1 提高输出质量的技巧

  • 微调提示(借助 AI 的帮助)
  • 更换更强大的模型(如 gpt-4o、Claude、DeepseekR1)。
  • 升级图像生成部分:
    • 使用增强的风格 LoRA。
    • 使用更好的基础模型(如微调的 SDXL 或 Flux)。
  • 更改思维链的结构。

4.2 更复杂和强大的 AI 代理

  • 我们能否将其与其他图像输入控制方法结合使用?(例如 ip-adapter)。
  • 我们能否使用 AI 代理来批评其自身的输出并实现自我改进?
Loading...