type
Page
status
Invisible
date
Jan 26, 2025
slug
summary
tags
国美
艺术
教程
category
知识分享
icon
password
URL

1. 3D 仿生建筑师 AI 智能体架构

3D 生物建筑师 AI 智能体旨在通过文本和图像参考学习特定类型的生物智能,生成结构设计输出(假设、视觉描述和图像可视化)。
notion image

2. 实现3D 生物建筑师

请下载并打开以下工作流程。🔽
通过网盘分享的文件:L3-3D仿生建筑师.json 链接: https://pan.baidu.com/s/1jttH1rbe9UEQl6nPpOK3jw?pwd=c6qx 提取码: c6qx
notion image
你可以使用珊瑚的图像进行测试。
notion image

3. 工作流程解释

3.1 基本参数

模型名称及图片上传

notion image
在这个工作流中,由于加入了图片理解能力,因此使用两个模型,一个为常见的文字处理模型(deepseekV3),另一个是能够“观察”和“理解”图片的多模态模型,需要注意两个模型的名称并不一样。 图片上传区上传你希望 AI 观察作为参考的图片

种子/seed

notion image
设置模型参数。注意模型种子(model seed),默认情况下,它会在每轮运行后更新,这意味着即使输入相同,它也会不断生成新的输出。

温度/temperature

notion image
Temperature/温度数值
控制的是大语言模型的自由发挥程度,越接近0答案会越“准确和保守谨慎”,越接近1会越“有趣和放飞自我”。

3.2 大语言模型文字处理部分

LLM“大脑”用于处理 COT(思维链)。前一个模型的输出将作为用户提示输入到下一个节点。
notion image
当你更改图像时,请记住在此处保持生物名称与图像一致。
notion image
你也可以在第二个“大脑”中更改设计目标建筑类型。
notion image
 

3.3 图像生成部分

你可以像在普通工作流程中一样更改图像生成参数。
💡
如果你想测试相同的图像提示输入,可以在其他独立的图像生成工作流程中进行,而不是运行整个3D 生物建筑师。因为运行 LLM 工作流程会消耗 token 费用。
Ps:本流程中使用的 SDXL 模型,以期获得更好的效果,如果你不想下载新模型,也可以使用 sd 1.5模型,但是注意要将生成图片的尺寸修改回 512x512。 SDXL 模型下载地址:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0.safetensors
notion image
 

4. 进一步思考

4.1 提高输出质量的技巧

  • 微调提示(借助 AI 的帮助)
  • 更换更强大的模型(如 gpt-4o、Claude、DeepseekR1)。
  • 升级图像生成部分:
    • 使用增强的风格 LoRA。
    • 使用更好的基础模型(如微调的 SDXL 或 Flux)。
  • 更改思维链的结构。

4.2 更复杂和强大的 AI 代理

  • 我们能否将其与其他图像输入控制方法结合使用?(例如 ip-adapter)。
  • 我们能否使用 AI 代理来批评其自身的输出并实现自我改进?
Loading...