请问有自定义模型和损失的教程吗

[Creator404]

针对于Qwen3-VL等模型需要添加自定义的模块进行训练，官方文档没有找到对应的自定义模型相关的教程，请问这个目前有样例/后续会提供样例支持吗

[windreamer]

你好 👋 感谢反馈！这里简单说明一下。

如果你只是想拿 Qwen3-VL 来做 SFT/微调，其实开箱即用的配置已经够用了；但如果确实想自定义结构或损失，v1 是支持的，相关说明在「进阶教程」里：

1) 自定义模型结构

v1 的多模态模型都走 Compose 机制：把 vision encoder + projector + language model 组合起来。要换/加模块时，照着 Qwen3VLBaseConfig 这套继承 BaseComposeConfig 来写即可——分别实现 vision_config / projector_config / text_config 三部分。文档「进阶教程 → 模型」里有完整的继承关系说明，可以作为参考起点：
https://xtuner.readthedocs.io/zh-cn/latest/pretrain_sft/advanced_tutorial/model.html

2) 自定义损失

「进阶教程 → 损失函数」里有一节专门讲 Custom Loss：继承 BaseLossConfig / BaseLossContext，实现 build_batches_loss_kwargs 和 loss_fn 两个接口即可。该文档也讲了 loss 的全局校准、chunk 模式省显存等机制，自定义时可以复用：
https://xtuner.readthedocs.io/zh-cn/latest/pretrain_sft/advanced_tutorial/loss.html

如果这些还不能覆盖你的需求，方便说一下具体想加什么模块、训练目标是什么吗？我们看看是否需要补一个更针对性的样例 😊

---

Hi 👋 Thanks for the feedback! A quick note here.

If you just want to run SFT/fine-tuning on Qwen3-VL, the out-of-the-box config is already enough; but if you do need to customize the structure or loss, v1 supports it, and the relevant docs are in the "Advanced Tutorial":

1) Custom model structure

Multimodal models in v1 all follow a Compose mechanism: combining a vision encoder + projector + language model. When you need to swap/add a module, you can follow the Qwen3VLBaseConfig pattern and inherit from BaseComposeConfig — implementing the vision_config / projector_config / text_config parts respectively. The "Advanced Tutorial → Model" doc has the full inheritance hierarchy, which is a good starting point:
https://xtuner.readthedocs.io/zh-cn/latest/pretrain_sft/advanced_tutorial/model.html

2) Custom loss

The "Advanced Tutorial → Loss" doc has a dedicated section on Custom Loss: inherit BaseLossConfig / BaseLossContext and implement the two interfaces build_batches_loss_kwargs and loss_fn. It also covers loss global calibration and the chunk mode for memory savings, which you can reuse when customizing:
https://xtuner.readthedocs.io/zh-cn/latest/pretrain_sft/advanced_tutorial/loss.html

If these don't cover your needs, could you share what module you want to add and what the training objective is? We can then see whether a more targeted sample is needed 😊

[Creator404]

比如我需要以当前的Qwen3-VL的模型基础上添加一些自定义TOKEN（Learnable Query以及新的词汇如[TOKEN]），在Projector层后会添加一个自定义的Memory模块。根据新的Qwen3-VL模型forward后对应的last_hidden_states作为SAM2修改版后的输入进行端到端训练，Loss由LLM的Loss+SAM2的Loss合并而成

[HAOCHENYE]

https://github.com/InternLM/xtuner/blob/main/xtuner/v1/model/compose/qwen3_vl/modeling_qwen3_vl.py#L205

你可以在类似这样的代码里添加自定义模块，并为其添加损失，正常情况下你写一些 naive 的 PyTorch 代码就可以实现。虽然可能会有一些梯度校准的问题，但是你可以先在梯度累加为 1 的情况下先简单验证一下自己的想法