Qwen/Qwen3-4B-Instruct-2507

[K-zhy]

非常有趣的工作，另外想问一下作者有尝试Qwen/Qwen3-4B-Instruct-2507 在 BIRD dev 上的效果吗？
我这边发现这个模型达到了EX Accuracy (greedy search): 0.6173402868318123 ，这合理吗？
不知是不是我的测评方法问题：
测评数据: cycloneboy/bird_train (validation)
脚本：
OmniSQL/train_and_evaluate/infer.py
OmniSQL/train_and_evaluate/evaluate_bird.py

[CycloneBoy]

我当时由于资源有限没有测试这个Qwen/Qwen3-4B-Instruct-2507 这个模型。你测试结果应该符合预期，qwen3训练数据中增加了很多code数据集,SQL生成能力得到加强。我在另外一篇论文slm-sql中测试了几款小模型的Sql生成能力，Qwen3-0.6B就表现很强

[K-zhy]

感谢回复，想问一下您做测评也是直接在这个 cycloneboy/bird_train (validation) 会改提示词或者其他的配置吗？谢谢