2024-11-28
深度学习
00

https://github.com/hiyouga/LLaMA-Factory/issues/3773

格式:

bash
[ { "text": "123124124" }, { "text": "123124124" } ]

用alpaca格式的训练是如何转成c4_demo.json的格式?

是instruction+input+ouput=>text.

不要求很多,c4_demo.json约有128条。

llamafactory-cli export my_examples/auto_gptq.yaml量化

auto_gptq.yaml为:

bash
model_name_or_path: export_output/chat_and_sft/sft_qwen72b_300_chat_v33/ template: qwen ### export export_dir: export_output/chat_and_sft/sft_qwen72b_300_chat_v33_gptq/ export_quantization_bit: 4 export_quantization_dataset: src/c4_demo.json export_size: 2 export_device: cpu export_legacy_format: false
如果对你有用的话,可以打赏哦
打赏
ali pay
wechat pay

本文作者:Dong

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC。本作品采用《知识共享署名-非商业性使用 4.0 国际许可协议》进行许可。您可以在非商业用途下自由转载和修改,但必须注明出处并提供原作者链接。 许可协议。转载请注明出处!