https://github.com/hiyouga/LLaMA-Factory/issues/3773
格式:
bash[
{
"text": "123124124"
},
{
"text": "123124124"
}
]
用alpaca格式的训练是如何转成c4_demo.json的格式?
是instruction+input+ouput=>text.
不要求很多,c4_demo.json约有128条。
llamafactory-cli export my_examples/auto_gptq.yaml量化
auto_gptq.yaml为:
bashmodel_name_or_path: export_output/chat_and_sft/sft_qwen72b_300_chat_v33/
template: qwen
### export
export_dir: export_output/chat_and_sft/sft_qwen72b_300_chat_v33_gptq/
export_quantization_bit: 4
export_quantization_dataset: src/c4_demo.json
export_size: 2
export_device: cpu
export_legacy_format: false
本文作者:Dong
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 CC BY-NC。本作品采用《知识共享署名-非商业性使用 4.0 国际许可协议》进行许可。您可以在非商业用途下自由转载和修改,但必须注明出处并提供原作者链接。 许可协议。转载请注明出处!