1. 引言

在深度学习模型训练过程中，随着模型的复杂度增加和数据量的增多，单机单卡的计算能力逐渐无法满足需求。多机多卡分布式训练可以显著缩短训练时间，并提高训练效率。本文将介绍如何构建一个适合的多机多卡训练环境，利用Kubernetes（K8s）来进行分布式训练资源的管理与调度。

多机多卡深度学习训练：Python torch.distributed.launch、torchrun、accelerate 和 deepspeed 对比解析

随着深度学习模型规模的迅速增长，单机单卡的计算能力往往不足以满足训练需求。在多机多卡的环境中，分布式训练技术成为了加速训练的关键。本文将从工具角度出发，探讨几种常用的分布式训练工具：python -m torch.distributed.launch、torchrun、accelerate 和 deepspeed，分析它们的特点、优势、底层架构、如何使用以及是否可以交互使用。类似的还有Horovod、Ray Train，这里不介绍。

在深度学习、大规模并行计算等高性能计算场景中，多机多卡训练（multi-node, multi-GPU training）是关键技术之一，它能够大幅提升训练速度并处理超大规模数据集。然而，在多机多卡的分布式训练中，如何实现各个计算单元之间的高效通信和数据传输是一个非常重要的问题。本文将基于以下几个技术点来详细探讨如何构建多机多卡的训练环境：NVLink、RDMA、NCCL_IB_DISABLE，并分析这些技术如何在分布式训练中确保高效的数据通信。

FakeLocation 可以辅助Android的一些便捷开发，但有时候打开后就有强制更新弹窗，很烦人。

看b站教程，可以用magisk+lsposed 里阻止弹窗，我以小米6测试一下如何使用。

LSPosed 安装教程的总纲是这样： https://github.com/LSPosed/LSPosed/wiki/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8

如何评估大语言模型（LLM）性能

训练了一个大型语言模型（LLM）后，接下来的关键问题就是如何评估模型的好坏。评估LLM的性能不仅涉及到对模型的语言生成能力的测量，还包括对其通用性、鲁棒性和适应性等多个维度的考察。

本文将从以下几个方面探讨评估LLM的常用方法，并介绍各种评估指标与实践技巧。