Li Wujun教授是一位通讯作者，硕士Lin Hao（研究生毕业，目前在阿里巴巴工作），Wu Ke和Li Jie是第一作者，而Doctor的学生Li Jun是参与者的作者。高昂的培训成本已成为大型模型和人工智能可持续发展的主要障碍之一。大型模型的实践经常通过许多机器和许多卡片进行共享培训。大型型号具有出色的培训。尽管硬件足够了，但很有可能不熟悉共享培训的人（在实验中证明它们有64％-87％的可能性）未能成功地运行培训过程，这是由于不合理的超级参数设置（模型是如何划分和良好的，如何划分和良好的是ITTI数据和组织等）。此外，不熟悉共享培训的人倾向于考虑诸如GPU硬件之类的扩展技术时，当他们遇到缓慢的T时会增加大型模型下雨，忽略共享培训算法的垂直扩展作用。实际上，共享培训算法将极大地影响硬件计算强度的使用速率。训练算法分布的高效率具有很高的计算强度。如果您使用相同的硬件计算强度来训练相同的模型，则训练算法分配的高效率要比训练算法的低空分布快，并且可能快很多次甚至数十倍。在轻松参与的情况下，当训练相同的模型时，培训算法分配的高效率小于培训算法的低效率分布，并且可以节省多次甚至数十个小时的计算电源成本。许多现有的分布式培训算法的性能较低，这可能会导致更多的GPU机器和卡片以及较慢的训练速度。 Li Wujun教授的研究Nanjing University的计算机科学学院开发了由UNIAP算法分发的高效率，并开发了基于Uniap的相应大型模型分布式培训平台和轮廓。 Paper Title: Uniap: Inter- and Intra-Payer Automatic Parallelism by Mixed Integer Quadratic Programming Paper Address: https: // arxiv.org/ABS/2307.16375Ap is the first job that can realize the joint optimization of in-layer paralyzed strategies (tensor parallelism, etc. Given a model and hardware, uniap can find high-effort distributed training solutions through automatic search,不仅可以解决效率和成本问题（在实验中，它的速度比最佳现有方法快3.8倍，而且比不使用平行策略优化的算法快9倍），而且还解决了许多人无法成功地运行由于不合理的高参数设置而成功地运行训练过程的问题分割并调整数据等。）当通过培训分配大型模型时，即易于使用的使用。该论文是由CVPR 2025 ASORAL租赁的（所有贡献所有论文的0.7％，所有接受的论文的3.3％）。并行技术中的过程设置是影响共享培训算法有效性的重要因素。当前的当前技术并行包括四种并行技术，包括管道并行性，数据并行性，男高音并行性和全缝数据并行性。这些平行策略可以分为以下两个类别：并行技术中的层：仅切口模型的内部张量，包括以数据并行性，张量并行性，完全共享的数据并行性等表示的并行技术中；层间并行性的策略：仅削减层Ting模型是多个相同的独家子集，包括并行技术，例如管道并行性。基于现有方法，大量的研究工作着重于并行方法的设计。这些并行过程可以根据用户是否需要指定策略的策略：并行和自动过程的制造商，将这些并行过程分为两类。传统的inay手动方法不仅是时间消耗和密集的劳动，而且很难适应复杂的硬件环境。现有的自动并行方法的问题在于，它们将仅考虑两种类型的对准方法之一，或者在分层之间或两种类型的诗歌策略中进行优化，而不是共同优化。通过解决方案，可以提高平行技术的培训效率。 Uniap使用混合整数二次计划进行建模以实现J在并行的层间和层间技术优化。这种联合优化为单尼氏症提供了更多探索方法的空间。 UNIAP架构图如下：UNIAP首先执行硬件和模型性能审查。然后，UNIAP基于模型的性能和计算图测试结果开发成本模型。基于费用模型和计算模型图，UNIAP模型是优化作为二次整数计划问题并将其优化的问题。最后，IUNIAP将优化的结果从向量转换为计算图中表达的类似计划，并为它们提供现有的深入研究平台（例如Pytorch）进行培训。性能审查和模型审查是因为自动平行框架需要在进行共享培训之前优化并行技术，因此轮廓需要模仿共享培训的性能和开销，然后优化仿真结果。因此，对环境和活动的性能进行评论是自动平行的组成部分。具体而言，在“绩效分析”部分中，Uniap将收集硬件和模型性能信息，例如P2P沟通效率，降低沟通效率，计算每个模型层的Pasuloof的时间间接费用，以及用于时间耗费的考虑因素，用于时间耗费的考虑，自动平行框架只能完成有限的绩效评估任务，然后构建基于成本评估模型，然后构建基于成本评估模型。 UNIAP成本模型分为时间和视频记忆成本模型。前者用于使用各种并行技术（包括上述计算时间和上述通信时间）来估算模型上方的时间；后者用于使用各种并行的技术来估计模型的高架内存。目的UNIAP中混合混合二次整数规划的SE是设置平行方法，以便在训练过程中删除每个重复。假设表示模型计算图，以及是否在