MindFormers：一套全面的大模型训练和部署开发工具

MindSpore Transformers，简称MindFormers，是一套全面的开发工具，旨在支持大型模型的训练、微调、评估、推理到部署的全过程。该套件特别针对业界流行的Transformer类预训练模型，支持SOTA（State of the Art）的下游任务应用，并提供了多样的并行运算特性。

MindFormers特色功能

一行代码切换：用户可通过简单的一行代码实现从单卡到多卡甚至是大规模集群的训练模式切换。
并行配置个性化：根据具体需求，用户可以灵活设置并行配置，实现数据与模型的最优并行策略。
拓扑感知：自动感知硬件拓扑，有效整合数据并行与模型并行策略，提升运算效率。
组件化配置：支持自定义配置诸如优化器、学习策略等模块，灵活应对不同训练需求。
高级接口：提供Trainer、pipeline、AutoClass等高阶易用接口，简化开发过程。
权重管理：支持预置SOTA模型权重的自动下载与加载，便捷用户实验与部署。
平台兼容性：完善的计算中心迁移部署支持，确保从实验到生产的无缝过渡。

安装与配置

MindFormers支持多种安装方式，包括源码编译和Docker镜像安装。源码安装适合需要自定义修改或者想要了解底层实现的用户，而Docker镜像安装则更加快捷方便。

源码编译安装：

    
    git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh

Docker镜像安装：

    
    docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers0.8.0_mindspore2.2.0:aarch_20231025

快速上手

MindFormers提供了灵活的使用方式，包括使用脚本直接启动训练或通过API调用进行更高级的操作。

脚本启动训练：

    
    git clone -b dev https://gitee.com/mindspore/mindformers.git
cd mindformers
# 修改相应的配置文件后
bash scripts/run_distribute.sh RANK_TABLE_FILE CONFIG_PATH [0,8) train

API启动：使用Trainer接口可以轻松进行模型的训练、微调和评估。

    
    import mindspore
mindspore.set_context(mode=mindspore.PYNATIVE_MODE, device_id=0)
from mindformers import Trainer

cls_trainer = Trainer(task='text_generation', model='gpt2', data_path='your_data_path')
cls_trainer.train()

MindSpore Transformers套件为AI研发人员提供了一个强大、灵活且高效的开发环境，支持从模型训练到部署的全流程，助力用户在AI领域的创新和应用。