中华会展澳鹏中国:大模型开发一站打尽
想要快速工业化量产行业LLM大模型以及生成式AI应用，就需要面向行业的大模型开发平台，这也是2023年下半年的AI市场热点和重点。在2023年上半年，已经有部分科技企业推出了面向行业的大模型定制化开发或解决方案，而专业化的第三方大模型开发平台及端到端AI大模型开发服务，还是市场空白点。
澳鹏智能LLM大模型开发平台由澳鹏中国团队研发，是面向LLM大模型微调（Fine-tune）的开发平台，主要是对业界已有的开源基础大模型进行选型的基础上，再针对游戏、医疗、客服等行业和业务场景大模型进行微调。澳鹏中国产品负责人周波介绍，澳鹏智能LLM大模型开发平台包括数据、模型和计算资源管理三大模块。
澳鹏智能LLM大模型开发平台架构图
对于LLM大模型研发来说，高质量的标注数据十分关键。ChatGPT之所以能脱颖而出，就是引入了高质量的人工标注数据。而对UC伯克利的LLM排行榜分析发现，高质量的微调数据集比模型规模更重要，特别是在预训练和微调阶段管理高质量的数据集，是缩小模型规模同时保持模型高质量的关键方法。越来越多的研究发现，高质量的标注数据对于模型微调结果以及缩小模型规模同时保持模型质量来说，是十分重要甚至是关键方法。
澳鹏智能LLM大模型开发平台的数据模块来自于澳鹏中国的另一个拳头产品：MatrixGo企业级高精度数据标注平台，MatrixGo是面向深度学习和机器学习数据标注的企业级平台，不仅有强大的标注工具集，还有AI辅助标注，灵活、可视的工作流，以及Open API与外部数据平台的集成和数据闭环。澳鹏中国开发团队针对LLM的开发需求，结合MatrixGo的技术，开发了LLM大模型开发平台的数据模块，可确保数据标注质量和效率，同时不断降低标注成本。
澳鹏智能LLM大模型开发平台的数据模块包括数据集管理与数据采集标注，其中：数据集管理包括数据处理、数据检索、数据可视化、数据切片等功能；数据采集标注包括人员管理、工作流引擎、标注工具引擎和自动标算法等功能。
澳鹏智能LLM大模型开发平台的核心为模型模块，包括模型评估、模型微调和模型部署三大部分，其中：模型评估提供了A/B测试、标准语料测试、自定义测试、测试结果可视化和模型分析等功能，模型微调提供了开源模型库、模型管理、训练任务管理等功能，模型部署提供了自动化部署、运行监控、标准API和自动封装SDK等。
模型评估主要服务于开源大模型的选型，包括用标准语料包或是自定义语料包进行测试，针对不同的开源大模型或同一大模型的不同版本进行A/B测试后，对相关测试结果进行分析和可视化，再结合模型参数、占用资源等，选定要进行微调的大模型。
澳鹏智能LLM大模型开发平台模型微调示例
模型微调则是在对选定的大模型，用高质量标注数据和RLHF人工反馈增强学习，针对不同的场景进行微调。模型微调的结果将返回到模型评估，两者联动完成模型迭代，直到达成预期效果。模型部署则是将微调成功后的大模型部署到客户的计算资源环境中，并可以API或SDK方式对外服务。
澳鹏智能LLM大模型开发平台的计算资源管理则是对客户的计算资源进行任务管理和资源调度，包括CPU和GPU的资源，以及对上层应用的支持与调度等。
澳鹏智能LLM大模型开发平台可以使用澳鹏中国自研的基础大模型，也可以使用客户自有或是第三方的开源基础大模型。
在自研基础大模型方面，澳鹏中国研发团队主要基于开源社区的工作，也在横向评估其它的选型方案。澳鹏中国自研大模型的特色，主要是在自有数据集上进行微调，包括通用话题对话以及具有专业性背景的语料等。澳鹏本身就对外提供了超过250个预标注的音频、图像、文字和视频等数据集，这些高质量标注数据集对于大模型预训练来说十分珍贵。此外，澳鹏中国研发团队还在关注学界、工业界的进展，从模型结构、优化方式和部署效率等方面，不断优化自研大模型。
在第三方大模型的合作方面，澳鹏全球与NVIDIA、AWS等深入合作，特别是与NVIDIA等大模型以及企业级AI开发平台的深入合作，将澳鹏的数据工具链、标注众包团队以及数据服务等与大厂的大模型、AI平台和工具等结合，为行业和企业提供端到端的一站式生成式AI解决方案。此外，澳鹏还与Cohere、Reka AI等企业级大模型初创公司合作，强强联合提供高度安全的定制专有模型。在中国，澳鹏中国也与知名基础大模型深入合作，了解这些大模型的特点及可适用场景，为客户提供专业的选型方案和咨询服务。
