CSGHub大模型资产管理平台

CSGHub平台简介

CSGHub是OpenCSG开放传神公司推出的大模型管理平台，致力于为用户带来针对大模型原生设计的、可私有化部署离线运行的资产管理平台。

CSGHub的使命是为用户提供一个开源开放的、针对大模型原生设计的资产管理平台，支持私有化部署和离线运行。我们的目标是为用户创造一个安全、高效且可信赖的环境，使其能够更好地管理和运用大模型核心资产数据。

CSGHub实现了类似私有化Huggingface的功能，以类比OpenStack Glance管理虚拟机镜像、Harbor管理容器镜像以及Sonatype Nexus管理制品的方式，以开源软件的方式实现对LLM资产的安全、高效管理。

1. 功能特点

CSGHub平台的功能具有以下几个特点：

• 资产统一管理： 一站式Hub统一管理模型文件、数据集、大模型应用代码。

• 研发生态兼容： 提供多种SDK工具，同时支持兼容transform sdk，方便对接用户已有项目。支持HTTPS和SSH协议的Git命令和Web界面操作， 确保不同用户均可方便使用。

• 大模型能力扩展：原生支持版本化管理、模型格式转化、数据自动预处理、数据集预览等功能。

• 权限与安全： 支持与企业用户系统集成、支持资产可见范围设置、外内部接口鉴权设计，满足企业安全需求。

• 私有化部署支持： 无互联网依赖、无云厂商依赖等外部依赖，可一键启动私有化部署。

2. 技术特点

在技术选型及技术方案上，CSGHub平台具有以下几个特点：

• CSGHub整合了多源Git Server、Git LFS大文件存储协议和对象存储OSS等技术，提供可靠的数据存储层、灵活的基础设施接入层和高兼容的研发工具支持。

• 通过服务化的架构， CSGHub提供CSGHub Server后台服务和CSGHub Web Service的管理界面，普通用户可以快速使用Docker compose或Kubernetes Helm Chart启动服务，实现生产级的资产管理。具备自研能力的用户可利用CSGHub Server进行二次开发，将管理功能集成到外部系统或自定义高级功能。

• CSGHub借助Apache Arrow和DuckDB等优秀开源项目，支持Parquet数据文件格式的预览，便于算法研究人员和爱好者进行本地化数据集管理。

• CSGHub提供直观的Web界面和面向企业组织架构的权限设计，用户可通过Web UI实现版本控制管理、在线浏览和下载，也可以设置数据集和模型文件的可见范围，实现数据安全隔离，还可以对模型和数据集发起话题讨论。

2. 平台功能模块

1. 资产管理

1. 模型管理

   1. 提供模型存储功能，包括机器学习模型和大语言模型

   2. 提供新建、删除、修改和查询功能

   3. 提供模型版本控制功能，支持模型的迭代和优化

2. 数据集管理

   1. 提供数据集存储功能

   2. 提供新建、删除、修改和查询功能

   3. 提供数据版本控制功能，确保数据变更可追溯

3. 代码仓库管理

   1. 提供代码仓库存储功能

   2. 提供新建、删除、修改和查询功能

   3. 提供版本控制功能

4. 大文件支持

   1. 支持超大规模（>100TB) 文件存储

   2. 支持大文件的上传、下载

5. Web端在线编辑

   1. 支持在Web端预览文本文件

   2. 支持在Web端上传、下载文件

   3. 支持在Web端在线编辑文件

6. 数据集查看

   1. 支持在Web端预览查看Parquet格式的数据集，便于快速检查和分析

7. 资产元数据管理

   1. 为各项资产提供详尽的分类标签，便于快速检索和管理

   2. 支持模型的任务、语言、框架、License标签管理

   3. 支持数据集的任务、语言、License标签管理

   4. 支持代码的License标签管理

2. AI应用

1. 应用空间

   1. 用户可以在应用空间内快速展示模型的能力，搭建并测试应用原型，提升开发效率

   2. 支持用户进行应用的新建、删除、修改和查询操作

   3. 集成了Gradio和Streamlit等流行的应用SDK，用户可以轻松地搭建交互式应用

2. 一键启动模型推理服务

   1. 用户可以一键启动模型的推理服务，无需复杂的配置，简化部署流程

   2. 自动适配优化运行环境，确保模型推理服务的稳定性和高效性

   3. 提供的推理服务可以轻松集成到现有的应用中，加速应用的开发和上线

   4. 支持vllm，TGI等主流推理框架

3. 一键启动模型微调训练

   1. 使用户能够一键开启针对特定数据集的模型微调训练任务

   2. 支持不同的训练参数自定义设置，为用户提供灵活的微调选项

   3. 集成训练监控功能，用户可以实时跟踪训练进度和性能指标

4. 模型推理优化

   1. 针对特定模型，提供模型推理调优服务

   2. 针对企业的业务场景，提升模型在生产环境中的表现

   3. 根据不同企业和模型的具体需求，提供定制化的推理优化解决方案

5. 数据格式转化

   1. 支持常见的数据格式转化，如将CSV、JSON等格式转换为模型训练或推理所需的数据格式

   2. 提供易于使用的转换工具，用户可以快速完成数据格式的转换工作

   3. 提供数据处理工具，完成从数据采集、清洗、标注到入库的一整套流程

6. 资产Copilot

   1. 提供资产管理助手，辅助用户更便捷的使用CSGHub

7. 私有化模型版资产Copilot

   1. 提供资产管理助手的私有化部署

3. 多源数据同步

1. 查看OpenCSG传神社区源数据

   1. 启动CSGHub之后可实时浏览查看传神社区的模型及数据集，及时获取最新或者最热门的模型和数据集

   2. 可实时感知用户同步的模型数据源是否有更新

2. 模型/数据集推荐

   1. 可根据企业实际的业务场景推荐模型

   2. 可根据微调模型的特点推荐模型和数据集

3. 同步OpenCSG传神社区模型

   1. 支持通过同步服务下载传神社区的模型（不同版本资源限制不同）

4. 同步OpenCSG传神社区数据集

   1. 支持通过同步服务下载传神社区的数据集（不同版本资源限制不同）

4. 安全合规

1. 自定义资产元数据

   1. 允许用户自定义资产标签，为用户提供更灵活的资产标记和分类方法

   2. 通过自定义标签，增强资产检索的准确性和便捷性

2. 模型和License合规性溯源与验证

   1. 对模型使用的许可证（License）进行合规性检查，确保所有使用的模型和库符合所需的授权条件

   2. 提供溯源功能，以确保模型及其组件的使用完全符合法律和规范要求

3. 数据完整性校验机制

   1. 采用高效的数据完整性校验算法，确保数据在传输和存储过程中保持未被篡改。

   2. 及时检测并纠正可能出现的数据错误，确保数据的准确性

4. 高可用

   1. 构建高可用的系统架构，确保服务在各种情况下均能稳定运行。

   2. 通过冗余备份机制，提高系统容错能力，避免单点故障导致的服务中断

   3. 实现负载均衡和动态资源调度，确保高并发情况下的服务响应速度和稳定性

5. 灾难恢复

   1. 设计灾难恢复计划，确保在出现系统故障时可以快速恢复服务

   2. 通过定期备份和快照技术保护关键数据

   3. 制定详细的灾难恢复策略和步骤，降低灾难发生对业务连续性的影