DeepSeek-VL2部署教程

      一、介绍

今天，我们自豪地宣布了 DeepSeek-VL这一创新系列一组先进的大型混合专家 (MoE) 视觉语言模型。相较于其前身 DeepSeek-VL，DeepSeek-VL在多个任务上展示了显著的提升，包括视觉问答、光学字符识别和文档/表格/图表理解等方面。DeepSeek-VL系列由三个版本构成：DeepSeek-VLTiny、DeepSeek-VLSmall 和 DeepSeek-VL每个版本都配备了不同数量的激活参数： - DeepSeek-VLTiny 有 激活参数； - DeepSeek-VLSmall 有 激活参数； - DeepSeek-VL最终版本拥有 激活参数。与现有的开源密集和基于 MoE 的模型相比，DeepSeek-VL在性能上实现了显著的提升，并且在激活参数数量方面具有竞争力或更少。这一系列创新将进一步推动视觉语言模型的发展，为更多复杂任务提供有力支持。

      二、部署过程

      基础环境最低要求说明：

      1. 更新基础软件包

      查看系统版本信息

      配置 apt 国内源

这个命令用于更新本地软件包索引。它会从所有配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是在安装新软件包或进行软件包升级之前推荐的步骤，因为它确保您获取的是最新版本的软件包。

此命令旨在安装Vim文本编辑器。选择是以自动解答所有提示，简化了安装过程。Vim是一款功能强大且常用的程序，适用于编写代码和设置文件的编辑。

      为了安全起见，先备份当前的 sources.list 文件之后，再进行修改：

此操作确保了数据的完整性和安全性，当您在编辑现有文件时发生错误时，可以立即修复或恢复至原始状态。这样做的好处在于，即使在更新或安装过程中遇到问题，也能快速且方便地返回到之前的状态。

使用 Vim 编辑器打开指定文件，可对 APT 管理的软件源进行修改与管理。此操作允许您调整软件包列表中的来源配置，包括新增、调整现有来源的优先级或是移除无效来源。

在 Vim 中，您可以使用方向键移动光标，i 键进入插入模式（可开始编辑文本），Esc 键退出插入模式；：wq 命令保存并退出，：q! 则不保存更改直接退出 Vim。

编辑sources.list文件时，务必谨慎行事，因为错误的源可能导致软件包安装失败或引发系统安全风险。特别是对于初次尝试使用新软件源的用户而言，事先了解相关信息尤为重要。因此，在决定添加新软件源之前，请先查阅可靠资料或向有经验的Linux用户提供咨询。确保您的操作不会对系统造成负面影响，从而保障系统正常运行和安全稳定。

      使用 Vim 编辑器打开 文件，复制以下代码替换 里面的全部代码，配置 apt 国内阿里源。

      安装常用软件和工具

      出现以下页面，说明国内apt源已替换成功，且能正常安装apt软件和工具

      2. 安装 NVIDIA CUDA Toolkit 12.1

       下载 CUDA Keyring ：

      这个命令用于下载 CUDA 的 GPG 密钥环，它用于验证 CUDA 软件包的签名。这是确保软件包安全性的一个重要步骤。

       安装 CUDA Keyring ：

      使用 安装下载的密钥环。这是必要的，以便 能够验证从 NVIDIA 仓库下载的软件包的签名。

       删除旧的 apt 密钥(如果必要) ：

这一步可能不是必须的，除非你确信是与CUDA相关联的旧密钥，并且你希望从系统中删除它以避免混淆。通常情况下，如果你只是安装CUDA并使用NVIDIA提供的最新密钥环，这步可跳过。

       更新 apt 包列表 ：

      更新 apt 的软件包列表，以便包括刚刚通过 添加的 NVIDIA 仓库中的软件包。

       安装 CUDA Toolkit ：

      出现以下页面，说明 NVIDIA CUDA Toolkit 12.1 安装成功

&nbs...注意：这里可能存在一个问题。NVIDIA 官方 Ubuntu 仓库中可能不包含直接名为 cuda-toolkit-的包。通常，您会安装一个名为 cuda 或 cuda-的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请检查 NVIDIA 的官方文档或仓库，以确认正确的包名。

如果您正在寻找安装特定版本的CUDA Toolkit，请尝试使用cuda-包（如可用）。若无，则可从NVIDIA官网下载CUDA Toolkit的. run安装程序，进行手动安装。

      请确保您查看 NVIDIA 的官方文档或 Ubuntu 的 NVIDIA CUDA 仓库以获取最准确的包名和安装指令。

       出现以上情况，需要配置 NVIDIA CUDA Toolkit 12.1 系统环境变量

      编辑 ~/.bashrc 文件

      插入以下环境变量

      激活 ~/.bashrc 文件

      查看cuda系统环境变量

      3. 安装 Miniconda

       下载 Miniconda 安装脚本 ：

使用 wget 下载 Miniconda 安装脚本：从 Anaconda 官方仓库获取 MiniConda。它是一个轻量级版本，包含 Anaconda 核心组件，用于管理和安装 Python 包。

       运行 Miniconda 安装脚本 ：

       使用 bash 命令运行下载的 Miniconda 安装脚本。这将启动 Miniconda 的安装过程。

      按下回车键(enter)

      输入yes

      输入yes

      安装成功如下图所示

      pip配置清华源加速

      加入以下代码

      注意事项：

       请确保您的系统是 Linux x86_64 架构，因为下载的 Miniconda 版本是为该架构设计的。

       在运行安装脚本之前，您可能需要使用 chmod +x Miniconda3-latest-Linux-x86_64.sh 命令给予脚本执行权限。

在安装时，你须确认接受许可协议并启动Miniconda的初始设置。一般情况下选择“是”即可完成此过程。

       安装完成后，您可以使用 conda 命令来管理 Python 环境和包。

如果您遇到无法访问或解析链接的问题，可能是由于网络故障或是链接自身错误。尝试重新连接网络并确认链接是否为最新有效版本。若问题依旧，请直接访问Anaconda官网以获得更新的下载链接。

      4. 从 github 仓库 克隆项目

       克隆存储库：

      5. 创建虚拟环境

      6. 安装模型依赖库

       切换到项目目录、激活 trellis 虚拟环境、安装 requirements.txt 依赖

      7. 下载预训练模型

       下载预训练权重

      8. 运行 gradio_demo.py 文件

      三、网页演示

      出现以下 Gradio 页面，即是模型已搭建完成。