MinerU Docker自定义版本部署

文档解析利器-MinerU安装使用

MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。

• 删除页眉、页脚、脚注、页码等元素，确保语义连贯
• 输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版
• 保留原文档的结构，包括标题、段落、列表等
• 提取图像、图片描述、表格、表格标题及脚注
• 自动识别并转换文档中的公式为LaTeX格式
• 自动识别并转换文档中的表格为HTML格式
• 自动检测扫描版PDF和乱码PDF，并启用OCR功能
• OCR支持84种语言的检测与识别
• 支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等
  • 支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检
  • 支持纯CPU环境运行，并支持 GPU(CUDA)/NPU(CANN)/MPS 加速
  • 兼容Windows、Linux和Mac平台

官方开源地址

在线客户端地址

安装文档可以参考官方开源地址的README文件，上边有详细的安装教程。

本文介绍如何使用官方指定的vllm容器自定义安装。

一、Docker环境构建

参考MinerUDocker安装文档查阅符合自身GPU的镜像版本:

Mineru-2.5版本开始使用vllm:v0.10.1.1镜像。2.5版本在50系显卡存在多个issue提及无法使用vllm推理，只能使用pipline。最新的2.6版本实测5090可以很好的运行。

1.获取vllm镜像，推荐使用国内镜像源:

docker pull  docker.1ms.run/vllm/vllm-openai:v0.10.1.1

2.创建容器，需要覆盖vllm容器的入口:

docker run -itd \
  --name vllm-mineru \
  --gpus all \
  --ipc host \
  -p 8000:8000 \
  -p 7860:7860 \
  -p 30000:30000 \
  --entrypoint "/bin/bash" \
  docker.1ms.run/vllm/vllm-openai:v0.10.1.1 \
  -c "tail -f /dev/null"

• 进入容器内部:

docker exec -it vllm-mineru /bin/bash

• 安装依赖:

# 依次执行
apt-get update
apt-get install -y fonts-noto-core fonts-noto-cjk fontconfig libgl1  
apt-get install unzip # 如果服务器能够访问github，则可以不安装unzip
fc-cache -fv
apt-get clean
rm -rf /var/lib/apt/lists/*

按照顺序执行以上步骤，mineru的容器环境依赖就算是安装完成。

二、Mineru源码安装

1. 获取源码：

git clone https://github.com/opendatalab/MinerU.git --branch mineru-x.x.x-released --depth 1

• branch分支版本可以在github查阅具体需要安装的版本。例如2.6.2版本:

git clone https://github.com/opendatalab/MinerU.git \-\-branch mineru\-2.6.2\-released \-\-depth 1

如果容器无法访问github，可以手动到指定版本源码仓库下载zip包，通过 docker cp 上传到容器中使用unzip解压。

结果如图:

2. 通过源码安装MinerU

• 安装mineru依赖模块

  # 首先进入源码目录  
  cd MinerU-mineru-2.6.2-released
  # 执行安装命令
  pip install -e .[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

• 下载Mineru模型

  mineru-models-download -s modelscope -m all

到此，mineru就已经安装成功! 值得注意的是，mineru默认使用的模型源为huggingface，国内需要切换到modelscope。

因此，国内用户可以将 export MINERU_MODEL_SOURCE=modelscope 写入 ~/.bashrc文件或任意linux启动时会扫描的环境变量文件中。

模型默认下载路径为：/root/.cache/modelscope/hub/models

三、Mineru启动!!

mineru提供了三种启动方式，mineru-gradio | mineru-api | vllm-server 。
需要一个简洁GUI界面的使用 mineru-gradio，需要使用fast api 服务的使用 mineru-api ，使用vllm-client连接的使用 vllm-server

例如:

mineru-gradio --server-name 0.0.0.0 --server-port 7860 即可在本地启动一个GUI服务。

mineru-api --host 0.0.0.0 --port 8000 --max-workers 16 --batch-size 8 即可在本地启动一个fastApi服务

mineru-openai-server --port 30000 Start openai compatible server (requires vllm or lmdeploy environment)

如果需要修改api接口以兼容本地应用服务的，可以修改源码 cli目录下的 fast_api.py 和 gradio_app.py文件