llava1.5-部署

llava1.5 ——demo部署

下载代码和权重

新建weights文件夹,并下载到LLaVA/weights/中。->需要修改文件名为llava-版本,例如llava-v1.5-7b.
在这里插入图片描述

运行

  • 启动控制台
python -m llava.serve.controller --host 0.0.0.0 --port 4006
  • 启动gradio
python -m llava.serve.gradio_web_server --controller http://localhost:4006  --model-list-mode reload --share
  • 真正工作的woker,启动模型
python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:4006 --port 2006 --worker http://localhost:2006 --model-path /ark-local-data/licc/code/LLaVA/llava-v1.5-7b 
  • 注意!权重的文件名需要保持为“llava-v1.5-7b”格式,因为代码会通过名字,解析成相应的模型结构。

运行时会加载"mm_vision_tower": “openai/clip-vit-large-patch14-336”,代码位于LLaVA/llava/model/multimodal_encoder/builder.py,由于网络不通,需要提前下载vit模型,并修改config.json中的vision路径:LLaVA/weights/config.json,mm_vision_tower:{vision_model_path}.

cli命令行对话:

python -m llava.serve.cli     --model-path /code/LLaVA/llava-v1.5-7b     --image-file "https://llava-vl.github.io/static/images/view.jpg"     --load-4bit

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
THE END
分享
二维码
< <上一篇
下一篇>>