blip2zh-chatglm-6b是基于blip2训练的中文多模态聊天模型。具有基本的图像理解能力。 由于blip2的训练方式不会对语言模型进行微调，因此在纯文本对话中的行为可以保持和原始chatglm一致。
注意：由于目前模型仅经过blip2两阶段图文对齐预训练，没有包括vqa或者指令微调等具体下游任务的训练，因此依然容易生成不符合预期的内容。
- blip2 base model: bert-base-chinese - Vision encoder: eva-clip-vit-g - Language model: chatglm-6b at commit
- Training Code: blip2训练代码，基于LAVIS - webui: 一个由gradio实现的webui - api: 一个由fastapi实现的api服务，可以部署在本地，同时也支持一些其他类型的本地可部署语言模型。
受限于中文数据集，目前图像理解能力依然有限，会产生无关或者错误的内容。 目前没有引入多轮对话训练以及指令微调。多轮对话可能会受到上下文的干扰。 并且同样受限于chatglm-6b本身的对话效果。
laion-2b-chinese: 我们仅选取了其中clip分数较高的670k图文对并采样了部分数据进行训练。 coco-zh flickr8k-zh