Flamingo Flamingo的贡献 桥接预训练好的视觉模型和语言模型 可以处理任意交错的图文对数据 可以同时以图像和视频数据作为输入Flamingo实现了多模态领域的Few-shot learning(in-context learning)能力，即多模态领域的GPT-3。 Flamingo模型结构 通过Perceiver Resampler和Gated Xatten...

LLaVa LLaVa数据集的构建 根据COCO中的caption和bbox，可以利用language-only GPT-4，对其进行In-context learning来生成三种instruction data. Conversation: 多轮对话，根据caption中的每一部分，生成一个人不断提问某张图片的instruction数据。 Detailed description...

Qwen-VL Qwen-VL的模型架构 LLM：使用Qwen-7B初始化Vision Encoder：采用OpenCLIP-ViT-bigG-14Adapter：Position-aware VL Adapter。 该adapter包含一个随机初始化的单层cross-attention模块，该模块使用一组可训练的embedding作为query向量，使用视觉编码器输出的图像特征作为...

Consistency ModelLatent Consistency Model(LCM)