抱歉,您的浏览器无法访问本站
本页面需要浏览器支持(启用)JavaScript
了解详情 >

Qwen Qwen的技术要点 数据:公共网络文档,百科全书,书籍,代码等。此外,数据集是多语言的,其中很大一部分数据是英语和中文的。最终数据集多达3万亿token。 Tokenizer:采用开源的BPE,并以vocabulary C1100K base作为起始点,增加了常用的中文字符和单词以及其他语言的词汇。此外,仿照LLAMA2,将数字分为单个数字,最终词汇量大约是152K. 模型结...

Tokenizer的种类和区别 Tokenize有三种粒度: Word:对于英文等自然语言来说,存在着天然的分隔符;但是对于一些东亚文字包括中文来说,就需要某种分词算法才行。由于长尾现象的存在,词汇表可能会超大。 Char:词汇表只有最基本的字符。这样做的问题是,由于字符数量太小,我们在为每个字符学习嵌入向量的时候,每个向量就容纳了太多的语义在内,学习起来非常困难。 Subword:...

RAG流程

训练显存 FP32,FP16,BF16 FP32:1位符号,8位指数,23位尾数。FP16:1位符号,5位指数,10位尾数。BF16:1位符号,8位指数,7位尾数。BF16提供了与FP32相同的动态范围,但精度低于FP32和FP16。 如何计算训练大模型需要的显存? 模型参数:如果模型有P个参数,使用FP32保存的话,需要4P字节的显存。 梯度:大小与模型参数相同。使用FP32...

BLIP BLIP的主要贡献 提出了一种Multimodal mixture of Encoder-Decoder(MED)的多模态预训练模式。 提出了一种Captioning and Filtering的Dataset Bootstrapping机制,对原始数据集进行清洗。 微调后在下游Image-text retrieval、Image captioning、VQA等任务上达到了...

CLIP CLIP模型结构 Image Encoder有两种架构:一种是ResNet50,将全局平均池化替换为注意力池化;第二种是ViT(Pre-norm)。Text Encoder实际上是GPT-2架构,即Transformer decoder,将文本用[SOS]和[EOS]括起来,取[EOS]上的feature过一层Linear作为文本特征。 CLIP训练时的损失函数 Info...

Flamingo Flamingo的贡献 桥接预训练好的视觉模型和语言模型 可以处理任意交错的图文对数据 可以同时以图像和视频数据作为输入Flamingo实现了多模态领域的Few-shot learning(in-context learning)能力,即多模态领域的GPT-3。 Flamingo模型结构 通过Perceiver Resampler和Gated Xatten...

LLaVa LLaVa数据集的构建 根据COCO中的caption和bbox,可以利用language-only GPT-4,对其进行In-context learning来生成三种instruction data. Conversation: 多轮对话,根据caption中的每一部分,生成一个人不断提问某张图片的instruction数据。 Detailed description...

Qwen-VL Qwen-VL的模型架构 LLM:使用Qwen-7B初始化Vision Encoder:采用OpenCLIP-ViT-bigG-14Adapter:Position-aware VL Adapter。 该adapter包含一个随机初始化的单层cross-attention模块,该模块使用一组可训练的embedding作为query向量,使用视觉编码器输出的图像特征作为...

正在更新中……

秋招在即,用这篇博客记录一下算法岗求职过程中的一些必备知识汇总。