LLM论文阅读——RAG系列 Indigo 论文阅读LLM 论文阅读 LLM 发布于：2024年10月31日 RAG流程 更新于：2024年11月1日 论文阅读 LLM 论文阅读 LLM LLM论文阅读——Tokenizer系列 Tokenizer的种类和区别 Tokenize有三种粒度： Word：对于英文等自然语言来说，存在着天然的分隔符；但是对于一些东亚文字包括中文来说，就需要某种分词算法才行。由于长尾现象... LLM论文阅读——模型训练技巧 训练显存 FP32,FP16,BF16 FP32:1位符号，8位指数，23位尾数。FP16:1位符号，5位指数，10位尾数。BF16:1位符号，8位指数，7位尾数。BF16提供了与FP32...
