https://www.big-yellow-j.top 个人技术博客系统记录各类算法原理、实现细节与代码实战，便于总结与复盘技术成长过程 zh-CN Tue, 14 Apr 2026 14:17:33 +0000 Tue, 14 Apr 2026 14:17:33 +0000 Jekyll v3.9.5 https://www.big-yellow-j.top/posts/2026/04/10/torch_basic.html torch计算图概念在深度学习框架中，计算图（英文简称Graph）是一个有向无环图（DAG），它的节点代表操作（例如加法、乘法或者更复杂的函数），边则代表数据（例如张量或者标量）。计算图为深度学习中的前向传播（forwardpropa... Fri, 10 Apr 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/04/10/torch_basic.html https://www.big-yellow-j.top/posts/2026/03/26/RLHF-3.html 系列文章：1、强化学习算法-1：GRPO、DPO与PPO解析2、强化学习算法-2：熵坍缩以及奖励坍缩问题机制分析及解决措施3、强化学习算法-3：GSPO、SAPO及KL散度改进GSPO处理长序列优化问题，将token级别处理为sequ... Thu, 26 Mar 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/03/26/RLHF-3.html https://www.big-yellow-j.top/posts/2026/03/21/attention-residuals.html 本文主要介绍最新的Kimi的注意力残差连接以及字节的“残差”连接两篇论文，在最开始的残差连接方案1中：核心过程就是$x=x+f(x)$，随着不断的叠加卷积层数，那么就容易导致梯度消失以及退化问题，残差连接就是通过跳跃连接（skipco... Sat, 21 Mar 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/03/21/attention-residuals.html https://www.big-yellow-j.top/posts/2026/03/15/vllm-3.html 在之前的Blog分别介绍了vllm整体框架及使用以及在vllm中生成以及调度过程，本文主要介绍块管理器的原理（全部是基于：Version:0.17.1）。condacreate-nvllm_serverpython=3.12conda... Sun, 15 Mar 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/03/15/vllm-3.html https://www.big-yellow-j.top/posts/2026/03/15/vllm-2.html 在之前的Blog（https://www.big-yellow-j.top/posts/2025/12/27/vllm-1.html）简单介绍了vllm初始化过程中对于显存的分配过程，本文主要介绍调度器的运行过程（全部是基于：Vers... Sun, 15 Mar 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/03/15/vllm-2.html https://www.big-yellow-j.top/posts/2026/03/09/FireRedModel.html 首先对于FireREDOCR模型以及FireREDEdit虽然都是模型微调，但是对于其训练过程还是很有参考意义，比如Edit模型中通过训练强化模型对于细节的感知能力（这里可以对一些对细节要求很高的生成模型训练很有启发意义，而不是直接拿... Mon, 09 Mar 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/03/09/FireRedModel.html https://www.big-yellow-j.top/posts/2026/03/01/RLHF-2.html 系列文章：1、强化学习算法-1：GRPO、DPO与PPO解析2、强化学习算法-2：熵坍缩以及奖励坍缩问题机制分析及解决措施3、强化学习算法-3：GSPO、SAPO及KL散度改进熵坍缩按照论文1里面对于熵的定义上面公式中$\pi_\th... Sun, 01 Mar 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/03/01/RLHF-2.html https://www.big-yellow-j.top/posts/2026/02/26/RLHF-1.html 系列文章：1、强化学习算法-1：GRPO、DPO与PPO解析2、强化学习算法-2：熵坍缩以及奖励坍缩问题机制分析及解决措施3、强化学习算法-3：GSPO、SAPO及KL散度改进简单回顾LLM训练过程在Blog里面讨论过LLM框架这里简... Thu, 26 Feb 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/02/26/RLHF-1.html https://www.big-yellow-j.top/posts/2026/02/23/FlowMatching.html 在前面文章中介绍过LCM（LatentConsistencyModel）跳过将随机过程转化为固定过程（将随机微分SDE转化为常微分ODE）进而实现生成（只需要3-5步生成图像）加速，简单回顾将随机生成过程变成“确定”过程，这样一来生成... Mon, 23 Feb 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/02/23/FlowMatching.html https://www.big-yellow-j.top/posts/2026/02/20/ModelTraining.html 在训练模型（Qwen2.5VL-3B）过程中出现奇怪现象：Loss下降但是GradNorm先下降后上升的情况争对这种情况简单调研分析，首先选择模型以及训练过程中参数如下：Qwen2.5VL-3B、AdamW、cosine（学习率war... Fri, 20 Feb 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/02/20/ModelTraining.html https://www.big-yellow-j.top/posts/2026/02/15/ModelDistillation.html 在最开始的文章中介绍了模型量化、使用不同attention方式、cache策略去对模型生成进行加速，这里主要介绍几种模型蒸馏以及模型剪枝的方式去优化模型参数模型蒸馏模型蒸馏是一种模型压缩和优化技术。简单来说，就是让一个小模型（学生模型... Sun, 15 Feb 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/02/15/ModelDistillation.html https://www.big-yellow-j.top/posts/2026/01/28/Ai-toolkit-Training.html 本文主要介绍Ai-toolkit框架去对扩散模型进行微调操作Ai-toolkitAi-toolkit安装介绍环境准备在autodl上的服务器进行的操作（GPU：VGPU-32G，CUDAVersion:13.0）#首先安装基本环境so... Wed, 28 Jan 2026 00:00:00 +0000 https://www.big-yellow-j.top/posts/2026/01/28/Ai-toolkit-Training.html https://www.big-yellow-j.top/posts/2025/12/29/SDAcceralate.html 对于生成模型（扩散模型、llm等）为了加速其生成速度本文尝试分别取介绍常用的扩散模型生成策略以及比较通用的量化加速策略，值得注意的是扩散模型生成加速和llm生成加速两部分在一定程度上存在重合的地方（比如说flash-attn）等，因此... Mon, 29 Dec 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/12/29/SDAcceralate.html https://www.big-yellow-j.top/posts/2025/12/27/vllm-1.html PageAttention原理分析PageAttention也是一种优化方法（区别于MLA，pageattention是对内存进行分配管理）。参考论文1中描述，对于KV-cache存在3个问题：1、预留浪费(Reserved)：为将来... Sat, 27 Dec 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/12/27/vllm-1.html https://www.big-yellow-j.top/posts/2025/12/12/WebUI_Comfui.html StableDiffusionWebUI基础使用SDWebUI安装使用SDWebUI官方地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui里面关于安装的介绍不多，这里直... Fri, 12 Dec 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/12/12/WebUI_Comfui.html https://www.big-yellow-j.top/posts/2025/10/11/Quantized.html 模型量化技术量化：是一种模型压缩的常见方法，将模型权重从高精度（如FP16或FP32）量化为低比特位（如INT8、INT4）。常见的量化策略可以分为PTQ和QAT两大类。量化感知训练（Quantization-AwareTrainin... Sat, 11 Oct 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/10/11/Quantized.html https://www.big-yellow-j.top/posts/2025/08/29/QwenVLCode.html 从代码角度去理解QwenVL2.5是如何处理，以及结合实际操作理解如何去对一个QwenVL2.5-3B进行SFT和强化学习处理。简单了解一下QwenVL2.5模型的整个处理过程，模型整体过程大致为：1、首先是通过模板化处理我的模型的输... Fri, 29 Aug 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/08/29/QwenVLCode.html https://www.big-yellow-j.top/posts/2025/08/28/OpenModelQwen.html Qwen多模态系列模型QwenVL在QwenVL1中在论文里面作者提到的其模型的整个训练过程如下：仅从提供的不同阶段还是很容易发现QwenVL还是是采用和BLIP相似的使用learned-query来对齐模态信息语言模型使用（7.7B... Thu, 28 Aug 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/08/28/OpenModelQwen.html https://www.big-yellow-j.top/posts/2025/08/28/OpenModelDeepSeek.html DeepSeek系列DeepSeekv3.1DeepSeekv3.11（简称DS）各类技术细节，对于DS在模型结构上和之前迭代版本的DS-2无太大区别，还是使用混合专家模型，只是补充一个辅助损失去平衡不同专家之间的不均衡问题。在结构上... Thu, 28 Aug 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/08/28/OpenModelDeepSeek.html https://www.big-yellow-j.top/posts/2025/08/15/LLM.html 各类LLM模型技术汇总只去对比整体1框架，对所采用的激活函数，归一化处理，位置编码等参考：1、位置编码：https://www.big-yellow-j.top/posts/2025/02/03/pos-embedding.html2... Fri, 15 Aug 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/08/15/LLM.html https://www.big-yellow-j.top/posts/2025/07/25/ImageEraser2.html 本文主要介绍几篇图像擦除论文模型：RORem、ObjectClearRORemhttps://arxiv.org/pdf/2501.00740https://github.com/leeruibin/RORem基座模型：SDXL数据集... Fri, 25 Jul 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/07/25/ImageEraser2.html https://www.big-yellow-j.top/posts/2025/07/06/life-1.html Sun, 06 Jul 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/07/06/life-1.html https://www.big-yellow-j.top/posts/2025/07/06/DFscheduler.html 注意如下内容的描述：1、SDE以及ODE因为不同的调度器可能就是基于不同的方式出发的；2、可以了解一下flow-matching；3、注意LCM模型里面的处理flow-matching推荐文章https://diffusionflow... Sun, 06 Jul 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/07/06/DFscheduler.html https://www.big-yellow-j.top/posts/2025/07/06/DFBaseModel.html 基座扩散模型主要介绍基于Unet以及基于Dit框架的基座扩散模型以及部分GAN和VAE模型，其中SD迭代版本挺多的（从1.2到3.5）因此本文主要重点介绍SD1.5以及SDXL两个基座模型，以及两者之间的对比差异，除此之外还有许多闭源... Sun, 06 Jul 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/07/06/DFBaseModel.html https://www.big-yellow-j.top/posts/2025/06/28/Objectdetection.html 前面已经介绍了简单的视觉编码器，这里主要介绍常用的目标检测算法1、CV中常用Backbone-2：ConvNeXt模型详解2、CV中常用Backbone(Resnet/Unet/Vit系列/多模态系列等)以及代码3、CV中常用Back... Sat, 28 Jun 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/06/28/Objectdetection.html https://www.big-yellow-j.top/posts/2025/06/26/ImageEraser2.html 图像生成模型应用系列——图像消除：图像消除论文-1：PixelHacker、PowerPanint等图像消除论文-2：消除类型数据集构建(1)EraseDiffusionEraseDiffusion:EmpoweringObjectR... Thu, 26 Jun 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/06/26/ImageEraser2.html https://www.big-yellow-j.top/posts/2025/06/25/accelerate-diffusers.html 工欲善其事，必先利其器。即便介绍了再多生成模型，没有趁手的工具也难以施展才华。因此，本文将重点介绍几个在生成模型开发中常用的Python库，着重讲解Diffusers和Accelerate的基本使用。感谢HuggingFace为无数算... Wed, 25 Jun 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/06/25/accelerate-diffusers.html https://www.big-yellow-j.top/posts/2025/06/17/CM.html 前面已经介绍了扩散模型，在最后的结论里面提到一点：扩散模型往往需要多步才能生成较为满意的图像。不过现在有一种新的方式来加速（旨在通过少数迭代步骤）生成图像：一致性模型（consistencymodel），因此这里主要是介绍一致性模型（... Tue, 17 Jun 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/06/17/CM.html https://www.big-yellow-j.top/posts/2025/06/11/ImageEraser1.html 本文主要介绍几篇图像擦除论文模型：PixelHacker、PowerPanint、AttentiveEraser，并且实际测试模型的表现效果PixelHackerCode:https://github.com/hustvl/Pixel... Wed, 11 Jun 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/06/11/ImageEraser1.html https://www.big-yellow-j.top/posts/2025/06/05/WarmUP-Torch.html warm-up具体原理以及为什么这么做在之前的博客有介绍，这里直接介绍如何直接使用pytorch中的warm-up策略，在pytorch中对于warm-up所有支持的方法都有描述，可以直接阅读1。深度学习中各类学习率优化方法(AdaG... Thu, 05 Jun 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/06/05/WarmUP-Torch.html https://www.big-yellow-j.top/posts/2025/05/28/MultiModal.html 视觉多模态模型在结构上比较统一，一个视觉编码器（较多使用的是Vit/Resnet等）对图像信息进行处理，然后将其和文本信息一起结合然后输入到LLM模型中得到最后的结果，因此在此过程中一个最大的挑战就是：如果将不同模态信息进行结合（当然... Wed, 28 May 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/05/28/MultiModal.html https://www.big-yellow-j.top/posts/2025/05/19/DiffusionModel.html 前文已经介绍了VAE以及GAN这里介绍另外一个模型：DiffusionModel，除此之外介绍Conditionaldiffusionmodel、LatentdiffusionmodelDiffusionModeldiffusionm... Mon, 19 May 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/05/19/DiffusionModel.html https://www.big-yellow-j.top/posts/2025/05/18/Clip-sam.html 前面已经介绍了简单的视觉编码器，这里主要介绍多模态中使用比较多的两种backbone：1、Clip；2、SAM。对于这两个backbone简单介绍基本原理，主要是讨论使用这个backbone。1、CV中常用Backbone-2：Con... Sun, 18 May 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/05/18/Clip-sam.html https://www.big-yellow-j.top/posts/2025/05/11/VAE.html 前文已经介绍了GAN的基本原理以及代码操作，本文主要介绍VAE其基本原理以及代码实战VAEorAE介绍VAE之前了解两个概念：AE（AutoEncoder，自编码器）和VAE（VariationalAutoencoder，变自编码器）... Sun, 11 May 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/05/11/VAE.html https://www.big-yellow-j.top/posts/2025/05/08/GAN.html 日常使用比较多的生成模型比如GPT/Qwen等这些大多都是“文生文”模型（当然GPT有自己的大一统模型可以“文生图”）但是网上流行很多AI生成图像，而这些生成图像模型大多都离不开下面三种模型：1、GAN；2、VAE；3、Diffusi... Thu, 08 May 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/05/08/GAN.html https://www.big-yellow-j.top/posts/2025/04/30/ConvNeXt.html 之前介绍了CV常用Backbon：CV中常用Backbone-1：Resnet/Unet/Vit系列/多模态系列等)以及代码这里介绍新的一个Backbone：ConvNeXt，主要来自两篇比较老的来自Meta论文：1、《AConvNe... Wed, 30 Apr 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/04/30/ConvNeXt.html https://www.big-yellow-j.top/posts/2025/04/28/QwenVL.html 本文主要介绍Qwen-vl系列模型包括：Qwen2-vl、Qwen2.5-vlQwen2-vlhttp://arxiv.org/abs/2409.12191模型结构：Qwen2-vl主要的改进点在于：1、使用动态分辨率（也就是说输入图... Mon, 28 Apr 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/04/28/QwenVL.html https://www.big-yellow-j.top/posts/2025/04/24/OpenRLHF-2.html 前文已经介绍了：强化学习框架：OpenRLHF源码解读，模型处理模块解读本文主要介绍强化学习框架：OpenRLHF源码解读，模型训练。因为在OpenRLHF中整个模型训练过程代码比较多因此分成多次进行解读，此部分主要介绍一些训练前的初... Thu, 24 Apr 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/04/24/OpenRLHF-2.html https://www.big-yellow-j.top/posts/2025/04/22/OpenRLHF-1.html 本文主要介绍强化学习框架：OpenRLHF源码解读，模型处理models框架设计了解一下OpenRLHF的模型框架设计范式：From:https://arxiv.org/pdf/2405.11143可以知道一个大概的流程：输入Porm... Tue, 22 Apr 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/04/22/OpenRLHF-1.html https://www.big-yellow-j.top/posts/2025/04/21/DistributeTraining-2.html 前面Blog（https://www.big-yellow-j.top/posts/2025/01/03/DistributeTraining.html）介绍了4种并行训练方式（模型并行/数据并行/流水线并行/张量并行），本文再去补充... Mon, 21 Apr 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/04/21/DistributeTraining-2.html https://www.big-yellow-j.top/posts/2025/04/19/MultiVisEncoding.html 本文主要介绍（论文发表时间：24.03-25.01）在多模态中使用多个视觉编码器如何进行特征融合操作（之所以用多视觉编码器，主要用途在于：有些视觉编码器可能只能提取到部分信息，就想通过另外一个编码器去捕捉之前编码器所没有捕捉得到的信息... Sat, 19 Apr 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/04/19/MultiVisEncoding.html https://www.big-yellow-j.top/posts/2025/03/22/PythonThreading.html 本文写作于2025.3.20，恰好作者正好在外面实习，于此同时在实际工作中遇到这些知识点，因此就进行一个简短汇总方便后续回顾，可以直接看第三节1、简短理解一下什么是多进程/多线程/装饰器和一些基本概念多进程：指在同一个程序中同时运行多... Sat, 22 Mar 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/03/22/PythonThreading.html https://www.big-yellow-j.top/posts/2025/03/10/Data-Distillation.html 主要介绍数据蒸馏操作，并且介绍CVPR-2025上海交大满分论文：DatasetDistillationwithNeuralCharacteristicFunction:AMinmaxPerspective。本文主要是借鉴论文1中的整... Mon, 10 Mar 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/03/10/Data-Distillation.html https://www.big-yellow-j.top/posts/2025/03/04/Muon.html 众所周知，目前主流应用的优化器是AdamW，不过一个新的优化器Muon（仅仅发布在Github上）似乎比AdamW优化器能够实现更加优异的效果，于此同时Kimi也出了一篇新的论文就是使用Muon优化器，有必要了解一些这个优化器以及测试... Tue, 04 Mar 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/03/04/Muon.html https://www.big-yellow-j.top/posts/2025/02/27/LLM-OUT.html 我们都知道在使用dl模型（比如图像分类）最后的结果都是一个概率值（比如100种类别，输出就是每种类别的概率），常见的作法就是直接取概率最大的作为最终预测结果，但是LLM里面也用这种方式合理吗（毕竟文本也需要考虑整体的不单单就是让下一个... Thu, 27 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/27/LLM-OUT.html https://www.big-yellow-j.top/posts/2025/02/24/deepspeed.html DeepSpeed原理DeepSpeed是由微软开发的一种深度学习优化库，专为高性能训练和推理而设计，尤其适用于大规模深度学习模型（如GPT系列、BERT等）。它通过一系列技术和优化策略，帮助研究者和开发者高效利用硬件资源，实现快速训... Mon, 24 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/24/deepspeed.html https://www.big-yellow-j.top/posts/2025/02/23/dl-norm.html 为了避免提高模型的泛化能力以及训练过程中避免梯度消失/梯度爆炸现象发生，我们通常会在神经网络中引入一系列“训练稳定性机制”。其中，归一化（Normalization）技术、Dropout正则化和梯度裁剪（GradientClippin... Sun, 23 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/23/dl-norm.html https://www.big-yellow-j.top/posts/2025/02/21/Kimi-DS-Paper.html DeepSeek最新论文：NativeSparseAttention:Hardware-AlignedandNativelyTrainableSparseAttention以及Kimi最新论文MOBA:MIXTUREOFBLOCKAT... Fri, 21 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/21/Kimi-DS-Paper.html https://www.big-yellow-j.top/posts/2025/02/19/DocAI-HR.html 1、冗余内容处理办法DocKylin直接对横平竖直去除冗余的像素（比如文本中大量的空白，直接通过将图片梯度转化（黑白），然后分别将水平/竖直方向上的“没有元素”内容进行连接然后继续去除，可以实现模型对高分辨率的图像的处理）对于编码后的... Wed, 19 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/19/DocAI-HR.html https://www.big-yellow-j.top/posts/2025/02/17/Attention.html 本文主要介绍常用的Attention操作（多头注意力等）以及在KV-cahce中如何节约内容的操作一、Attention类别类别复杂度是否精确典型代表模型/论文当前主流实现方式StandardScaledDot-ProductO(n²... Mon, 17 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/17/Attention.html https://www.big-yellow-j.top/posts/2025/02/12/finetuning.html 大语言模型微调，一般来说是指在一个预训练完成的LLM上去针对对应的下游任务进行微调，让其更加适应下游任务，一般来说可以：1、全面微调（对LLM中全部参数进行调整，如果模型参数量很大的时候这个花销是比较大的）；2、部分参数微调1、Pro... Wed, 12 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/12/finetuning.html https://www.big-yellow-j.top/posts/2025/02/03/pos-embedding.html 一、位置编码位置编码用于在输入序列中标记每个单词或标记的位置，这有助于模型理解输入序列中各个部分的相对位置，从而更好地捕捉序列中的长距离依赖关系。换言之，如果仅在查询（Q）和键（K）上使用位置编码，当我们计算$QK^T$时，模型可以得... Mon, 03 Feb 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/02/03/pos-embedding.html https://www.big-yellow-j.top/posts/2025/01/27/MoE-KV-cache.html 主要介绍混合专家模型（MoE）、KVcache并且结合代码进行解释1、混合专家模型（MoE）参考HuggingFace中介绍：混合专家模型主要由两部分构成：1、稀疏的MoE层：这些层代替了传统Transformer模型中的前馈网络(F... Mon, 27 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/27/MoE-KV-cache.html https://www.big-yellow-j.top/posts/2025/01/18/CV-Backbone.html 主要介绍在CV中常用的Backbone原理简易代码（代码以及原理经常更新），参考论文中的表格，对不同的任务所使用的backbone如下:针对上面内容分为两块内容：1、基于卷积神经网络的CVBackbone：1.Resnet系列;2.U... Sat, 18 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/18/CV-Backbone.html https://www.big-yellow-j.top/posts/2025/01/06/TextEmbedding.html WordEmbedding：将文本处理为计算机可以理解的数字表示。一种最简单的表示就是直接用one-hot，我建立一个字典，然后对每个字符都进行编码比如说：你好（表示为：10，01）。但是这种编码会有一个问题：丧失语义信息，比如说对于... Mon, 06 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/06/TextEmbedding.html https://www.big-yellow-j.top/posts/2025/01/04/learning_rate.html 学习率基础1学习率（LearningRate）在优化算法，尤其是梯度下降和其变体中，扮演着至关重要的角色。它影响着模型训练的速度和稳定性，并且是实现模型优化的关键参数之一。如何理解呢？在统计学中，线性方程的优化过程通常包括以下步骤：构... Sat, 04 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/04/learning_rate.html https://www.big-yellow-j.top/posts/2025/01/03/DistributeTraining.html 主要介绍Pytorch分布式训练代码以及原理以及一些简易的Demo代码模型并行是指将一个模型的不同部分（如层或子模块）分配到不同的设备上运行。它通常用于非常大的模型，这些模型无法完整地放入单个设备的内存中。在模型并行中，数据会顺序通过... Fri, 03 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/03/DistributeTraining.html https://www.big-yellow-j.top/posts/2025/01/01/mixed-precision.html 如果熟悉huggingface里面的accelerate库，可以直接使用这个库去实现混合精度训练，详细见：深入浅出了解生成模型-5：diffuser/accelerate库学习及其数据合成里面的介绍使用。不同精度训练单精度训练（sin... Wed, 01 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/01/mixed-precision.html https://www.big-yellow-j.top/posts/2025/01/01/evaluation-lossfunction.html 评价指标准确率/精确率/召回率 Positive(预测到的正例)Negative(预测到的反例)True(预测结果为真)TPTNFalse(预测结果为假)FPFN争对正案例的计算：1、准确率计算方式（ACC）：$Acc=\frac{T... Wed, 01 Jan 2025 00:00:00 +0000 https://www.big-yellow-j.top/posts/2025/01/01/evaluation-lossfunction.html https://www.big-yellow-j.top/posts/2024/01/06/featureengine.html 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已一、特征选择（featureselection）为什么要进行特征选择？graphLRB[input]-->A[ML]-->C[output]观察上述流程图，假... Sat, 06 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/06/featureengine.html https://www.big-yellow-j.top/posts/2024/01/05/Ensemble-Learning.html 传统机器学习算法(例如：决策树，人工神经网络，支持向量机，朴素贝叶斯等)都是通过弱学习机（weaklearners）来对目标进行预测（分类）。但是，以决策树算法为例，决策树算法在递归过程中，可能会过度分割样本空间，最终导致过拟合。集成... Fri, 05 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/05/Ensemble-Learning.html https://www.big-yellow-j.top/posts/2024/01/04/shapvalue.html 如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：你是只想知道预测是什么？例如，客户流失的概率或某种药物对病... Thu, 04 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/04/shapvalue.html https://www.big-yellow-j.top/posts/2024/01/03/lime.html 如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：你是只想知道预测是什么？例如，客户流失的概率或某种药物对病... Wed, 03 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/03/lime.html https://www.big-yellow-j.top/posts/2024/01/02/BayesianOptimization.html 本文通过结合如下论文以及blog：1、贝叶斯优化研究综述：https://doi.org/10.13328/j.cnki.jos.005607.2、高斯回归可视化：https://jgoertler.com/visual-explor... Tue, 02 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/02/BayesianOptimization.html https://www.big-yellow-j.top/posts/2024/01/01/alexnet.html Mon, 01 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/01/alexnet.html https://www.big-yellow-j.top/posts/2024/01/01/LeNet.html Mon, 01 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/01/LeNet.html https://www.big-yellow-j.top/posts/2024/01/01/GoogleNet.html Mon, 01 Jan 2024 00:00:00 +0000 https://www.big-yellow-j.top/posts/2024/01/01/GoogleNet.html