深入浅出了解生成模型-4：一致性模型（consistency model）
一致性模型（Consistency Model, CM）是一种针对扩散模型（Diffusion Models, DM）的生成加速方法，旨在解决传统扩散模型（如DDPM）因多步迭代去噪导致的高推理成本问题。其核心原理是通过引入一致性正则化（Consistency Regula...
一致性模型（Consistency Model, CM）是一种针对扩散模型（Diffusion Models, DM）的生成加速方法，旨在解决传统扩散模型（如DDPM）因多步迭代去噪导致的高推理成本问题。其核心原理是通过引入一致性正则化（Consistency Regula...
本文介绍PixelHacker、PowerPanint、Attentive Eraser等图像擦除模型及其实际测试效果。PixelHacker框架类似Diffusion Model，输入image、mask、mask image并经VAE编码，通过2D遗忘矩阵计算注意力，测...
本文介绍如何在PyTorch中使用warm-up策略，涵盖优化器与学习率调度器的应用方法。PyTorch优化器基础类torch.optim.Optimizer支持参数配置，如params可针对不同网络结构（如model.fc1、model.fc2）设置不同学习率（lr）、权...
视觉多模态模型（如CLIP、ALBEF、BLIPv1/v2）核心挑战在于模态信息结合，通常采用Vit/Resnet等视觉编码器与文本编码器处理图像和文本，通过对比学习（如InfoNCE损失）实现跨模态对齐。CLIP侧重学习跨模态相似度表示，具备零样本能力；ALBEF和BLI...
Diffusion Model（DF）通过前向加噪与反向去噪过程实现生成，前向过程逐步向图像添加噪声（由噪声调度参数控制权重，随时间依赖使图像从清晰变模糊）直至接近标准正态分布，且可一步计算从初始图像到最终噪声状态；反向过程则从标准正态分布逐步去噪还原图像，通过神经网络近似...
本文介绍多模态领域常用的两种backbone——SAM和Clip的基本原理与应用。SAM包含v1和v2版本，SAM v1结构由Image Encoder、Prompt Encoder及Mask decoder组成：Image Encoder采用特定方法处理图像；Prompt...
本文详细介绍变分自编码器（VAE）的基本原理、数学框架及代码实战，并对比自编码器（AE）与VAE的差异。AE作为无监督学习模型，通过编码-解码学习数据特征表示，但因潜在空间缺乏明确结构不适合生成任务；而VAE结合概率模型与深度学习，将输入映射为概率分布（如高斯分布），通过变...
本文主要介绍生成对抗网络（GAN）作为图像生成基础模型的核心原理、数学推导及训练过程。GAN由生成模型G和判别模型D构成，二者形成零和博弈：生成器通过映射随机噪声生成图像以拟合真实数据分布，判别器则判断样本来自真实数据还是生成模型。其训练目标是最小化JS散度以缩小生成分布与...
ConvNeXt是Meta提出的卷积神经网络模型，源自《A ConvNet for the 2020s》和《ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders》两篇论文，核心是通过借...
Qwen-vl系列模型包括Qwen2-vl与Qwen2.5-vl，在多模态处理领域持续优化。Qwen2-vl核心改进为动态分辨率技术，输入图像无需固定尺寸，通过2x2相邻visual-token拼接后经MLP处理减少token数量，并采用多模态旋转位置编码（M-RoPE），...
OpenRLHF强化学习框架中PPO范式训练的初始化配置详解，涵盖DeepSpeed配置与vLLM配置核心内容。vLLM配置包含两种资源调度模式：Hybrid模式（多引擎共享GPU）与标准模式（单引擎独占GPU/CPU），并基于Ray分布式架构封装vLLM推理框架（LLMR...
本文主要解读强化学习框架OpenRLHF的模型处理及源码设计，重点介绍Actor model、Critic model和Reward model三类核心模型的功能与实现。Actor model负责加载模型并输出response，其forward方法计算生成token的对数概...
本文主要介绍多模态中多视觉编码器的特征融合方法及高低分辨率图像信息融合策略。针对多视觉编码器处理同一张图像的特征融合，常见策略包括纵向拼接、横向拼接、融合拼接及注意力拼接，相关研究如LEO模型采用动态分辨率划分图像块，通过Intern-Vit和SAM-L编码器处理后，使用S...
本文详细解释了Python中多进程、多线程、装饰器的核心概念、应用场景及使用方法。多进程拥有独立内存空间，适用于CPU密集型任务；多线程共享内存资源，适合I/O密集型任务；装饰器则能在不修改原函数代码的情况下添加额外功能，常用@语法实现。文章还介绍了全局解释器锁（GIL）的...
数据蒸馏（DD）是一种从大量数据中提取关键信息，生成小规模高质量合成数据集的技术，旨在替代原始数据集用于模型训练、验证等任务，以提高效率、降低成本或保护隐私，其核心是保留原始数据的关键特征与分布信息并去除冗余噪声。数据蒸馏的目标是优化合成数据集与原始数据集的差异，使合成数据...