The Basic Knowledge of Torch Train Pipeline
Published:
Update:
这篇博客主要讲解 PyTorch 训练模型的整个流程的具体细节， 包括如何在前向过程中构建计算图；后向传播过程中如何计算并保存梯度；优化器如何根据梯度更新模型参数。(建议先阅读我之前关于 torch.autograd 的博客 The Basic Knowledge of PyTorch Autograd )
Blog posts
2024
The Basic Knowledge of RLHF (Reinforce Learning with Human Feedback)
Published:
Update:
这篇博客主要讲解关于 RLHF 的基础知识和训练 LLM 的具体(简易)代码实现.
VMware Workstation Pro 安装 MacOS 虚拟机
Published:
Update:
这篇博客主要讲解如何在 VMware Workstation Pro 安装 MacOS 虚拟机。
The Basic Knowledge of MoE
Published:
这篇博客主要讲解了使用 Mixture of Experts (MoE) 将多个模型进行组合的原理。
2023
The Basic Knowledge of TorchScript
Published:
这篇博客主要讲解了使用 TorchScript 将 Python 模型代码转化为其他语言代码(如 C++)的原理和具体实现。
The Basic Knowledge of Automatic Mixed Precision
Published:
这篇博客主要讲解了使用自动混合精度(AMP)降低模型内存占用的原理和具体实现。
The Basic Knowledge of Gradient Penalty
Published:
这篇博客主要讲解了使用梯度惩罚(gradient penalty)作为正则化项来促进模型学习的数学原理和具体实现。
The Basic Knowledge of PyTorch Autograd
Published:
Update:
这篇博客主要介绍了 PyTorch 的 autograd 机制及其具体实现方式。
The Basic Knowledge of PyTorch Distributed
Published:
Update:
这篇博客主要介绍了 LLM 分布式并行的训练方式，并着重讲解了 PyTorch 代码的实现 DDP 的方式。
PyTorch 随笔
Published:
torch.backends.cudnn.deterministic: 固定 cuda 的随机种子，使得每次返回的卷积算法都是确定的，即默认算法
The Basic Knowledge of Computer Hardware
Published:
这篇博客主要介绍了电脑硬件中的基础知识(ps；强烈安利 B 站硬件茶谈的硬件科普视频，讲的太好了🙂。虽然他现在恰饭有点多😥)
The Basic Knowledge of LLM
Published:
这篇博客主要介绍了 Large Language Model 的基础知识，包括常见的 LLM，微调方式等。
Animate Anyone
Published:
论文题目：Animate Anyone: Consistent and Controllable Image-to-Video Synthesis for Character Animation
The Basic Knowledge of Expectation Maximization Algorithm
Published:
这篇博客参考了 通俗理解EM算法，详细推导了 Expectation Maximization (EM) 算法。
PixelDance
Published:
The Basic Knowledge of NLP
Published:
这篇博客主要介绍了 NLP 任务中的基础知识，包括性能评价指标(metrics)，分词算法(tokenization)等。
The Advanced Knowledge of Diffusion Model (DM)
Published:
这篇博客参考了 What are Diffusion Models?，继续详细讲述了最近大火的 DM 模型的改进的数学原理/推导及编程 (ps：DM 的基础知识详见 The Basic Knowledge of Diffusion Model (DM))。
Emu series (Emu & Emu Edit & Emu Video)
Published:
本文主要对近期 Meta 发表的三篇关于视觉处理的文章(Emu 系列)进行论文解读(按照它们的发布顺序)： 首先是 SOTA 的 text-to-image 生成模型 Emu；接着以它为 baseline，进行 image edit 的研究改进，提出了一个大一统的图像编辑模型 Emu Edit， 这基本上就把图像领域主流的任务都刷了个遍。最后又提出了 Emu Video 模型，利用 Emu 完成了对 text-to-video 生成模型的改进，也获得了 SOTA。 (ps：我猜下一步应该就是 video edit 的研究改进了🙂)
The Basic Knowledge of Scored-based Generative Model
Published:
这篇博客参考了 Generative Modeling by Estimating Gradients of the Data Distribution， 详细讲述了最近大火的 Diffusion Model 的另一个理解/推理角度: Score-based Generative Model 的数学原理及编程。 (ps：建议先看完上述的 Generative Modeling by Estimating Gradients of the Data Distribution 博客，虽然是全英文的，但是写的十分详细，且简单易懂，真的非常良心)
Consistency Model
Published:
论文题目：Consistency Models
TIN-SLT
Published:
SLT-BT
Published:
论文题目：Improving Sign Language Translation with Monolingual Data by Sign Back-Translation
The Basic Knowledge of Diffusion Model (DM)
Published:
这篇博客参考了 DDPM讲解，详细讲述了最近大火的 DM 模型的数学原理/推导及编程(ps：强烈安利 Lil 的博客，写的太好了🙂)。
Multi-modality with Context
Published:
论文题目：Is Context all you Need? Scaling Neural Sign Language Translation to Large Domains of Discourse
笔记本电脑固态硬盘更换扩容
Published:
这篇博客主要讲解只有一个固态硬盘(SSD)槽的笔记本电脑在需要扩容的简便操作(无需重装系统)。
SLTUnet
Published:
论文题目：SLTUNET: A Simple Unified Model for Sign Language Translation
PGen
Published:
论文题目：Scaling Back-Translation with Domain Text Generation for Sign Language Gloss Translation
Transformer
Published:
Glossification with Editing Program
Published:
论文题目：Transcribing Natural Languages for the Deaf via Neural Editing Programs
ConvNets Match Vision Transformers at Scale
Published:
MDM
Published:
The Basic Knowledge Of Latex 2
Published:
这篇博客延续 The Basic Knowledge Of Latex，继续扩展关于 latex 的基本用法。
MQ-Det
Published:
GLIP
Published:
latex 问题合集
Published:
这篇博客主要记录我在使用 latex 的过程中所遇到的问题和解决的方法(注：有些问题可能我自己也不知道原理，但是所有的解决方法都是亲测有效)。
The Basic Knowledge Of Latex
Published:
这篇博客主要记录了 latex 的基本知识和用法，适用于第一次听到 latex 这个写作排版工具的小白。
ShearedLLaMA
Published:
论文题目：Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning