Posts by Tags

机器学习基础知识

深度学习基本知识

The Basic Knowledge of Torch Train Pipeline

4 minute read

Published:

Update:

这篇博客主要讲解 PyTorch 训练模型的整个流程的具体细节, 包括如何在前向过程中构建计算图;后向传播过程中如何计算并保存梯度;优化器如何根据梯度更新模型参数。(建议先阅读我之前关于 torch.autograd 的博客 The Basic Knowledge of PyTorch Autograd )

The Basic Knowledge of MoE

36 minute read

Published:

这篇博客主要讲解了使用 Mixture of Experts (MoE) 将多个模型进行组合的原理。

The Basic Knowledge of TorchScript

5 minute read

Published:

这篇博客主要讲解了使用 TorchScript 将 Python 模型代码转化为其他语言代码(如 C++)的原理和具体实现。

The Basic Knowledge of Gradient Penalty

7 minute read

Published:

这篇博客主要讲解了使用梯度惩罚(gradient penalty)作为正则化项来促进模型学习的数学原理和具体实现。

The Basic Knowledge of PyTorch Distributed

15 minute read

Published:

Update:

这篇博客主要介绍了 LLM 分布式并行的训练方式,并着重讲解了 PyTorch 代码的实现 DDP 的方式。

深度学习基础知识

PyTorch 随笔

5 minute read

Published:

torch.backends.cudnn.deterministic: 固定 cuda 的随机种子,使得每次返回的卷积算法都是确定的,即默认算法

The Basic Knowledge of LLM

3 minute read

Published:

这篇博客主要介绍了 Large Language Model 的基础知识,包括常见的 LLM,微调方式等。

The Basic Knowledge of NLP

14 minute read

Published:

这篇博客主要介绍了 NLP 任务中的基础知识,包括性能评价指标(metrics),分词算法(tokenization)等。

The Basic Knowledge of Scored-based Generative Model

29 minute read

Published:

这篇博客参考了 Generative Modeling by Estimating Gradients of the Data Distribution, 详细讲述了最近大火的 Diffusion Model 的另一个理解/推理角度: Score-based Generative Model 的数学原理及编程。 (ps:建议先看完上述的 Generative Modeling by Estimating Gradients of the Data Distribution 博客,虽然是全英文的,但是写的十分详细,且简单易懂,真的非常良心)

电脑硬件

笔记本电脑固态硬盘更换扩容

3 minute read

Published:

这篇博客主要讲解只有一个固态硬盘(SSD)槽的笔记本电脑在需要扩容的简便操作(无需重装系统)。

电脑硬件基本知识

电脑软件

论文写作工具

latex 问题合集

2 minute read

Published:

这篇博客主要记录我在使用 latex 的过程中所遇到的问题和解决的方法(注:有些问题可能我自己也不知道原理,但是所有的解决方法都是亲测有效)。

The Basic Knowledge Of Latex

8 minute read

Published:

这篇博客主要记录了 latex 的基本知识和用法,适用于第一次听到 latex 这个写作排版工具的小白。

论文阅读

Emu series (Emu & Emu Edit & Emu Video)

16 minute read

Published:

本文主要对近期 Meta 发表的三篇关于视觉处理的文章(Emu 系列)进行论文解读(按照它们的发布顺序): 首先是 SOTA 的 text-to-image 生成模型 Emu;接着以它为 baseline,进行 image edit 的研究改进,提出了一个大一统的图像编辑模型 Emu Edit, 这基本上就把图像领域主流的任务都刷了个遍。最后又提出了 Emu Video 模型,利用 Emu 完成了对 text-to-video 生成模型的改进,也获得了 SOTA。 (ps:我猜下一步应该就是 video edit 的研究改进了🙂)