Cai-Jianfeng

Cai-Jianfeng

Senior in Artificial Intelligence Turing Class, School of Artificial Intelligence, Xidian University

Posts by Tags

机器学习基础知识

深度学习基本知识

The Basic Knowledge of Torch Train Pipeline

4 minute read

Published:

Update:

这篇博客主要讲解 PyTorch 训练模型的整个流程的具体细节， 包括如何在前向过程中构建计算图；后向传播过程中如何计算并保存梯度；优化器如何根据梯度更新模型参数。(建议先阅读我之前关于 torch.autograd 的博客 The Basic Knowledge of PyTorch Autograd )

The Basic Knowledge of MoE

36 minute read

Published:

这篇博客主要讲解了使用 Mixture of Experts (MoE) 将多个模型进行组合的原理。

The Basic Knowledge of TorchScript

5 minute read

Published:

这篇博客主要讲解了使用 TorchScript 将 Python 模型代码转化为其他语言代码(如 C++)的原理和具体实现。

The Basic Knowledge of Gradient Penalty

7 minute read

Published:

这篇博客主要讲解了使用梯度惩罚(gradient penalty)作为正则化项来促进模型学习的数学原理和具体实现。

The Basic Knowledge of PyTorch Distributed

15 minute read

Published:

Update:

这篇博客主要介绍了 LLM 分布式并行的训练方式，并着重讲解了 PyTorch 代码的实现 DDP 的方式。

深度学习基础知识

PyTorch 随笔

5 minute read

Published:

torch.backends.cudnn.deterministic: 固定 cuda 的随机种子，使得每次返回的卷积算法都是确定的，即默认算法

The Basic Knowledge of LLM

3 minute read

Published:

这篇博客主要介绍了 Large Language Model 的基础知识，包括常见的 LLM，微调方式等。

The Basic Knowledge of NLP

14 minute read

Published:

这篇博客主要介绍了 NLP 任务中的基础知识，包括性能评价指标(metrics)，分词算法(tokenization)等。

The Basic Knowledge of Scored-based Generative Model

29 minute read

Published:

这篇博客参考了 Generative Modeling by Estimating Gradients of the Data Distribution， 详细讲述了最近大火的 Diffusion Model 的另一个理解/推理角度: Score-based Generative Model 的数学原理及编程。 (ps：建议先看完上述的 Generative Modeling by Estimating Gradients of the Data Distribution 博客，虽然是全英文的，但是写的十分详细，且简单易懂，真的非常良心)

电脑硬件

笔记本电脑固态硬盘更换扩容

3 minute read

Published:

这篇博客主要讲解只有一个固态硬盘(SSD)槽的笔记本电脑在需要扩容的简便操作(无需重装系统)。

电脑硬件基本知识

电脑软件

论文写作工具

latex 问题合集

2 minute read

Published:

这篇博客主要记录我在使用 latex 的过程中所遇到的问题和解决的方法(注：有些问题可能我自己也不知道原理，但是所有的解决方法都是亲测有效)。

The Basic Knowledge Of Latex

8 minute read

Published:

这篇博客主要记录了 latex 的基本知识和用法，适用于第一次听到 latex 这个写作排版工具的小白。

论文阅读

Emu series (Emu & Emu Edit & Emu Video)

16 minute read

Published:

本文主要对近期 Meta 发表的三篇关于视觉处理的文章(Emu 系列)进行论文解读(按照它们的发布顺序)： 首先是 SOTA 的 text-to-image 生成模型 Emu；接着以它为 baseline，进行 image edit 的研究改进，提出了一个大一统的图像编辑模型 Emu Edit， 这基本上就把图像领域主流的任务都刷了个遍。最后又提出了 Emu Video 模型，利用 Emu 完成了对 text-to-video 生成模型的改进，也获得了 SOTA。 (ps：我猜下一步应该就是 video edit 的研究改进了🙂)