火炬职院西门(划掉) -- Pytorch入门速通课

Shiroyama.W

总之是先看标题. Pytorch而不是Python.

Python基础的话自己去看论坛群里那个教程去. Pytorch是应用的最广泛的深度学习库之一. 你也许会在你的学校机房的Conda之类的里面见到它.

先说一下为什么突然打算做这个. 最近在从一些过时的老库向torch迁移, 闲着没事干做个整理也是加深自己印象了.

实际上你会发现给别人讲确实是加深自己理解的好办法, 也不局限于这一亩三分地了, 几乎都是如此.

Cover的范围是深度学习基础里的基础. 标题是个比较差劲的双关笑话, 但意思是不言而喻的, 基本上就是教你怎么在深度学习领域打螺丝. 后面怎么造火箭或者搓集成电路那就超出我目前的能力范围了. 到后期也就搭一些结构简单的神经网络和跑点简易演示用数据集什么的, 主要都在以简化与轻量化的方式演示概念. 所以没必要也不用期待太多.

我自觉从来都不是多负责任的好老师. 平时有批改压力和事务压力的话我肯定牺牲备课和加深学生理解的时间来赶业绩. 不过我对自己的自学能力还是比较有信心的. 我更擅长做学徒然后继续带人.

然后也不算叠甲吧, 但总之我的经验主义习气比较重, 也不是正经学院出身的CST或者AI的人, 自己理解归纳的部分会比较多. 所以谬误大概是可能有的. 遇到需要勘误之处或者不理解的地方随时指出. 当然你想的话, 自己去查证了或者问了AI再来找我更好.

内容当然是目的导向, 以上手用为第一目标. 所以讲的会很快很浅很笼统, 这当然也是代码类教学的必然. 实用从来不是开卷考试. 做电子韩国人到处偷东西也好, 问AI或者让AI写代码也罢, 目的都是解决问题. 什么都教没有意义, 重要的是自己知道有这个概念之后去查证去理解去自己找解决办法.

因为是自己写自己看稍微带一点基础的东西, 不会讲的很详细.

刚好在看Raschka S. 所著 Build a Large Language Model (2025), 他的附录里有一个比较基础的Torch入门指南, 我就顺带着拿来当教材了. 章节: Appendix A: Introduction to Pytorch.

我是先用的别人的书入门的深度学习再转过来这边的, 梳理顺序上可能会比较跳跃, 有疑问就问是对的.

整本书后面关于LLM的部分, 如果以后把书吃的差不多了也许会顺便讲一下. 当然是如果我到时候想的话. 也许不会. 反正这本是当闲书看.

你需要的前置:

  线性代数: 很少 (没有行列式没有Jacobian没有更多乱七八糟的东西)

  微积分: 一点 (梯度不用你自己上手求), 总之线代和微积分的意义都是理解概念, 不用你算.

  Python: 基础和一点进阶 (当然, 你说Pytorch名字里为什么带Py)

  >!英语 (有必要提这个吗): 讲解会带原文, 供参考的代码里我也会用英文写注解, 这是显而易见的. 当然, 你都用Python了还不会英语的话那叫什么事.!<

课件:

  这个帖子

  书上原文 (一部分)

  涉及到的代码部分 (我自己会进行过度注释一样的话痨注解)

  别的 (也许会有, 也许会没有.)

课后练习:

  我比较懒, 不是很想出题, 加上这字面意义上是个笔记 不算是课 也不完全有在带人, 所以不一定有. 如果我觉得有必要的话会有. 不然就是没有了.

看完之后你应该期待学到什么 (或者当然说的不通俗一点的话: Expected Learning Outcome):

  不知道. 如果你以后做深度学习或者LLM方面的那确实这是基础. 就是字面意义上的这一行的打螺丝教程. 我讲是因为我闲. 此外愿者上钩.

书上这一块大概也就20页不到的篇幅, 不会有多少内容.

总之是占个位, 这两天有空了慢点开始讲.

想到哪讲到哪吧, 遇到问题也会回来改之前的章节, 大概…

Shiroyama.W

效仿潭u留个施工进度楼吧

当前: 新建文件夹 [1/1]

病犯了先匿了… 过量咖啡因诱发心悸以及明天五点起赶早车, 总之是晚点或者明后天再来…

先带点盘古开天地开始讲的东西, 不会有很多有的没的, 然后从Tensor开始, 很快

20260217

状态好点了先写点吧

21:36

今天先到这吧.

20260222 24:25

差不多开始讲正文了.

话说为什么我这里的行内代码又不染色了. 懒得想了.

之后涉及到的代码应该会直接传上来.

斌斌（

袜还有torch，这半年被这东西折磨完已经释怀地似了（

期待lz更新我也要学😍

sayuri

Shiroyama.W

Chap 1.

~~提点有的没的~~

嫌太长不看的可以跳过.

首先还是我们经典的废话问题 What is pytorch, and why pytorch?

Pytorch是目前用的最广泛的深度学习库之一. 顾名思义, 它实际上是Torch这个深度学习框架的Python变种. Torch的本家其实是Lua编写的, 在十年前比较流行, 也是成功因为Lua过于小众而退环境了. 现在的Pytorch小宗取代大宗也是颇有种曲沃代翼和田氏代齐的美. 话是这么说你也不想自己去学Lua吧. 我反正不会也没这个兴趣. ~~游戏里做脚本做无授权修改的场合真遇到的就丢给谈天吉皮提大神了~~

说回到Pytorch的优势. 它兼具了用户友好 (接口与调试更接近Python生态) 和高效性 (这里不展开) 的两方面优势, 当然你也可以方便地进行底层控制来优化细节.

好了太长不看部分结束. 当然后面这部分你也可以跳了, 如果嫌长+只关心怎么用的话.

Chap 1a.

之后讲一下Pytorch库的组成. 从图里归纳过来是三个主要组成部分: 张量(Tensor)库, 自动求导引擎 (Autograd) 与深度学习库.

首先是张量库. 张量 (Tensor) 的含义我们会在后文Cover到. 在这里你可以先理解为处理多维数组运算相关的库, 并且支持GPU的并行计算. Pytorch的tensor lib实现的比较接近做数值绕不开的大名鼎鼎的Numpy, 当然这也是它用户友好的一方面. 除了支持GPU之外它也支持与autograd配合进行自动求导与记录计算图, 这些是Numpy不具备的. 注意这里我们说是在使用习惯和互操作性上接近Nunpy, 它不是基于Numpy实现的.

其次是自动微分引擎, 又称Autograd. 说的通俗一点就是自动求导. ~~奥托普雷大神.~~ 这一部分的作用是在张量运算中自动求梯度. 深度学习的主流梯度下降类训练过程本质是在前向传播出结果+对照训练集计算误差>>>反向传播求梯度>>>优化器更新参数. 其中求梯度与更新参数的过程是计算损失函数对各参数的偏导 (构成梯度), 然后根据学习率步进来更新参数 (这是trivial一点的说法, 实用中更新往往涉及到动量、Adam、梯度裁剪等tricks). 可以说跑训练的过程就是在重复进行极其大量的前向计算与自动求导运算 (主要计算量本质上是前向+反向传播, 我们这里旨在说明自动微分的重要性与必要性所以着重强调反向传播的微分过程).

最后是深度学习库. 这一部分是一堆大预制菜, 包括预制的神经网络模块, 损失函数, 以及优化器之类的预封装实现, 使用户能够不用或者尽可能少操心做底层实现, 把时间精力放在模型结构的设计与实验上. 人话是提供积木现拿现用.

Shiroyama.W

Chap. 1b.

继续盘古开天地. ~~我比较怀疑有没有必要讲这个part.~~

深度学习的定义: 跳了. 感兴趣的可以去看原书或者自己随便找点资料或者问AI.

我贴一点原文上来吧. 想看的话可以自己看.

不过要提一下, 这个“深”(deep) 指代的是多重隐藏层. 神经网络的一般结构是输入层+(多个) 隐藏层 + 输出层. 隐藏层除了线性的ax+b再套个非线性的激活函数之外还有卷积层等特殊形式. 这些也会在后面进行讲解 (大概).

Pytorch的安装:

显然一般情况你不能直接pip install torch. 因为默认的不带参数的pip命令会安装CPU版本的torch.

torch的官网可以根据自己的需求快速选择得到预制的pip install指令, 复制粘贴去你的环境里安装即可.

以下是官网链接: https://pytorch.org/

关于cuda版本: Win32平台直接进cmd用nvidia-smi指令. 结果一般是如图所示.

一般来说CUDA版本是向下兼容的. 比如你的当前驱动支持13.1, 安装12.8也是没有问题的.

如果你的CUDA Ver过低说明你该更新驱动了.

-- 不是N卡? 如7楼所述, 该去考虑跨平台方面的支持了. 我自己当然是CUDA, 没有用过Vulkan所以提供不了什么有效信息了. Good luck.

有个社区的OpenCL项目不过大概两年没人维护了, 总之也是留在这里做个没啥用的参考.

https://discuss.pytorch.org/t/opencl-backend-for-pytorch-now-easily-installables/208190

https://github.com/artyom-beilis/pytorch_dlprim

说点题外话我从印度人那里最早学到的确实是keras对应openCL的写法而不是CUDA. ~~应该说在py里面用字符串编写c类似物还是挺好玩的 (x)~~

Q: 装的时候遇到问题

A: 把详细信息贴给AI吧. 这种安装的debug活给那几个大LLM干得好, 一般也没多少不实信息了. ~~这破行业实在太火了样本量大到GPT都不出幻觉了~~

验证安装:

import torch ver = torch.__version__ print(ver)

范例: 2.10.0+cu128

检查CUDA是否认到了你的GPU:
acc = torch.cuda.is_available() print(acc)

范例: 如果认到了应该是真值.

False说明没有或者不认. 那就是另外的问题了.

原书里也提到了如果没有GPU的话当然可以租. 外网的Google Colab, 或者国内的AutoDL之类的服务商.

后者我自己也好久没用了. 如果你在高校做科研的话应该会有自己的设备能用. 总之是无关话题.

下一章我们开始切入主题, 讲Tensor.

Vadera

#6 Shiroyama.W

抓个虫, torch没有选择opencl这一社区方案, 官方维护的跨平台方案基于Vulkan

(图文无关)

Shiroyama.W

单位的事一直在忙没回来更新, 有空了就写点

讲tensor. 总算要切入正题了.

因为行为上和numpy是高度重叠的, 你会发现这一部分很像在听Numpy的东西.

Chap. 2 Tensor

直译过来是张量. 我一直觉得这个翻译莫名其妙的, 我自己习惯上更喜欢叫它多维数组或者多维度矩阵, 这样称呼大概也不规范, 不过理解上比较直观. Tensor的维数*叫rank, 我们下面就继续用维数来称呼它. 张量的rank与线性代数里矩阵的秩(也叫rank)是两个概念.

*也有说法叫阶数, 但容易与2维矩阵常见的"n阶矩阵"表n*n 尺寸的表达混淆, 故我在这里使用维这个词.

举一些简单的例子:

标量是0维的张量, 例如一个int类型的值, 0.

向量是1维张量, 例如[1, 2, 3].

(通常意义上的) 矩阵 (或者2维矩阵) 是2维张量, 例如

[[1, 2, 3],

[4, 5, 6]]

3维以及更高维数的张量 (虽然我自己一般叫做多维矩阵) 并没有一个公认的叫法.

说回到Torch的张量数据类型, 我们来看一个简单的例子. 先定义一个简单的张量, 然后打印它的数据类型和尺寸.

tensor1d = torch.tensor([1, 2, 3])

print(tensor1d.dtype)

print(tensor1d.shape)

两个输出依次是:

可以看到int64和尺寸前面都包含torch.

这就回到了我们先前提到的torch作为张量库的作用. torch.int64是torch自己实现的64位整数类, 所以它和python原生的int类以及numpy.int64等本质上是不同的东西, 但行为上torch.int64与numpy.int64都是64位整数类, 当然也与C当中的int64_t (带符号的64位整数) 等价. 而python原生的int是可以无限大的, 在行为上与前面几个也不一样.

顺便一提向量可以是1维也可以是2维. 如果有numpy基础大概会对此比较熟悉.

例如上文通过torch.tensor([1, 2, 3])直接创建的形状是(3, ), 也就是3个元素的1维向量, 它是不分行列的.

而如果创建torch.tensor([[1, 2, 3]])再打印shape, 得到的形状是(1, 3), 也就是1行3列, 大小为3的行向量. 它是2维的. 也可以理解它为一个1x3的(2D)矩阵.

和numpy的expand_dims相同, 在torch可以使用.unsqueeze(dim=)来扩展维数. 它唯一的参数dim是对应的坐标轴. 值0代表行, 1代表列.

来看一下例子.

-> 复用之前创建的一维向量:

tensor1d = torch.tensor([1, 2, 3])

print(tensor1d.shape)

输出是torch.Size([3]).

-> 在行上扩展:

print(tensor1d.unsqueeze(0))

print(tensor1d.unsqueeze(0).shape)

得到输出:

tensor([[1, 2, 3]])

torch.Size([1, 3])

此时得到的是行向量, 维数为2.

-> 在列上扩展:

print(tensor1d.unsqueeze(1))

print(tensor1d.unsqueeze(1).shape)

此时得到的是列向量, 同样是2维:

-> 以及一个简单的3维示例:

它实际上是2x2x2的三维数组.

Print它的shape我们得到: torch.Size([2, 2, 2]).

作个备注, 之后cover一下浮点数、转置、reshape和矩阵乘法就可以开始讲前向传播和反向传播了. 总之tensor这部分就是字面意义上关于怎么算的.

Vadera

世人皆知jupyter，但个人觉得它的影响力过于大了，糟糕的产品设计遗毒千年，例如：https://yihui.org/en/2018/09/notebook-war/#how-about-r-markdown-notebooks

世人皆不知rmarkdown/quarto，不只可以作为编辑器，更是报告创建的好手，比如

tensor1d = torch.tensor([1, 2, 3])
print(tensor1d.dtype)
# 输出一

可惜在ai时代，更没人会用这种过气的精美报告了

btw，rmarkdown是我文学化编程的开始，各种ast，元编程，甚至文档转换，主题布局等，在ai时代这些时尚小垃圾全都被扫进了历史垃圾桶