做网站排版用什么软件,网站首页轮播图怎么换,北京网站推广的公司,用阿里云服务器搭建wordpress线性代数基础 线性代数基础标量向量长度、维度和形状矩阵张量算法的基本性质降维非降维求和点积#xff08;Dot Product#xff09;矩阵-向量积矩阵-矩阵乘法范数 线性代数基础
标量
标量由只有一个元素的张量表示
import torchx torch.tensor(3.0)
y torch.tensor(2.0)… 线性代数基础 线性代数基础标量向量长度、维度和形状矩阵张量算法的基本性质降维非降维求和点积Dot Product矩阵-向量积矩阵-矩阵乘法范数 线性代数基础
标量
标量由只有一个元素的张量表示
import torchx torch.tensor(3.0)
y torch.tensor(2.0)x y, x * y, x / y, x ** y(tensor(5.), tensor(6.), tensor(1.5000), tensor(9.))向量
向量可以视为标量值组成的列表这些标量值被称为响亮的元素element或分量component。 通过一维张量表示向量。一般来说张量可以具有任意长度取决于机器的内存限制。
x torch.arange(4)
xtensor([0, 1, 2, 3])可以使用下标来引用向量的任一元素例如可以通过 x i x_i xi来引用第 i i i个元素
x[3]tensor(3)长度、维度和形状
向量的长度通常称为向量的维度dimension 可以通过调用Python的len()函数来访问张量的长度
len(x)4矩阵
矩阵在代码中表示为具有两个轴的张量
A torch.arange(20).reshape(5, 4)
Atensor([[ 0, 1, 2, 3],[ 4, 5, 6, 7],[ 8, 9, 10, 11],[12, 13, 14, 15],[16, 17, 18, 19]])可以通过行索引 i i i和列索引 j j j来访问矩阵中的标量元素 a i j a_{ij} aij例如 [ A ] i j [\mathbf{A}]_{ij} [A]ij。
当我们交换矩阵的行和列时结果称为矩阵的转置transpose。 通常用 a ⊤ \mathbf{a}^\top a⊤来表示矩阵的转置如果 B A ⊤ \mathbf{B}\mathbf{A}^\top BA⊤ 则对于任意 i i i和 j j j都有 b i j a j i b_{ij}a_{ji} bijaji。
A.Ttensor([[ 0, 4, 8, 12, 16],[ 1, 5, 9, 13, 17],[ 2, 6, 10, 14, 18],[ 3, 7, 11, 15, 19]])[对称矩阵symmetric matrix A \mathbf{A} A等于其转置 A A ⊤ \mathbf{A} \mathbf{A}^\top AA⊤]。
B torch.tensor([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
Btensor([[1, 2, 3],[2, 0, 4],[3, 4, 5]])B B.Ttensor([[True, True, True],[True, True, True],[True, True, True]])张量算法的基本性质
给定具有相同形状的任意两个张量任何按元素二元运算的结果都将是相同形状的张量。
例如将两个相同形状的矩阵相加会在这两个矩阵上执行元素加法。
A torch.arange(20, dtypetorch.float32).reshape(5, 4)
B A.clone() # 通过分配新内存将A的一个副本分配给B
A, A B(tensor([[ 0., 1., 2., 3.],[ 4., 5., 6., 7.],[ 8., 9., 10., 11.],[12., 13., 14., 15.],[16., 17., 18., 19.]]),tensor([[ 0., 2., 4., 6.],[ 8., 10., 12., 14.],[16., 18., 20., 22.],[24., 26., 28., 30.],[32., 34., 36., 38.]]))两个矩阵的按元素乘法称为Hadamard积Hadamard product数学符号 ⊙ \odot ⊙
A * Btensor([[ 0., 1., 4., 9.],[ 16., 25., 36., 49.],[ 64., 81., 100., 121.],[144., 169., 196., 225.],[256., 289., 324., 361.]])将张量乘以或加上一个标量不会改变张量的形状其中张量的每个元素都将与标量相加或相乘。
a 2
X torch.arange(24).reshape(2, 3, 4)
a X, (a * X).shape(tensor([[[ 2, 3, 4, 5],[ 6, 7, 8, 9],[10, 11, 12, 13]],[[14, 15, 16, 17],[18, 19, 20, 21],[22, 23, 24, 25]]]),torch.Size([2, 3, 4]))降维
默认情况下调用求和函数会沿所有的轴降低张量的维度使它变成一个标量。
x torch.arange(4, dtypetorch.float32)
x, x.sum()(tensor([0., 1., 2., 3.]), tensor(6.))A.shape, A.sum()(torch.Size([5, 4]), tensor(190.))可以指定张量沿着哪一个轴来通过求和降低维度。
例如为了通过求和所有行的元素来降维轴0可以在调用函数时指定axis0
由于输入矩阵沿轴0降维以生成输出向量因此输入轴0的维数在输出形状中消失。
A_sum_axis0 A.sum(axis0)
A_sum_axis0, A_sum_axis0.shape(tensor([40., 45., 50., 55.]), torch.Size([4]))指定axis1将通过汇总所有列的元素降维轴1。
因此输入轴1的维数在输出形状中消失。
A_sum_axis1 A.sum(axis1)
A_sum_axis1, A_sum_axis1.shape(tensor([ 6., 22., 38., 54., 70.]), torch.Size([5]))沿着行和列对矩阵求和等价于对矩阵的所有元素进行求和。
A.sum(axis [0, 1]) # 结果和A.sum()相同tensor(190.)一个与求和相关的量是平均值mean或average。
我们通过将总和除以元素总数来计算平均值。
在代码中我们可以调用函数来计算任意形状张量的平均值。
计算平均值的函数也可以沿指定轴降低张量的维度。
A.mean(), A.sum() / A.numel()(tensor(9.5000), tensor(9.5000))A.mean(axis0), A.sum(axis0) / A.shape[0](tensor([ 8., 9., 10., 11.]), tensor([ 8., 9., 10., 11.]))非降维求和
sum_A A.sum(axis1, keepdimsTrue)
sum_Atensor([[ 6.],[22.],[38.],[54.],[70.]])由于sum_A在对每行进行求和后仍保持两个轴我们可以通过广播将A除以sum_A。
A / sum_Atensor([[0.0000, 0.1667, 0.3333, 0.5000],[0.1818, 0.2273, 0.2727, 0.3182],[0.2105, 0.2368, 0.2632, 0.2895],[0.2222, 0.2407, 0.2593, 0.2778],[0.2286, 0.2429, 0.2571, 0.2714]])如果我们想沿某个轴计算A元素的累积总和 如axis0按行计算可以调用cumsum函数。 此函数不会沿任何轴降低输入张量的维度。
A.cumsum(axis0)tensor([[ 0., 1., 2., 3.],[ 4., 6., 8., 10.],[12., 15., 18., 21.],[24., 28., 32., 36.],[40., 45., 50., 55.]])点积Dot Product
矩阵相同位置按元素乘积的和
y torch.ones(4, dtype torch.float32)
x, y, torch.dot(x, y)(tensor([0., 1., 2., 3.]), tensor([1., 1., 1., 1.]), tensor(6.))可以通过执行按元素乘法然后进行求和来表示两个向量的点积
torch.sum(x * y)tensor(6.)矩阵-向量积
在代码中使用张量表示矩阵-向量积时使用mv函数。当为矩阵A和向量x调用torch.mv(A, x)时会执行矩阵-向量积。
注意A的列维数沿轴1的长度必须与x的维数其长度相同。
A.shape, x.shape, torch.mv(A, x)(torch.Size([5, 4]), torch.Size([4]), tensor([ 14., 38., 62., 86., 110.]))矩阵-矩阵乘法
B torch.ones(4, 3)
torch.mm(A, B)tensor([[ 6., 6., 6.],[22., 22., 22.],[38., 38., 38.],[54., 54., 54.],[70., 70., 70.]])矩阵-矩阵乘法可以简单地称为矩阵乘法不应与Hadamard积混淆。
范数
在线性代数中向量范数是将向量映射到标量的函数 f f f。 给定任意向量 x \mathbf{x} x向量范数要满足一些属性。
第一个性质是如果我们按常数因子 α \alpha α缩放向量的所有元素 其范数也会按相同常数因子的绝对值缩放 f ( α x ) ∣ α ∣ f ( x ) . f(\alpha \mathbf{x}) |\alpha| f(\mathbf{x}). f(αx)∣α∣f(x).
第二个性质是三角不等式: f ( x y ) ≤ f ( x ) f ( y ) . f(\mathbf{x} \mathbf{y}) \leq f(\mathbf{x}) f(\mathbf{y}). f(xy)≤f(x)f(y).
第三个性质是范数必须是非负的: f ( x ) ≥ 0. f(\mathbf{x}) \geq 0. f(x)≥0.
最后一个性质要求范数最小为0当且仅当向量全由0组成。 ∀ i , [ x ] i 0 ⇔ f ( x ) 0. \forall i, [\mathbf{x}]_i 0 \Leftrightarrow f(\mathbf{x})0. ∀i,[x]i0⇔f(x)0.
欧几里得距离是一个 L 2 L_2 L2范数 假设 n n n维向量 x \mathbf{x} x中的元素是 x 1 , … , x n x_1,\ldots,x_n x1,…,xn其 L 2 L_2 L2范数是向量元素平方和的平方根 ∥ x ∥ 2 ∑ i 1 n x i 2 , \|\mathbf{x}\|_2 \sqrt{\sum_{i1}^n x_i^2}, ∥x∥2i1∑nxi2 ,
其中在 L 2 L_2 L2范数中常常省略下标 2 2 2也就是说 ∥ x ∥ \|\mathbf{x}\| ∥x∥等同于 ∥ x ∥ 2 \|\mathbf{x}\|_2 ∥x∥2。 在代码中我们可以按如下方式计算向量的 L 2 L_2 L2范数。
u torch.tensor([3.0, -4.0])
torch.norm(u)tensor(5.)L 1 L_1 L1范数表示为向量元素的绝对值之和 ∥ x ∥ 1 ∑ i 1 n ∣ x i ∣ . \|\mathbf{x}\|_1 \sum_{i1}^n \left|x_i \right|. ∥x∥1i1∑n∣xi∣.
与 L 2 L_2 L2范数相比 L 1 L_1 L1范数受异常值的影响较小。
为了计算 L 1 L_1 L1范数我们将绝对值函数和按元素求和组合起来。
torch.abs(u).sum()tensor(7.)L 2 L_2 L2范数和 L 1 L_1 L1范数都是更一般的 L p L_p Lp范数的特例 ∥ x ∥ p ( ∑ i 1 n ∣ x i ∣ p ) 1 / p . \|\mathbf{x}\|_p \left(\sum_{i1}^n \left|x_i \right|^p \right)^{1/p}. ∥x∥p(i1∑n∣xi∣p)1/p.
类似于向量的 L 2 L_2 L2范数矩阵 X ∈ R m × n \mathbf{X} \in \mathbb{R}^{m \times n} X∈Rm×n的Frobenius范数Frobenius norm是矩阵元素平方和的平方根
( ∥ X ∥ F ∑ i 1 m ∑ j 1 n x i j 2 . \|\mathbf{X}\|_F \sqrt{\sum_{i1}^m \sum_{j1}^n x_{ij}^2}. ∥X∥Fi1∑mj1∑nxij2 .)
Frobenius范数满足向量范数的所有性质它就像是矩阵形向量的 L 2 L_2 L2范数。 调用以下函数将计算矩阵的Frobenius范数。
torch.norm(torch.ones((4, 9)))tensor(6.)
