五个简单的Torch例子

  1. 定义正定二次型
  2. 找到确切的最小值
  3. 通过梯度下降搜索最小值
  4. 使用优化软件包
  5. Plot绘图

上一讲我们已经安装好了Torch,接下来我们将会列出5个简单的Torch入门操作案例:

require 'torch'

自动引入Torch,代替你引入th

1、定义正定二次型


  1. rand()产生均匀分布的拉张量
  2. t()调换一个张量(注意,它返回一个新的视图)
  3. dot()执行2张量之间的点积
  4. eye()返回一个单位矩阵
  5. *运算符对矩阵(执行矩阵向量或矩阵矩阵乘法)

我们首先确保随机种子每个地方都是一样的。

torch.manualSeed(1234)
-- choose a dimension
N = 5

-- create a random NxN matrix
A = torch.rand(N, N)

-- make it symmetric positive
A = A*A:t()

-- make it definite
A:add(0.001, torch.eye(N))

-- add a linear term
b = torch.rand(N)

-- create the quadratic form
function J(x)
   return 0.5*x:dot(A*x)-b:dot(x)
end

可以很容易地用打印函数值(在一个随机点上):

print(J(torch.rand(N)))

2、找到确切的最小值


我们可以逆矩阵(可能不是数值最优的)。

xs = torch.inverse(A)*b
print(string.format('J(x^*) = %g', J(xs)))

3.通过梯度下降搜索最小值


我们首先定义梯度关于w.r.t. x of J(x):

function dJ(x)
  return A*x-b
end

然后定义一些当前的解决方案:

x = torch.rand(N)

然后应用梯度下降(给定的学习率lr)一段时间:

lr = 0.01
for i=1,20000 do
  x = x - dJ(x)*lr
  -- we print the value of the objective function at each iteration
  print(string.format('at iter %d J(x) = %f', i, J(x)))
end

你将会看到

...
at iter 19995 J(x) = -3.135664
at iter 19996 J(x) = -3.135664
at iter 19997 J(x) = -3.135665
at iter 19998 J(x) = -3.135665
at iter 19999 J(x) = -3.135665
at iter 20000 J(x) = -3.135666

4. 使用优化软件包


想用更先进的优化技术,如共轭梯度或LBFGS?优化方案是有目的的!首先,我们需要安装它:

luarocks install optim

定义一个局部变量 实际上,使用全局变量永远不是个好主意。到处使用本地。在我们的示例中,我们定义了全局中的所有内容,以便可以在解释器命令行中剪切和粘贴它们。的确,定义一个本地的:

local A = torch.rand(N, N)

只对当前作用域可用,在运行解释器时,它仅限于当前输入行。后续行将无法访问此本地。

Lua可以用do...end指令定义一个范围:

do
   local A = torch.rand(N, N)
   print(A)
end
print(A)

如果你剪切和粘贴命令行中,第一次打印将是一个5X5矩阵(因为当地是范围的持续时间定义do...end),但将零之后

定义一个闭包 我们需要定义一个返回j(x)和dj(x)的闭包。在这里,我们定义了一个范围do...end,使得局部变量神经是-- JdJ(X):只有JdJ(x)会意识到它。值得注意的是,在一个脚本中,一个不需要do...end范围,作为神经的范围会在脚本文件结束(而不是直线命令行结束)。

do
   local neval = 0
   function JdJ(x)
      local Jx = J(x)
      neval = neval + 1
      print(string.format('after %d evaluations J(x) = %f', neval, Jx))
      return Jx, dJ(x)
   end
end

训练与优化 默认情况下,包没有加载,所以我们需要它:

require 'optim'

我们首先定义共轭梯度的状态:

state = {
   verbose = true,
   maxIter = 100
}

然后开始训练

x = torch.rand(N)
optim.cg(JdJ, x, state)

你可以看到如下代码:

after 120 evaluation J(x) = -3.136835
after 121 evaluation J(x) = -3.136836
after 122 evaluation J(x) = -3.136837
after 123 evaluation J(x) = -3.136838
after 124 evaluation J(x) = -3.136840
after 125 evaluation J(x) = -3.136838

5. Plot绘图

可以通过多种方式实现绘图。例如,可以使用最近的itorch包。在这里,我们将使用gnuplot。

luarocks install gnuplot

存储中间功能评价 我们稍微修改了以前的闭包,这样它就存储了中间函数的评估(以及到目前为止训练的实时性):

evaluations = {}
time = {}
timer = torch.Timer()
neval = 0
function JdJ(x)
   local Jx = J(x)
   neval = neval + 1
   print(string.format('after %d evaluations, J(x) = %f', neval, Jx))
   table.insert(evaluations, Jx)
   table.insert(time, timer:time().real)
   return Jx, dJ(x)
end

接下来我们开始训练:

state = {
   verbose = true,
   maxIter = 100
}

x0 = torch.rand(N)
cgx = x0:clone() -- make a copy of x0
timer:reset()
optim.cg(JdJ, cgx, state)

-- we convert the evaluations and time tables to tensors for plotting:
cgtime = torch.Tensor(time)
cgevaluations = torch.Tensor(evaluations)

增加对随机梯度下降的支持 让我们使用Optim添加随机梯度训练:

evaluations = {}
time = {}
neval = 0
state = {
  lr = 0.1
}

-- we start from the same starting point than for CG
x = x0:clone()

-- reset the timer!
timer:reset()

-- note that SGD optimizer requires us to do the loop
for i=1,1000 do
  optim.sgd(JdJ, x, state)
  table.insert(evaluations, Jx)
end

sgdtime = torch.Tensor(time)
sgdevaluations = torch.Tensor(evaluations)

绘制图表 我们现在可以绘制图表了。一个简单的方法是使用gnuplot绘制(x,y)。在这里,我们先用gnuplot。figure()确保地块在不同的人物。

require 'gnuplot'
gnuplot.figure(1)
gnuplot.title('CG loss minimisation over time')
gnuplot.plot(cgtime, cgevaluations)

gnuplot.figure(2)
gnuplot.title('SGD loss minimisation over time')
gnuplot.plot(sgdtime, sgdevaluations)

更高级的方法是在同一个图上绘制所有的图,如下所示。这里我们将所有内容保存在PNG文件中。

gnuplot.pngfigure('plot.png')
gnuplot.plot(
   {'CG',  cgtime,  cgevaluations,  '-'},
   {'SGD', sgdtime, sgdevaluations, '-'})
gnuplot.xlabel('time (s)')
gnuplot.ylabel('J(x)')
gnuplot.plotflush()

Torch plot