泰恩数据SciPy的optimize模块提供了许多数值优化算法。
首先，引入optimize模块
import scipy.optimize as optimize
非线性方程组求解
SciPy中对非线性方程组求解是fslove()函数，它的调用形式一般为fslove(fun, x0)，fun是计算非线性方程组的误差函数，它需要一个参数x，fun依靠x来计算线性方程组的每个方程的值（或者叫误差），x0是x的一个初始值。
import scipy.optimize as optimize
"""
计算非线性方程组：
5x1+3 = 0
4x0^2-2sin(x1x2)=0
x1x2-1.5=0
"""
## 误差函数
def fun(x):
x0,x1,x2 = x.tolist()
return [5*x1+3, 4*x0**2-2*np.sin(x1*x2), x1*x2-1.5]
result = optimize.fsolve(fun,[1,1,1])
result
## array([-0.70622057, -0.6 , -2.5 ])
在计算非线性方程中的解时，比如像坐标上升算法，其中需要用到未知数的导数，同样，scipy的fslove()也提供了fprime参数传递未知数的雅各比矩阵从而加速计算，传递的雅各比矩阵每一行时某一方程对各个未知数的导数。对于上面的例子，我们可以写下如下的雅各比矩阵传入。
|
1
2
3
4
5
6
7
|
def j(x): x0,x1,x2 = x.tolist() return[[0,5,0],[8*x0,-2*x2*cos(x1*x2],[0,x2,x1]]result = optimize.fsolve(fun,[1,1,1],fprime=j)#result[-0.70622057 -0.6 -2.5] |
scipy的内部在实现fslove时应该时应该是利用了坐标上升算法或者梯度相关优化算法，但本人没有考证，有兴趣的可以看看源码。
最小二乘拟合
关于最小二乘算法的理论这里并不想谈，网上解释的文章也挺多，在 optimize模块中，可以使用leastsq()对数据进行最小二乘拟合计算。 leastsq()的用法很简单，只需要将计箅误差的函数和待确定参数的初始值传递给它即可。
|
1
2
3
4
5
6
7
8
9
10
11
|
x = np.array([8.19,2.72,6.39,8.71,4.7,2.66,3.78])y = np.array([7.01,2.78,6.47,6.71,4.1,4.23,4.05])def residual(p): k,b = p return y-(k*x+b)r = optimize.leastsq(residual,[1,0])k,b = r[0]# print k.613495349193# print b.79409254326 |
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
|
def func(x,p): """ 计算的正弦波 ：A*sin(2*pi*k*x+theta) """ A,k,theta = p return A*sin(2*np.pi*k*x+theta)def redis(p,y,x): return y-func(x,p)x = np.linspace(0,2*np.pi,100)A,k,theta = 10,0.34,np.pi/6y0 = func(x,[A,k,theta])# 加入噪声np.random.seed(0)y1 = y0+2*np.random.randn(len(x))p0 = [7,0.40,0]# p0是A,k,theta的初始值，y1，x要拟合的数据plsq = optimize.leastsq(redis, p0,args=(y1,x))print [A,k,theta] #真是的参数值print plsq[0] #拟合后的参数值 |
对于像正弦波或者余弦波的曲线拟合，optimize提供curve_fit()函数，它的使用方式和leastq()稍有不同，它直接计算曲线的值，比如上面的拟合正弦波可以用cureve_fit()来写。
|
1
2
3
4
5
6
7
|
def func2(x,p): """ 计算的正弦波 ：A*sin(2*pi*k*x+theta) """ A,k,theta = p return A*sin(2*np.pi*k*x+theta)ret,_=optimize.curve_fit(func2,x,y1,p0=p0) |
该函数有一个缺点就是对于初始值敏感，如果初始频率和真实频率值差太多，会导致最后无法收敛到真是频率。
局部最小值
optimize模块还提供了常用的最小值算法如：Nelder-Mead、Powell、CG、BFGS、Newton-CG等，在这些最小值计算时，往往会传入一阶导数矩阵(雅各比矩阵)或者二阶导数矩阵(黑塞矩阵)从而加速收敛，这些最优化算法往往不能保证收敛到全局最小值，大部分会收敛到局部极小值。这些函数的调用方式为:
|
1
2
3
4
5
6
|
optimize.minimize(target_fun,init_val,method,jac,hess) target_fun：函数的表达式计算； init_val：初始值； method：最小化的算法； jac：雅各比矩阵 hess：黑塞矩阵。 |
全局最小值算法
全局最小值使用optimize.basinhopping()来实现，这个函数首先要定义一个误差计算方式，比如平方误差函数，niter时迭代的次数，最后还需要一个局部极小值优化方法，minimizer_kwargs传入。比如上面的正弦函数拟合：
|
1
2
3
4
5
6
7
8
9
10
11
12
|
def func1(x,p): """ 计算的正弦波 ：A*sin(2*pi*k*x+theta) """ A,k,theta = p return A*sin(2*np.pi*k*x+theta)def func_error(p,y,x): return np.sum((y-func1(x,p)**2)result = optimize.basinhopping(func_error,[1,1,1],niter=10, minimizer_kwargs={"method":"L-BFGS-B", "args":(y1,x1)})## [1,1,1]是传入的初始值，args是需要拟合的数据 |
