启发式算法 | 模拟退火算法
目录
模拟退火算法Simulated Annealing
1.概念
模拟退火算法是基于Monte-Carlo迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。
模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法。
2.原理
模拟退火算法包括Metropolis算法（内循环）和退火过程（外循环）两个部分在每个温度下迭代L次来寻找当前温度下的最优解，然后降低温度继续寻找，直到到达终止温度，即转移概率P接近于0.
内循环：在每次温度T下，迭代iter次，寻找在该温度T下能量/目标函数f的最小值（即最优解）。在内循环中，由初始解i和控制参数初值T开始，对当前解重复“产生新解（随机产生，并判断是否在给定范围内）→计算目标函数差→接受或舍弃（根据Metroplis准则，若f_new小于f，则接受；若f_new大于f，则按照一定概率P决定是否接受。在区间【0,1】产生一个均匀分布的随机数ϵ，如果ϵ <P，则此种转移接受，否则拒绝转移，进入下一步，往复循环。）”的迭代。
外循环：退火过程，降温，温度值下降迭代。某温度T迭代完后，获取该温度下的最优值，并根据降温系数逐步衰减T值，算法终止时的当前解即为所得近似最优解。
退火过程由冷却进度表(Cooling Schedule)控制，包括控制参数的初值t及其衰减因子Δt、每个t值时的迭代次数L和停止条件S。
产生新解和接受新解均受温度的影响，随温度下降，接受使目标函数上升的概率逐渐增大（求最大值），和退火过程相似，当温度逐渐下降，分子运动的活跃度也将下降，变化的可能性就会降低。
3.模型/基本思想/算法步骤
三个部分
解空间（对于求解某函数最优值而言，其可理解为自变量范围）、初始解（随机生成自变量）、目标函数（待求最优值的函数）
初始化参数
初始温度T(充分大)、初始解x(,y...)、每个温度T的迭代次数iter、降温系数（退火速率）、温度终值
模拟退火的基本思想
(1) 初始化：初始温度T(充分大)，初始解状态S(是算法迭代的起点)，每个T值的迭代次数L
(2) 对k=1, …, L做第(3)至第6步：
(3) 产生新解S′
(4) 计算增量ΔT=C(S′)-C(S)，其中C(S)为评价函数
(5) 若ΔT<0则接受S′作为新的当前解，否则以概率exp(-ΔT/T)接受S′作为新的当前解.
(6) 如果满足终止条件则输出当前解作为最优解，结束程序。
终止条件通常取为连续若干个新解都没有被接受时终止算法。
（7）T逐渐减少，且T->0，然后转第2步。
模拟退火算法的步骤
模拟退火算法新解的产生和接受可分为如下四个步骤：
第一步是由一个产生函数从当前解产生一个位于解空间的新解；为便于后续的计算和接受，减少算法耗时，通常选择由当前新解经过简单地变换即可产生新解的方法，如对构成新解的全部或部分元素进行置换、互换等，注意到产生新解的变换方法决定了当前新解的邻域结构，因而对冷却进度表的选取有一定的影响。
第二步是计算与新解所对应的目标函数差。因为目标函数差仅由变换部分产生，所以目标函数差的计算最好按增量计算。事实表明，对大多数应用而言，这是计算目标函数差的最快方法。
第三步是判断新解是否被接受,判断的依据是一个接受准则，最常用的接受准则是Metropolis准则: 若ΔT<0则接受S′作为新的当前解S，否则以概率exp(-ΔT/T)接受S′作为新的当前解S。
第四步是当新解被确定接受时，用新解代替当前解，这只需将当前解中对应于产生新解时的变换部分予以实现，同时修正目标函数值即可。此时，当前解实现了一次迭代。可在此基础上开始下一轮试验。而当新解被判定为舍弃时，则在原当前解的基础上继续下一轮试验。
模拟退火算法与初始值无关，算法求得的解与初始解状态S(是算法迭代的起点)无关；模拟退火算法具有渐近收敛性，已在理论上被证明是一种以概率l 收敛于全局最优解的全局优化算法；模拟退火算法具有并行性。
4.具体实例/代码
求解函数最优值
# 模拟退火
import math # 数学运算
from random import random # 随机数
import matplotlib.pyplot as plt # 画图
# 目标函数计算公式，传递入x,y，返回result
# x为公式里的x1,y为公式里面的x2
def func(x, y):
result = 4 * x ** 2 - 2.1 * x ** 4 + x ** 6 / 3 + x * y - 4 * y ** 2 + 4 * y ** 4
return result
# python类与方法的使用
# __init__方法实例化时会自动调用，可以有参数，通过__init__传递到类的实例化操作上
# self代表类的实例，而非类
class SA:
# 模型初始化/初始化参数
# 方程 迭代次数 温度上限 温度下限 学习率
def __init__(self, func, iter=1000, T0=100, Tf=0.01, alpha=0.99):
self.func = func # 往类中传递函数
self.iter = iter # 内循环每个温度的迭代次数
self.alpha = alpha # 降温系数,alpha=0.99
self.T0 = T0 # 初始温度T0为100
self.Tf = Tf # 温度终值Tf为0.01
self.T = T0 # 当前温度为T0
self.x = [random() * 12 - 6 for i in range(iter)] # 随机生成100个x的值
self.y = [random() * 12 - 6 for i in range(iter)] # 随机生成100个y的值
self.most_best = []
self.history = {'f': [], 'T': []}
# 扰动产生新解的过程
def generate_new(self, x, y):
while True:
#生成新解与当前温度T有关
x_new = x + self.T * (random() - random())
y_new = y + self.T * (random() - random())
if (-5 <= x_new <= 5) & (-5 <= y_new <= 5):
break # 重复得到新解，直到产生的新解满足约束条件
return x_new, y_new
# Metropolis准则
#判断新解被接受或舍弃
def Metrospolis(self, f, f_new):
if f_new <= f:
return 1
else:
p = math.exp((f - f_new) / self.T) # 接收新解的概率
if random() < p:
return 1
else:
return 0
# 获取最优目标函数值
def best(self):
f_list = [] # f_list数组保存每次迭代之后的值
for i in range(self.iter):
f = self.func(self.x[i], self.y[i])
f_list.append(f)
f_best = min(f_list) # 在一组迭代中选择最小值
idx = f_list.index(f_best) # 找到最小值对应的索引
return f_best, idx # f_best,idx分别为在该温度下，迭代L次之后目标函数的最优解和最优解的下标
# 运行此函数，__init__自动运行，得到初值
def run(self):
count = 0 # 外循环迭代计数
# 外循环迭代直到不满足while条件
# 直到当前温度小于等于终止温度的阈值
while self.T > self.Tf:
# 内循环迭代100次（每次内循环在同一温度下）
for i in range(self.iter):
f = self.func(self.x[i], self.y[i]) # f为迭代一次后的值 x y为随机生成的100个数的数组
x_new, y_new = self.generate_new(self.x[i], self.y[i]) # 使用函数generate_new产生新解
f_new = self.func(x_new, y_new) # 计算新解对应函数值
if self.Metrospolis(f, f_new): # 判断是否接受新解
self.x[i] = x_new # 如果接受新解，则把新解x,y存入x数组和y数组替代原有的数
self.y[i] = y_new
# 迭代L次记录在该温度下最优解
ft, idx = self.best() # return f_best, idx 返回最优解和最优解下标
self.history['f'].append(ft) # 最优解
self.history['T'].append(self.T) # 此时的温度 绘图
# 温度按照一定的比例下降（冷却）
self.T = self.T * self.alpha # 影响产生新解(generate_new)、接受新解的概率(metrospolis)
count += 1
# 得到最优解
f_best, idx = self.best()
print(f"F={f_best}, x={self.x[idx]}, y={self.y[idx]}")
#实例化
sa = SA(func)
sa.run() # 将func传递进类SA运行类中的run(self)函数
#画图
plt.plot(sa.history['T'], sa.history['f'])
plt.title('SA')
plt.xlabel('T')
plt.ylabel('f')
plt.gca().invert_xaxis() # 翻转
plt.show()