再制造系统废旧产品回收的最优控制策略_孙晓晨

　　第13卷第9期

　　2007年9月计算机集成制造系统ComputerIntegratedManufacturingSystemsVol.13No.9Sep.2007文章编号:1006-5911(2007)09-1820-06

　　再制造系统废旧产品回收的最优控制策略

　　孙晓晨,陈秋双,李 响,涂菶生

　　(南开大学信息技术科学学院,天津 300071)

　　摘 要:研究了再制造逆向物流系统中废旧产品库存的最优控制问题。为了能够从用户手中回收到合适数量

　　的废旧产品,采用买回废旧产品的方式控制产品的返回强度。通过分析回收过程的特点,提出了一种新的随机库存控制模型,系统的最终目标是求取一个最优的价格策略,以达到有限周期系统总费用的期望值最小。在状态反馈控制规则下,得到了最优费用函数的递归方程,找到了具有两个状态阈值的最优反馈控制策略,并给出了求解最优策略的动态规划算法。最后,通过数值实例验证了算法的可行性,并给出了参数的敏感性分析。

　　关键词:再制造;随机库存;状态反馈;最优控制

　　中图分类号:0227;O232 文献标识码:A

　　Optimalcontrolpolicyforcollectingusedproductsinremanufacturingsystem

　　SUNXiao-chen,CHENQiu-shuang,LIXiang,TUBeng-sheng

　　(SchoolofInformationTechnicalScience,NankaiUniversity,Tianjin300071,China)

　　Abstract:Optimalcontrolofusedproductinventoryinaremanufacturingreverselogisticssystemwasstudied.Tocollectappropriatequantityofusedproductsfromusers,thebuyingbackpolicywasadopted,wherethereturnedin-tensitywascontrolledbythecollectionprice.Throughanalyzingthecharacteristicsofreturnprocess,anewsto-chasticinventorycontrolmodelwasproposed,whichwasaimedtoobtainoptimalbuyingbackpricestrategyandthenminimizetheexpectationoftotalcost.Underthestate-feedbackcontrolrule,therecursionequationofoptimalcostfunctionwasobtained,andmoreover,theoptimalfeedbackcontrolpolicywithtwostatecriticalvalueswasob-tained.Dynamicprogrammingalgorithmfortheoptimalbuyingbackpricewasgiven.Finally,thenumericalexam-pleprovedthefeasibilityofthealgorithm,andthesensitivityanalysisofparameterswasconducted.

　　Keywords:remanufacturing;stochasticinventory;state-feedback;optimalcontrol

　　0 引言

　　市场经济的快速发展迫使制造商不断推陈出

　　新,从而使得产品的寿命周期越来越短。产品更新

　　换代速度的加快,造成大量产品在使用寿命未终结

　　时便遭淘汰,给人们的环境和生活带来了巨大危害,

　　也造成了资源的浪费。随着人们环保意识的增强和

　　可持续发展战略的需要,对退出使用的废旧产品的处理问题越来越受到重视,各国纷纷出台相应政策,加强废旧物品的管理,例如欧洲颁布的生产者责任法,要求制造商对其产品的整个生命周期负责,承担废旧产品的回收和处理责任。但是,对于一个企业而言,更注重的是经济效益,如果废旧产品的处理不能给其带来利润,企业将视为负担,会采取十分消极的态度去对待。随着科学技术的发展,出现了大量的新技术,如表面工程、绿色制造和生命周期分析收稿日期:2006-09-13;修订日期:2007-02-05。Received13Sep.2006;accepted05Feb.2007.

　　基金项目:国家自然科学基金资助项目(60274042);南开大学/985工程0循环经济哲学社会科学创新基地资助项目(70501014)。Foundation-i

　　tem:ProjectsupportedbytheNationalNaturalScienceFoundation,China(No.60274042),andthe985ProjectofNationalCenterforInnovationResearchonCircularEconomyofNankaiUniversity,China(No.70501014).

　　作者简介:孙晓晨(1978)),男,河北饶阳人,南开大学信息技术科学学院博士研究生,主要从事供应链管理、物流优化等的研究。cn

　　第9期孙晓晨等:再制造系统废旧产品回收的最优控制策略

　　1821

　　等,使得废旧产品中所蕴涵的剩余价值得以开发,有些产品甚至可以完整修复,而且成本很低。因此,某些企业看到了废旧物品中的巨大商机,开始从事废旧物品的再利用活动,再制造便是再利用的一种形式。随着我国经济的发展,人民生活水平的提高,我国已成为一个世界性的消费大国,各种商品使用后的处理问题尤为突出,此方面诸多的技术和管理问题迫切需要解决。本文将针对再制造环境下产品回收问题进行研究。

　　本文主要研究废旧产品库存的最优控制问题。大多数再制造逆向物流系统的库存研究主要基于图1[1]所示框架,重点考虑可用件库存处理决策,再制造加工数量决策和新部件的订购决策等。现有研究都是针对废旧产品返回过程不可控的情况,对于返回过程的控制问题,研究则相对较少,主要由于在立法强迫下,很少企业积极对待返回物流。但是,随着科学技术发展和资源的枯竭,企业开始采取积极的响应态度,主动参与回收,回收过程控制问题的研究也就成为必然。对回收控制的研究主要有:文献[2]提出了回收管理的概念,强调了回收价格的重要性;文献[3]研究了一个静态定价问题,用以决策废旧产品回收价格和再生产品的销售价格。本文主要研究

　　回收价格的动态定价问题。

　　因素主要有供应商生产设备的突然损坏或供应商的承诺失效[5];对于随机产出,主要来自生产过程或运送过程的损坏,即由供应过程中的不完美所致。笔者研究的问题属于不确定供应的范畴,但是以上两种方式都难以描述本文问题的特点,即其供应是不确定的,但在一定程度上又可以被影响。

　　[6-7]

　　1 问题描述与建模

　　1.1 问题描述

　　考虑一个单产品多周期回收库存系统,回收部门从用户手中买回废旧产品,并储存在废旧品仓库内,以满足再制造过程的需求。为了研究需要,对问题做如下假设:①系统采用周期运作模式,假设周期长度为1,考虑有限周期决策问题;②每周期再制造过程对废旧产品的需求量为常量;③废旧产品的返回过程为泊松过程,其强度与价格呈正比关系;④不考虑废旧品库存的容量限制;⑤允许缺货,但需承担当前周期的缺货处罚费用,并在后续周期补足。

　　基于以上假设,系统的最优决策问题是为每周期确定一个回收价格,以使系统在有限周期内的费用最少。

　　系统在每周期内的事件序列为:周期开始,回收部门确定回收价格,产品不断地返回废旧品仓库;在周期末,统计回收的废旧产品数量,并满足再制造过程的需求,如果库存充足,则满足全部需求,否则,全部库存将被取走;最后,结算周期库存费用。1.2 问题建模

　　符号定义:N为总周期数;h为单位产品的周期库存费用;q为单位产品的周期缺货处罚费用;p为最大回收价格;D为每周期需求数量,为常量;uk

　　从控制论的角度,本文研究的废旧产品回收控制问题是一个离散时间非线性随机控制问题,系统状态方程形式如下:

　　Xk+1=Xk+N(uk+1)-D。

　　其特点在于系统具有随机输入,并且输入过程的强度是受控制变量控制的。就目前的知识,这是一类新的控制系统,笔者主要研究其最优控制问题,以求得最优的反馈控制器。

　　从应用角度,本文研究的问题是具有不确定供应源的库存控制问题,但又区别于以前的研究。在运筹学和管理科学的应用模型中,关于不确定供应模型的研究,主要分为随机产出和随机能力两类。([4]

　　为第k周期的回收价格,作为决策量,有ukI[0,p];N(uk)为第k周期当回收价格为uk时的回收数量,它是一随机变量,服从参数为auk的泊松分布,分布函数为F(#),aXk为第k周期末的库存水平,Xk=xk表示第k周期末系统满足需求后的库存状态,xk表示实际的库存数量,xk0,表示缺货数量;X0为系统初始库存状态。

　　由1.1节中系统的事件序列可知,系统的状态方程为

　　Xk+1=Xk+N(uk+1)-D,k=0,2,,,N-1。

　　考虑如下反馈控制规则

　　uk+1=fk+1(Xk),k=0,1,,,N-1,

　　1822

　　计算机集成制造系统第13卷

　　Xk+1=Xk+N(fk+1(Xk))-D,

　　k=0,1,,,N-1。

　　由式(1)易知如下命题成立。

　　命题1 给定初始状态X0=x0,系统状态过程{Xk}k=0,1,,,N为一个马氏过程。

　　系统考虑的费用包括废旧产品的购买费用、库存持有费用和缺货处罚费用,则第k(1[k[N)个周期的期望费用函数为

　　Rk(Xk-1,uk)=E[ukN(uk)+h((Xk-1)+N(uk))+q(D-Xk-1-N(uk))+]。

　　(2)

　　式中(x)+=max{0,x}。式(2)的右边第二项为库存费用,以上一周期剩余库存加上本周期回收的废旧产品计算。在此,对于返回的废旧产品,只要进入废旧品仓库就要计算库存费用。

　　令U=[0,p],对Xk-1=xk-1,如果反馈规则fk

　　(Xk-1)IU,则称其为可行的决策规则,可行决策规则序列P=(f1,f2,,,fN)为可行策略,有PIUN。于是,给定系统的初始库存水平X0=x0和一个可行策略P,系统N周期期望总费用函数为

　　R(x0,P)=(

　　k=1N

　　+

　　EWk+1(Xk-1+N(uk)-D))|Xk-1=xk-1},1[k[

　　(1)

　　N,

　　具体证明类似于文献[8]的定理311。

　　(5)

　　*

　　Wk(xk-1)=Wk(xk-1,Pk),1[k[N。(6)

　　2 最优策略结构

　　从表面上看,定理1表明问题可以递归求解,但系统的状态是无限的,因此在具体求解过程中,递归求解算法是不可行的。本章将给出问题最优策略的结构性质,以方便求解。

　　令

　　$xL(x)=L(x+1)-L(x),

　　$xL(x)=(L(x+2)-L(x+1))-(L(x+1)-L(x)),

　　gk(xk-1,uk)=Rk(xk-1,uk)+EWk+1(xk-1+N(uk)-D)。

　　]),xk和x是任意整数。

　　定义1 超可加函数

　　[9]

　　2

　　(7)

　　首先,放松决策变量的约束,令ukI[0,+

　　。

　　E

　　Rk(Xk-1,

　　(3)

　　*

　　定义在X@Y上的二元函数(x,y)是超可加的,当且仅当对于任意的x1,x2IX,y1,y2IY,且x1[x2,y1[y2,有

　　(x1,y1)+(x2,y2)(x1,y2)+(x2,y1)。引理1 对于式(2),有Rk(x,u)关于u是严格凸的;$xRk(x,u);Rk(x,u)在Z@R上是超可

　　,

　　(4)

　　2

　　2

　　+

　　fk(Xk-1))|X0=x0)。

　　N

　　令F=U,表示所有可行策略的集合,则系统的最优控制问题为:找到一个可行的策略P=

　　**

　　(f*1,f2,,,fN)IF使得式(3)最小,即

　　N

　　W(x0,P)=min{N

　　uIU

　　*

　　k=1

　　ER(X

　　k

　　k-1

　　加的。

　　具体证明参见文献[10]引理1。

　　引理2 在式(5)中,函数Wk(x)满足$xWk(x)。

　　证明 WN(x)=min{gN(x,uN)}=min{RN

　　uu

　　N

　　fk(Xk-1))|X0=x0};

　　s.t.

　　Xk+1=Xk+N(fk(Xk))-D,

　　fk(Xk)IU。

　　式中R(XN)表示系统终端费用,假设R(XN)=0。

　　令

　　k)=(Wk(xk-1,P

　　i=kN

　　(x,uN)}由于相对其他变量取最小,函数凸性保持

　　ER(X

　　i

　　k

　　不变

　　i-1

　　[11]

　　,则引理成立。通过归纳法和凸性在期望运

　　,fi(Xi-1))|Xk-1

　　算下保持不变很容易证明引理是成立的。

　　引理3 对于任意给定的x,gk(x,uk)关于uk

　　kk

　　是严格凸的,即有20。

　　k

　　2

　　=xk-1),

　　*

　　Wk(xk-1,Pk)=min{Wk(xk-1,Pk)},1[k[P

　　N。

　　k=(fk,f这里,P

　　k+1

　　,,,fN)IU

　　N-k+1

　　,WN+1(XN)

　　证明 由式(7)和引理1,只需证明EWk+1(x+N(uk)-D)关于uk是严格凸的。进而由引理2和凸性在期望运算下保持不变的性质,即可证明引理的=0,有以下定理。

　　定理1 Wk(xk-1)=min{(Rk(Xk-1,uk)+uIU

　　k

　　第9期孙晓晨等:再制造系统废旧产品回收的最优控制策略

　　+

　　1823

　　引理4 对于式(7),gk(x,uk)在Z@R是超可加的。

　　证明 由式(7)和引理1,仅需证明EWk+1(x+N(uk)-D)在Z@R是超可加的。令

　　H(y)=Wk+1(x1+y-D)-Wk+1(x2+y-D),对于x1[x2,则有

　　H(y+x2-x1)-H(y)=[Wk+1(2x2+y-x1

　　-D)-Wk+1(x2+y-D)]-[Wk+1(x2+y-D)-Wk+1(x1+y-D)]=Wk+1(2x2+y-x1-D)+Wk+1(x1+y-D)-2Wk+1(x2+y-D)。

　　又因为对于u1[u2,有N(u1)[有EH(N(u1))[

　　pr

　　pr

　　+

　　0,使得gk+1(x,uk(x))=min{gk+1(x,uk)}。其中+

　　uIR

　　k

　　uk(x)=[EWk+1(x+N(uk(x))-D)-EWk+1(x+1+N(uk(x))-D)+qF(D-x-1)-h]/2。(10)

　　证明 由式(9)可知,如果xk-1,则5gk(x,uk)

　　|

　　k(8),

　　u=0

　　k

　　0。进而,当uk→+]时,由式

　　kk→+],于是一定存在一个uk(x)

　　k

　　5gk+1(x,uk)

　　=0。又由引理3可知,

　　k

　　0,使得

　　N(u2)[12],则

　　EH(N(u2)),即

　　5gk(x,uk)

　　关于uk是严格单调的,从而uk(x)也是

　　k唯一的。由式(8)可得uk(x)=[EWk+1(x+N(uk(x))-D)-EWk+1(x+1+N(uk(x))-D)+qF(D-x-1)-h]/2。

　　引理得证。令

　　uk(x)=argmin^{gk+1(x,uk)},+

　　ukIR

　　EWk+1(x1+N(u1)-D)-EWk+1(x2+N(u1)-D)EWk+1(x1+N(u2)-D)-EWk+1(x2+N(u2)-D)。由定义1可知,EWk+1(x+N(uk)-D)在Z@R+是超可加的。引理4得证。

　　式(7)关于uk的一阶导数为

　　k+1k=2auk+ha-aqF(D-x-1)+

　　5uk

　　a[EWk+1(x+1+N(uk)-D)-EWk+1(x+N(uk)-D)]。

　　+

　　(11)

　　则有下面的定理和推理成立。

　　定理3 对于xk-1,^uk(x)关于x单调递减。

　　具体证明参阅文献[9]的引理4和定理4.3.2。推论1 对于式(11),有xlimuk(x)=^→-]

　　,k=1,2,,,N。

　　2

　　具体证明参阅文献[10]中推理1。由定理3,显然下面推论成立。

　　推论2 如果^uk(x)p,则存在k-1IZ,使得对于任意的xk-1,有^uk(x)p。其中,k-1=max{x|^uk(x)p}。

　　定理4 系统的最优控制规则有如下结构:(1)如果pf

　　*

　　k

　　(8)

　　定理2 存在Xk-1IZ,使得对于任意xXk-1,有gk+1(x,0)=min{gk+1(x,uk)}。在此,+

　　uIR

　　k

　　Xk-1=min{x|

　　kk|uk=0}。(9)

　　k

　　证明 由凸性在期望运算下保持不变的性质,且由引理2可知,对于足够大的x,EWk+1(x+N(uk)+1-D)-EWk+1(x+N(uk)-D)0,并且如果x

　　kk

　　D,则对于任意的uk,有0。由引理3,

　　k

　　则gk+1(x,0)=min{gk+1(x,uk)}。令Xk-1=min{x+

　　uIR

　　k

　　|

　　5gk(x,uk)

　　|uk=0}。由引理2可知,当x充分小

　　k

　　5gk(x,uk)

　　|uk=0不能成立。因此,

　　k

　　5gk(x,uk)

　　k

　　,则

　　2

　　uk(x)0

　　xk-1xXk-1

　　;

　　时,有EWk+1(x+N(uk)+1-D)-EWk+1(x+N(uk)-D)0,于是

　　(u)=^uk(x)=

　　Xk-1总是存在,并且有限。由引理4可知,

　　(2)如果p,则

　　2

　　p

　　f

　　*k

　　x1

　　k-1[xk-1。

　　xXk-1

　　关于x是单调递增的,则当xXk-1时,gk+1(x,0)=min{gk+1(x,uk)}。+

　　ukIR

　　(x)=uk(x)0

　　5k-1,ukux

　　1824

　　计算机集成制造系统第13卷

　　证明 如果p,则对任意

　　2x,有^uk(x)p,k-1不存在;反之,则k-1存在。又由定理2和引理5,定理成立。

　　示。

　　表1 各周期最优决策

　　状态x-7

　　f

　　*

　　2

　　(x)f*3(x)2.00001.94951.79501.63711.47551.30981.1392019623

　　状态x12345678

　　f*

　　2(x)f*3(x)

　　2.00002.00002.00001.90341.73131.55691.37991.1996

　　1.01570182720163360144210134140123490112080.0000

　　0177710157860135360.00000.00000.00000.00000.0000

　　3 最优策略的算法

　　定理4使得最优策略求解的状态空间变为有限,问题可用动态规划逆序算法进行求解。对于定理4中的(1),虽然没有(2)中的下界,但是,其求解状态仍然是有限的,因为对于给定的初始状态x0,由于每周期的需求为D,第k周期状态xkx0-kD。最优策略的计算步骤如下:

　　步骤1 令R(XN)=0,k=N。步骤2 如果k=1,停止。步骤3 计算Xk-1=min{x|},并令j=Xk-1-1。

　　k+1k步骤4 对于给定的j,求解=0的

　　k

　　解uk(j)。

　　步骤5 如果p,则令f*k(j)=

　　2uk(j),转步骤7;如果p,当uk(j)

　　2p,则令f*k(j)=p,k-1=j-1,转步骤8,当uk(j)p时,fk(j)=uk(j)。

　　步骤6 设置j=j-1,转步骤4。

　　步骤7 如果j=x0-(k-1)D,转步骤8;否则,设置j=j-1,转步骤4。

　　步骤8 设置k=k-1,转步骤2。

　　*

　　-6-5-4-3-2-10

　　由以上数据,可以描述最优决策与各周期系统状态的关系(如图2),以及系统费用随周期初始状

　　态的变化曲线(如图3)。

　　uk=0

　　kk|

　　k

　　4 数值实例

　　本章将给出一个数值实例,系统参数:N=3,h=1,q=10,a=5,p=2,D=4,X0=0。

　　第k周期回收数量服从泊松分布Pr{N(uk)=i}=-au

　　k

　　k,由于au[10,则泊松分布的状态值i!

　　j

　　最大取到24已足够。4.1 最优决策

　　计算可得X1=12,X2=8,X3=4,1=-4,2

　　=-4,=-6。第1周期的最优决策为f

　　*

　　1

　　(0)=

　　由图2和图3可以看出,最优决策随系统状态的增大而降低,最后保持在0不变。系统后N-k+1个周期的最优费用关于第k-1周期初始状态是

　　1.

　　,第31

　　第9期孙晓晨等:再制造系统废旧产品回收的最优控制策略

　　1825

　　凸的,且在Xk-1处最小。

　　4.2 持有费用参数和处罚费用参数对最优决策的

　　影响

　　由图4和图5可以看出,随着h的增大,最优决策单调下降,表明系统要尽可能地降低回收的数量,以减少库存费用;随着q的增大,最优决策不断上升,表明系统为了防范高的处罚费用而要维持更大

　　的库存水平。

　　状态,建立了一种新的随机控制模型,在反馈控制规则下,以有限周期系统费用期望最小为目标,得到了具有状态阈值的最优反馈控制策略,使得问题在求解复杂度上得到了简化。参考文献:

　　[1] FLEISCHMANNM.Quantitativemodelsforreverselogistics

　　[M].Berlin,Germany:Springer-Verlag,1997.[2]

　　DANIELR,GUIDEJR,RUNDH,etal.Managingproductreturnsforremanufacturing[J].ProductandOperationsMan-agement,2001,10(2):142-155.

　　[3] DANIELR,GUIDEJR,RUUDH,etal.Matchingdemand

　　andsupplytomaximizeprofitsfromremanufacturing[J].ManufacturingServiceOperationsManagement,2003,l5(4):303-316.

　　[4] WANGZengyun,YIGALG.Periodicreviewproductmodels

　　withvariablecapacity,randomyieldanduncertaindemand[J].ManagementScience,1996,42(1):130-138.

　　[5] ANUPINDIR,AKELLAR.Diversificationundersupplyun-certainty[J].ManagementScience,1996,39(8):944-963.[6] YANOCA,LEELH.Lotsizingwithrandomyields:are-view[J].OperationsResearch,1995,43(2):311-335.[7] BASSOKY,HOPPWJ,ROHATGIM.Asimplelinearfor

　　theserviceconstrainedrandomyieldproblem[J].IIETransac-tion,2002,34(5):479-487.

　　[8] YANYing,CHENGShixue,CHENGKan.Stochasticmodel

　　onoperationresearch[M].Beijing:ChinaRenminUniversityPress,1995(inChinese).[严 颖,盛世学,程 侃.运筹学随机模型[M].北京:中国人民大学出版社,1995.]

　　[9] PUTERMANML.Markovdecisionprocesses:discretesto-chasticdynamicprogramming[M].NewYork,N.Y.,USA:WileyInter-SciencePublication,1994.

　　[10] SUNXiaochen,TUFengsheng,CHENTsiushuang,etal.

　　Optimalcontrolforreturnsofusedproductsunderbuy-backpolicy[EB/OL].(2005-11-16)[2005-11-16].http://www.wendangwang.com/.

　　[11] HEYMAND,SOBELM.Stochasticmodelsinoperationsre-

　　5 结束语

　　本文针对再制造逆向物流系统,研究了废旧产品回收的最优控制问题。以废旧品库存状态为系统

　　search[M].NewYork,N.Y.,USA:Mc-Graw-Hill,1984.

　　[12] TANGHengyong,ZHAOChuanli.Introductiontoschedu-ling[M].Beijing:SciencePress,2002(inChinese).[唐恒永,赵传立.排序引论[M].北京:科学出版社,2002.]