оптимальный динамическое программирование стратегия

В общем виде проблема ставится следующим образом: определить оптимальную стратегию использования оборудования в период времени длительностью m лет, причем прибыль за каждые I лет, i= от использования оборудования возраста t лет должна быть максимальной.

Известны: r(t) - выручка от реализации продукции, произведенной за год на оборудовании возраста t лет, l(t) - годовые затраты, зависящие от возраста оборудования t, c(t) - остаточная стоимость оборудования возраста t лет, P - стоимость нового оборудования. Под возрастом оборудования понимается период эксплуатации оборудования после последней замены, выраженный в годах.

Для построения математической модели последовательно выполняются этапы, сформулированные ниже.

1. Определение числа шагов. Число шагов равно числу лет, в течение которых эксплуатируется оборудование.

2. Определение состояний системы. Состояние системы характеризуется возрастом оборудования t; t=.

3. Определение управлений. В начале i-го шага, i= может быть выбрано одно из двух управлений: заменять или не заменять оборудование. Каждому варианту управления приписывается число

uс - если оборудование не заменяется;

uз - если оборудование заменяется.

4. Определение функции выигрыша на i-м шаге. Функция выигрыша на на i-м шаге - это прибыль от использования оборудования к концу на i-го года эксплуатации, t=, i=.

u1= uс - если оборудование в начале i-го года не заменяется;

u2= uз - если оборудование заменяется.

Таким образом, если оборудование не продается, то прибыль от его использования - это разность между стоимостью произведенной продукции и эксплуатационными издержками. При замене оборудования прибыль составляет разность между остаточной стоимость оборудования и стоимостью нового оборудования, к которой прибавляе6тся разность между стоимостью продукции и эксплуатационными издержками для нового оборудования, возраст которого в начале i-го шага составляет 0 лет.

5. Определение функции изменения состояния

u1 uс - если Xi=0

u2= uз - если Xi=1

6. Составление функционального уравнения для i=m.

7. Составление основного функционального уравнения

Где Wi(t) - прибыль от использования оборудования возраста t лет с i-го шага (с конца i-го года) до конца периода эксплуатации.

Wi+1(t+1) - прибыль от использования оборудования возраста t+1год с (i+1)-го шага до конца периода эксплуатации;

Таким образом, математическая модель задачи построена.

Алгоритм решения задачи

Введём обозначения:

t- возраст оборудования.

L(t) - производство продукции на оборудовании, возраст которого t лет.

R(t) - расходы на содержание оборудования.

P(t) - остаточная стоимость оборудования.

Р - стоимость нового оборудования

Fn(t)- прибыль от старого оборудования возраст которого t лет.

n-последний год.

на старом оборудовании (1)

Это функциональное уравнение

Форма входного документа

Данные могут быть занесены с помощью таблицы:

Таблица №1 . Данные входной информация.

По формуле

Описание программно-технических средств

Разработка программы производилась на языке программирования Borland

Delphi 7.0 при помощи операционной системы Microsoft Windows XP Professional

При разработке программы, использовались компоненты Delphi:

String Grid - для заполнения справочников и отображения результатов

Edit - для ввода значений

Button - для создания кнопки

Label - создание меток, для удобства использования

Image - изображения

MainMenu - Меню программы

OpenDialog - открыть диалог

При разработки программного обеспечения так же использовались следующие системные утилиты:

Антивирусные программа (Dr.Web 4.44)

Программы архиваторы (WinRar v3.45).

утилиты Microsoft Office (Microsoft Word, Excel).

графические редакторы (PhotoShop v CS3)

При разработке программного обеспечения использовался ПК со следующими характеристиками:

Процессор: Intel Pentium(R) 3.00 GHz

Оперативная память: 1Gb DDR2 PC 533

Видео карта: NVIDIA Gee Force FX 6600 128Mb

Жесткий диск: 200 Gb

Монитор: 17" 1280x1025@75Hz

Отладочный пример

найдём максимальную прибыль при замене оборудования через 2 года:

По формуле

Вывод: Максимальную прибыль в размере 215 единиц мы получим, если поменяем оборудование через 2 года на третий.

Описание программы

Программа «Решение задач о замене оборудования» предназначена для предприятий, занимающихся каким-либо родом деятельности, требующего использования определенного оборудования. В силу ряда причин, оборудование изнашивается физически, т.е. ломается и не подлежит ремонту или возникают такие неисправности, при которых проще купить новое оборудование, чем ремонтировать старое, либо изнашивается морально, т.е. темпы роста экономического развития отрасли производства этого оборудования очень велики. Таким образом, для того, чтобы «производство продукции» на таком оборудовании достигало максимального эффекта, его необходимо периодически менять. Эта программа подсчитывает количество лет, через которое нужно сменить оборудование, чтобы получить максимальную прибыль.

Для разработки программы «Решение задач о замене оборудования» был использован язык программирования Delphi 6. В настоящее время эта среда объектно-ориентированного программирования очень популярна, ее основой является язык Object Pascal. Она позволяет создавать приложения различной степени сложности - от простейших программ до профессиональных, предназначенных для работы с базами данных. Кроме того, помощь по программе оформлена в виде HTML-страниц с помощью программы Arachnophilia.

Вся работа с программой основана на работе с меню, с его описанием можно ознакомиться в пункте меню Помощь/Содержание/Работа с меню.

Данная программа создана при выполнении курсового проекта по предмету «Математические методы», на данную тему.

Замена оборудования – важная экономическая проблема. Задача состоит в определении оптимальных сроков замены старого оборудования (станков, производственных зданий и т.п.). Старение оборудования включает его физический и моральный износ, в результате чего растут производственные затраты, затраты на ремонт и обслуживание, снижаются производительность труда, ликвидная стоимость. Критерием оптимальности являются, как правило, либо прибыль от эксплуатации оборудования (задача максимизации), либо суммарные затраты на эксплуатацию в течение планируемого периода (задача минимизации).

Основная характеристика оборудования – параметр состояния – его возраст t.

При составлении динамической модели замены процесс замены рассматривают как "-шаговый, разбивая весь период эксплуатации на п шагов. Возможное управление на каждом шаге характеризуется качественными признаками, например X е (сохранить оборудование), X" (заменить) и Хр (сделать ремонт).

Рассмотрим конкретный пример.

11.3. Оборудование эксплуатируется в течение 5 лет, после этого продается. В начале каждого года можно принять решение – сохранить оборудование или заменить его новым. Стоимость нового оборудования р 0 = 4000 руб . После t лет эксплуатации (1 < t < 5) оборудование можно продать за g(t) = р 0 T" руб. (ликвидная стоимость). Затраты на содержание в течение года зависят от возраста t оборудования и равны r(i) = 600(i + l). Определить оптимальную стратегию эксплуатации оборудования, чтобы суммарные затраты с учетом начальной покупки и заключительной продажи были минимальны.

Решение. Способ деления управления на шаги, естественный, по годам, п = 5. Параметр состояния – возраст машины – s k_ t =t, s Q= 0 – машина новая в начале 1-го года эксплуатации. Управление на каждом шаге зависит от двух переменных X е и Х

Уравнения состояний зависят от управления:

(11.22)

В самом деле, если к /г-му шагу s k_ { =t, то при сохранении машины (Х к = X е) через год возраст машины увеличится на 1. Если машина заменяется новой (Х к = Х"), то это означает, что к началу ⅞-ro шага ее возраст t = 0, а после года эксплуатации ¢=1, т.е. s k = 1.

Показатель эффективности ⅛-го шага:

(11.23)

При X е затраты только на эксплуатацию машины возраста i, при X 1 машина продается (-4000-2"" J, покупается новая (4000) и эксплуатируется в течение первого года (600), общие затраты равны (-4000 ∙ 2"" + 4000 + 600).

Пусть– условные оптимальные затраты на экс

плуатацию машины начиная с А-го шага до конца при условии, что к началу А-го шага машина имеет возраст t лет. Запишем для функцийуравнения Веллмана (11.5) и (11.8), заменив задачу максимизации на задачу минимизации:

(11.24)

Величина– стоимость машины возраста

t лет (по условию машина после 5 лет эксплуатации продается).

(11.25)

Из определения функцийследует

Дадим геометрическое решение этой задачи. Па оси абсцисс будем откладывать номер шага А, на оси ординат – возраст t машины. Точка (А – 1, ί) на плоскости соответствует началу А-го года эксплуатации машины возраста t лет. Перемещение па графике в зависимости от принятого управления на А-м шаге показано на рис. 11.7.

Состояние начала эксплуатации машины соответствует точке , конец – точкам s(6; t). Любая траектория, переводящая точкуизв, состоит из отрезков-шагов, соответствующих годам эксплуатации. Надо выбрать такую траекторию, при которой затраты на эксплуатацию машины окажутся минимальными.

Рис. 11.7

Над каждым отрезком, соединяющим точки [к -1; /) и [к, ¢ + 1), запишем соответствующие управлению Xе затраты, найденные из (11.23): 600(ί + ΐ), а над отрезком, соединяющим точки (k- ; ¢) и [к; г), запишем затраты, соответствующие управлению X 3, т.е. 4600-4000 2_ί. Таким образом мы разметим все отрезки, соединяющие точки на графике, соответствующие переходам из любого состояния s k_ i в состояние s k (рис. 11.8). Например, над отрезками, соединяющими точки (к; 2) и (/г+1; 3), стоит число 1800 , что соответствует затратам на эксплуатацию в течение каждого года машины возраста t = 2 года, а над отрезками, соединяющими (к, 2) и (£+1; 1), стоит число 3600 – это сумма затрат на покупку машины и эксплуатацию новой машины в течение года без "затрат" (выручки) за проданную машину возраста t лет. Следует учесть, что 0 < t < к.

Проведем на размеченном графе состояний (см. рис. 11.8) условную оптимизацию.

V шаг. Начальные состояния – точки (4; ¢), конечные – (5; ¢). В состояниях (5; ¢) машина продается, условный оптимальный доход от продажи равен 4000 2_ί, но поскольку целевая функция связана с затратами, то в кружках точек (5; ¢) поставим величину дохода со знаком минус.

Анализируем, как можно попасть из каждого начального состояния в конечное на V шаге.

Состояние (4; 1). Из него можно попасть в состояние (5; 2), затратив на эксплуатацию машины 1200 и выручив затем от продажи 1000, т.е. суммарные затраты равны 200, и в состояние (5; 1) с затратами 2600 – 2000 = 600. Значит, если к последнему шагу система находилась в точке (4; 1), то следует идти в точку (5; 2) (укажем это направление двойной стрелкой), а неизбежные минимальные затраты, соответствующие этому переходу, равны 200 (поместим эту величину Zg (1) = 200 в кружке точки (4; 1)).

Состояние (4; 2). Из него можно попасть в точку (5; 3) с затратами 1800 – 500 = 1300 и в точку (5; 1) с затратами 3600 – 2000 = 1600. Выбираем первое управление, отмечаем его двойной стрелкой, a Zg(2) = 1300 проставляем в кружке точки (4; 2).

Рассуждая таким же образом для каждой точки предпоследнею шага, мы найдем для любого исхода IV шага оптимальное управление на V шаге, отметим его на рис. 11.8 двойной

Рис. 11.8

стрелкой. Далее планируем IV шаг, анализируя каждое состояние, в котором может оказаться система в конце III шага с учетом оптимального продолжения до конца процесса, т.е. решаем для всех 0 < t < 4 при k = 4 уравнения (11.22). Например, если начало IV шага соответствует состоянию (3; 1), то при управлении X е система переходит в точку (4; 2), затраты на этом шаге 1200, а суммарные затраты за два последних шага равны 1200 + 1300 = 2500. При управлении X" затраты за два шага равны 2600 + 200 = 2800. Выбираем минимальные затраты 2500, ставим их в кружок точки (3; 1) а соответствующие управления на этом шаге помечаем двойной стрелкой, ведущей из состояния (3; 1), в состояние (4; 2). Так поступаем для каждого состояния (3; t) (см. рис. 11.8).

Продолжая условную оптимизацию III, II и I шагов, мы получим на рис. 11.8 такую ситуацию: из каждой точки (состояния) выходит стрелка, указывающая, куда следует перемещаться в данном шаге, если система оказалась в этой точке, а в кружках записаны минимальные затраты на переход из этой точки в конечное состояние. На каждом шаге графически решались уравнения (11.22).

После проведения условной оптимизации получим в точке (0; 0) минимальные затраты на эксплуатацию машины в течение 5 лет с последующей продажей: Zmin =11900. Далее строим оптимальную траекторию, перемещаясь из точки s0(0; 0) по двойным стрелкам в.?. Получаем набор точек:

{(0; 0),(1;1), (2; 2),(3:1), (4; 2), (5; 3)},

который соответствует оптимальному управлению Х*(ХС, Xе, Х X е, X е). Оптимальный режим эксплуатации состоит в том, чтобы заменить машину новой в начале 3-го года.

Таким образом, размеченный график (сеть) позволяет наглядно интерпретировать расчетную схему и решить задачу методом ДП.

Как уже отмечалось, модели и вычислительная схема ДП очень гибки в смысле возможностей включения в модель различных модификаций задачи. Например, аналогичная задача может быть рассмотрена для большого числа вариантов управления, "ремонт", "капитальный ремонт" и т.д. Можно рассматривать замену оборудования новым с учетом технического прогресса, можно учесть изменения в затратах на эксплуатацию оборудования после его ремонта, в зависимости от года эксплуатации (дороже, дешевле). Все эти факторы можно учитывать вычислительной схемой ДП.

• Все цены условные.
• Напоминаем, что псе затраты выражены в условных рублях.

Известно, что оборудова­ние со временем изнашивается, стареет физически и морально. В процес­се эксплуатации, как правило, падает его производительность и растут эксплуатационные расходы на текущий ремонт. Со временем возникает необходимость замены оборудования, так как его дальнейшая эксплуата­ция обходится дороже, чем ремонт. Отсюда задача о замене может быть сформулирована так. В процессе работы оборудование дает ежегодно прибыль, требует эксплуатационных затрат и имеет остаточную стои­мость. Эти характеристики зависят от возраста оборудования. В любом году оборудование можно сохранить, продать по остаточной цене и при­обрести новое. В случае сохранения оборудования возрастают эксплуата­ционные расходы и снижается производительность. При замене нужны значительные дополнительные капитальные вложения. Задача состоит в определении оптимальной стратегии замен в плановом периоде, с тем чтобы суммарная прибыль за этот период была максимальной.

Для количественной формулировки задачи введем следующие обо­значения: r(t) - стоимость продукции, производимой за год на единице оборудования возраста t лет; u(t) - расходы, связанные с эксплуатацией этого оборудования; s(t) - остаточная стоимость оборудования возраста t лет; р - покупная цена оборудования; Т - продолжительность плано­вого периода; t = 0,1, 2,... , Т - номер текущего года.

Решение. Чтобы решить задачу, применим принцип оптимально­сти Р. Беллмана. Рассмотрим интервалы (годы) планового периода в по­следовательности от конца к началу. Введем функцию условно-опти­мальных значений функции цели Fk(t). Эта функция показывает мак­симальную прибыль, получаемую от оборудования возраста t лет за по­следние к лет планового периода. Здесь возраст оборудования рассмат­ривается в направлении естественного хода времени. Например, t = 0 соответствует использованию совершенно нового оборудования. Временные же шаги процесса нумеруются в обратном порядке. Напри­мер, при к = 1 рассматривается последний год планового периода, при к = 2 - последние два года и т. д., при к = Т - последние Т лет, т. е. весь плановый период. Направления изменения t и к показаны на рисунке.

В этой задаче систему составляет оборудование. Ее состояние ха­рактеризуется возрастом. Вектор управления - это решение в момент t = = 0,1, 2,... , Т о сохранении или замене оборудования. Для нахождения оптимальной политики замен следует проанализировать, согласно прин­ципу оптимальности, процесс от конца к началу. Для этого сделаем пред­положение о состоянии оборудования на начало последнего года (k = 1). Пусть оборудование имеет возраст t лет. В начале Т-го года имеются две возможности: 1) сохранить оборудование на Т-й год, тогда прибыль за последний год составит r(t) - u(t); 2) продать оборудование по остаточ­ной стоимости и купить новое, тогда прибыль за последний год будет равна s(t) - р + г(0) - u(0), где г(0) - стоимость продукции, выпущенной на новом оборудовании за первый год его ввода; u(0) - эксплуатацион­ные расходы в этом году. Здесь целесообразно разворачивать процесс от конца к началу. Для последнего года (к = 1) оптималь­ной политикой с точки зрения всего процесса будет политика, обеспе­чивающая максимальную прибыль только за последний год. Учитывая значение прибыли при различном образе действия (замена - сохране­ние), приходим к выводу, что решение о замене оборудования возраста t лет следует принять в случае, когда прибыль от нового оборудования на последнем периоде больше, чем от старого, т.е. при условии

Итак, для последнего, года оптимальная политика и максимальная прибыль F 1 {t) находятся из условия

Пусть к = 2, т. е. рассмотрим прибыль за два последних года. Де­лаем предположение о возможном состоянии t оборудования на начало предпоследнего года. Если в начале этого года принять решение о сохранении оборудования, то к концу года будет получена прибыль r(t) - u(t). На начало последнего года оборудование перейдет в состояние t + 1, и при оптимальной политике в последнем году оно принесет прибыль, равную F 1 (t + 1). Таким образом, общая прибыль за два года составит r(t) - u(t) + F 1 (t + 1). Если же в начале предпоследнего года будет при­нято решение о замене оборудования, то прибыль за предпоследний год составит s(t)-p+r(0)-u(0). Поскольку приобретено новое оборудование, на начало последнего года оно будет в состоянии t = 1. Следовательно, общая прибыль за последние два года при оптимальной политике в по­следнем году составит

Условно-оптимальной в последние два года будет политика, достав­ляющая максимальную прибыль:

Аналогично находим выражения для условно-оптимальной прибыли за три последних года, четыре и т. д. Общее функциональное уравнение примет вид

Таким образом, разворачивая весь процесс от конца к началу, получаем, что максимальная прибыль за плановый период Т составит F T (t 0). Так как начальное состояние to известно, из выражения для F T (t 0) находим оптимальное решение в начале первого года, потом вытекающее оптимальное решение для второго года и т.д. Обратимся к чи­словому примеру.

Разработать оптимальную политику замены оборудования при усло­виях:

1) стоимость r(t) продукции, производимой с использованием обо­рудования за год, и расходы u(t), связанные с эксплуатацией оборудова­ния, заданы таблицей;

2) ликвидационная стоимость машины не зависит от ее возраста и равна 2;

3) цена нового оборудования со временем не меняется и равна 15;

4) продолжительность планового периода 12 лет.

Итак, s(t) = 2, р = 15, Т = 12.

Запишем функциональные уравнения для F 1 (t) и F к (t) при числовых значениях нашего примера:

Пользуясь выражениями (8.9), (8.10), будем последовательно вычис­лять значения максимальной прибыли F к (t) и записывать их в специаль­ную таблицу (табл. 8.4). Первую строку получим, придавая параметру t в равенстве (8.9) значения 0,1,... ,12 и используя исходные данные табл. 8.3. Например, при t = 0

Заметим, что если прибыль от нового оборудования равна прибыли от старого, то старое лучше сохранить еще на год:

Из табл. 8.3 видно, что r(t) – u(t) с ростом t убывает. Поэтому при t > 9 оптимальной будет политика замены оборудования. Чтобы раз­личать, в результате какой политики получается условно-оптимальное значение прибыли, будем эти значения (до t = 9 включительно опти­мальной является политика сохранения) разграничивать жирной лини­ей. Для заполнения второй строки табл. 8.4 используем формулу (8.10). Для к = 2 получаем

Придадим параметру t значения 0,1,2,... ,12, значения r(t) и u(t) возьмем из табл. 8.3, а значения F 1 (t + 1) - из первой строки табл. 8.4. Для третьей строки расчетную формулу получим из равенства (8.10) при к = 3:

и т. д. Заполнив табл. 8.4, данные ее используем для решения постав­ленной задачи. Эта таблица содержит много ценной информации и позволяет решать все семейство задач, в которое мы погружали исходную задачу.

Пусть, например, в начале планового периода имеем оборудование возраста 6 лет. Разработаем "политику замен" на двенадцатилетний пе­риод, доставляющую максимальную прибыль. Информация для этого имеется в табл. 8.4. Максимальная прибыль, которую можно получить за 12 лет при условии, что вначале имелось оборудование возраста 6 лет, находится в табл. 8.4 на пересечении столбца t = 6 и строки F12(t); она составляет 180 единиц.

Значение максимальной прибыли F12(6) = 180 записано справа от ломаной линии, т.е. в области "политики замены". Это значит, что для достижения в течение 12 лет максимальной прибыли в начале первого года оборудование надо заменить. В течение первого года новое обору­дование постареет на год, т.е., заменив оборудование и проработав на нем 1 год, мы за 11 лет до конца планового периода будем иметь обо­рудование возраста 1 год. Из табл. 8.4 берем F11(l) = 173. Это значе­ние располагается в области "политики сохранения", т. е. во втором году планового периода надо сохранить оборудование возраста 1 год, и, про­работав на нем год, за 10 лет до конца планового периода будем иметь оборудование возраста 2 года.

Выясняем, что значение F10(2) = 153 помещено в области сохра­нения. Работаем на оборудовании еще год. Теперь до конца планового периода осталось 9 лет, а возраст оборудования составляет 3 года. Нахо­дим F9(3) = 136. Это область сохранения. Работаем на оборудовании еще год. Его возраст становится равным 4 годам. До конца планового перио­да остается 8 лет. Определяем F8(4) = 120. Это область замен. Заменяем оборудование на новое. Проработаем на нем в течение четвертого года. Оно постареет на год. До конца планового периода останется 7 лет. На­ходим F7(l) = 113. Это область сохранения. Продолжив подобные рассу­ждения, установим, что F6(2) = 93, F5(3) = 76 расположены в области сохранения, F4(4)=60 - в области замен, F3(l) = 53, F2(2) = 33, F1(3) = 16 - в области сохранения. Разработанную политику изобразим следующей цепочкой:

Таким образом, вместо поиска оптимальной "политики замен" на плановый период в 12 лет мы погрузили исходную задачу в семейство подобных, когда период меняется от 1 до 12. Решение ведется по прин­ципу оптимальности для любого состояния системы, независимо от ее предыстории. Оптимальная "политика замен" является оптимальной на оставшееся число лет. Табл. 8.4 содержит информацию для решения и других задач. Из нее можно найти оптимальную стратегию замены оборудования с лю­бым начальным состоянием от 0 до 12 лет и на любой плановый период, не превосходящий 12 лет. Например, найдем "политику замен" на пла­новый период в 10 лет, если вначале имелось оборудование пятилетнего возраста:

Задачу о замене оборудования мы упростили. На практике же дета­лями не пренебрегают. Легко учесть, например, случай, когда остаточная стоимость оборудования s(t) зависит от времени. Может быть принято решение о замене оборудования не новым, а уже проработавшим некото­рое время. Не составляет также труда учесть возможность капитального ремонта старого оборудования. При этом в понятие "состояние" системы необходимо включить время последнего ремонта оборудования. Функция Fk(ti,t2) выражает прибыль за последние к лет планового периода при условии, что вначале имелось оборудование возраста t1, прошедшее ка­питальный ремонт после t2 лет службы. Характеристики г, s и и также будут функциями двух переменных t1 и t2.

Динамическое программирование. Задача о замене оборудования

Найти оптимальные сроки замены оборудования. Первоначальная стоимость оборудования q 0 =6000 усл. ед., ликвидационная стоимость L(t)=q 0 2 -i , стоимость содержания оборудования возраста i лет в течение 1 года S(t)=0,1q 0 (t+1), срок эксплуатации оборудования 5 лет. В конце срока эксплуатации оборудование продается. Задачу решить графически.

Для построения графика в ПП Wolfram Mathematica 6.0 вводим

g = Plot[{6000*2^-x, 600*(x + 1)}, {x, 0, 5}]

В итоге получаем график:

Из графика видим, что оптимальный срок замены оборудования является второй год его эксплуатации.

Динамическое программирование. Оптимальное распределение средств между предприятиями

Найти оптимальное распределение средств в размере 9 усл. ед. между четырьмя предприятиями. Прибыль от каждого предприятия является функцией от вложенных в него средств и представлена таблицей:

Вложения в каждое предприятия кратны 1 усл. ед.

Разобьем процесс выделения средств предприятиям на 4 этапа: на первом этапе выделяется y 1 средств предприятию П 1 , на втором -y 2 средств предприятию П 2 , на третьем - y 3 средств предприятию П 3 , на четвертом третьем - y 4 средств предприятию П 4

x n = x n - 1 - y n , n = 1,2,3, 4.

Заметим, что на четвертом этапе выделения средств весь остаток x 3 вкладывается в предприятие П 4 , поэтому y 3 = x 4 .

Воспользуемся уравнениями Беллмана для N = 4.

В результате получим следующие таблицы:

Таблица 1

Таблица 2

Таблица 3

Таблица 4

Из Таблицы 4 вытекает, что оптимальным управлением будет y 1 * =3, при этом оптимальная прибыль равна 42. Далее получаем

х 1 =х 0 -у 1 *=9-3=6, 2 (х 1)= 2 (6)=30, y 2 * =1

х 2 =х 1 -у 2 *=6-1=5, 3 (х 2)= 3 (5)=23, y 3 * =1

х 3 =х 2 -у 3 *=5-1=4, 4 (х 3)= 4 (4)=15, y 3 * =4

Таким образом, наиболее оптимальным является вложение в предприятия П1, П2, П3 и П4 денежных средств в размере 4, 1,1 и 3 усл.ед., соответственно. В этом случае прибыль будет максимальной и составит 42 усл. ед.

Одной из важных экономических проблем является определение оптимальной стратегии замены старых станков, aipcraTOB и машин на новые. Старение оборудования означает его физический и моральный износ, в результате чего увеличиваются затраты на ремонт и обслуживание, возрастают производственные затраты по выпуску продукции, снижаются

производительность и ликвидная стоимость. Наступает время, когда старое оборудование выгоднее продать, заменить новым, чем эксплуатировать ценой больших затрат; причем его можно заменить новым оборудованием того же вида или новым, более совершенным. Оптимальная стратегия замены оборудования состоит в определении ее оптимальных сроков. Критерием оптимальности при этом может служить прибыль от эксплуатации оборудования, которую следует оптимизировать, или суммарные затраты на эксплуатацию в течение рассматриваемого промежутка времени, подлежащие минимизации.

Введем обозначения:

r(t) - ежегодные затраты на обслуживание оборудования возраста t лег;

g(t) - остаточная стоимость оборудования возраста t лег;

Р 0 - покупная цена оборудования.

Рассмотрим период N лет, в пределах которого требуется определить оптимальный цикл замены оборудования.

Обозначим через Л*(/) - оптимальные затраты, получаемые от

оборудования возраста t лет за оставшиеся N лет цикла использования оборудования при условии оптимальной стратегии.

Возраст оборудования отсчитывается в направлении течения процесса. Так, / = 0 соответствует случаю использования нового оборудования. На каждом этапе /V-стадийного процесса должно быть принято решение о сохранении, замене или проведении ремонта оборудования. Выбранный вариант должен обеспечивать получение минимизации суммарных затрат на эксплуатацию в течение рассматриваемого промежутка времени.

Предполагается, что переход от работы на оборудовании возраста t лег к работе на новом оборудовании совершается мгновенно, то есть замена старого оборудования и переход к работе на новом оборудовании укладываются в один период.

Пример 4.2

Оборудование эксплуатируется в течение пяти лет и после этого продается. В начале каждого года можно принять решение о сохранении оборудования или его замене новым. Стоимость нового оборудования Р 0 = 4000 руб. После t лет эксплуатации (1 g(t) = Р 0 2~‘ руб. (ликвидная стоимость). Затраты на содержание в течение года зависят от возраста оборудования t и равны r(t) = 600(/ + 1).

Определить оптимальную стратегию эксплуатации оборудования, чтобы суммарные затраты с учетом начальной покупки и заключительной продажи были минимальными.

Решение. Способ деления управления на шаги естественный - но годам, п = 5. Параметр состояния - возраст машины лу= t, ,v 0 = 0 - машина новая в начале первого года эксплуатации. Управление на каждом шаге зависит от двух переменных If и If.

Уравнения состояний зависят от управления:

Показатель эффективности А"-го шага:

(при If затраты только на эксплуатацию машины возраста t, при If машина продается (-4000 2~"), покупается новая (4000) и эксплуатируется в течение первого года (600), общие затраты равны (-4000 2 " + 4000 + 600)).

Пусть л’ (?) - условные оптимальные затраты на эксплуатацию машины, начиная с А"-го шага до конца, при условии, что к началу А"-го шага машина имеет возраст / лег. Запишем для функций Л"(г) уравнения Веллмана, заменив задачу максимизации задачей минимизации:

Величина 4000 2 0+11 - стоимость машины возраста t лет (по условию машина после пяти лет эксплуатации продается):

Из определения функций Л* (/) следует A min = Л*(0).

Представим геометрическое решение этой задачи. Отложим по оси абсцисс номер шага к, а по оси ординат - возраст машины /. Точка (к - 1, /) на плоскости соответствует началу А - -го года эксплуатации машины возраста / лет. Перемещение на графике в зависимости от принятого управления на /о-м шаге показано на рис. 4.3.

Рис. 4.3

Состояние начала эксплуатации машины соответствует точке,v‘(0, 0), конец - точкам.5(5,/). Любая траектория, переводящая точку ДА-1, /) из в.5, состоит из отрезков - шагов, соответствующих годам эксплуатации. Необходимо выбрать такую траекторию, при которой затраты на эксплуатацию машины окажутся минимальными.

Над каждым отрезком, соединяющим точки (А’ - 1, /) и (А, / + 1), записываются соответствующие управлению If затраты (600(/ + 1)), а над отрезком, соединяющим точки (к - 1, /) и (к , /), - затраты, соответствующие управлению If (4600 - 4000 2 "). Таким образом размещаются все отрезки, соединяющие точки на 1рафикс, соответствующие переходам из любого состояния лд_| в состояние s k (см. рис. 4.3).

Далее на размеченном фафе производится условная оптимизация. В состояниях (5, /) машина продается, условный оптимальный доход от продажи равен 4000 2~‘, но поскольку целевая функция связана с затратами, то в кружках точек (5, /) ставится величина дохода со знаком минус. Далее на последующих этапах выбираются минимальные затраты среди двух возможных переходов, записываются в кружок данной точки, а соответствующие управления на этом шаге помечаются пунктирной стрелкой. При этом на каждом шаге трафически решаются уравнения Веллмана (рис. 4.4).

После проведения условной оптимизации получим в точке (0, 0) минимальные затраты на эксплуатацию машины в тсченШ пяти лет с последующей продажей: A min = 11 900. Далее строится оптимальная траектория, перемещаясь из точки So(0, 0) по пунктирным стрелкам в.?. Получаем набор точек: {(0, 0), (1, 1), (2, 2), (3, 1), (4, 2), (5, 3)}, который соответствует оптимальному управлению U"(u c , U‘, U U c , U c). Оптимальный режим

эксплуатации состоит в том, чтобы заменить машину новой в начале третьего года.

Таким образом, размеченный график (сеть) позволяет наглядно интерпретировать расчетную схему и решить задачу методом динамического программирования.

Модели и вычислительные процедуры динамического программирования очень гибки в смысле возможностей включения различных модификаций задачи. Например, аналогичная задача может быть рассмотрена для большого числа вариантов управления, «ремонт», «капитальный ремонт» и г.д. Все эти факторы могут быть учтены вычислительной схемой динамического программирования.