Understanding why it works
Have you ever wondered why we use the Lagrange multiplier to solve constrained optimization problems?
Is it just a clever technique?それは非常に使いやすいですので、我々は心でそれを行うことができるまで、それを練習することによって、基本的な算術のようにそれを学びます。
しかし、なぜそれが機能するのか疑問に思ったことはありますか？
それは常に動作しますか？ そうでない場合は、なぜですか？あなたがこれらの質問に対する答えを知りたいなら、あなたは正しい場所にいます。
あなたは正しい場所にいます。
あなたは正しい場所にい私はあなたのためにそれを分かりやすく説明します。
制約付き最適化問題の例
制約付き最適化が何であるかに慣れていない場合は、それを説明する記事を書いています。 それ以外の場合は、お読みください。
以下のような山があるとします:
The height of a location (x, y) is given as follows (in kilometers):
Further suppose, the mountain has an eruption:
From the top, it looks like below:
The eruption area is given as follows:これは、噴火のエッジが次のように与えられていることを意味します。
これは、噴火のエッジが次のように与えられていることを意味します。
だから、エッジはこのようになります。DIV>
この山の噴火の最高位置を知りたいとします。
これは、最高位置が噴火のエッジライン上になければならないことを意味します。
任意の場所(x, y)g(x, y)=0g(x, y) = 0f(x, y)を見つけることです。制約付き最適化問題をどのように解くかについての直感
直感的に、噴火の最大高さは青い矢印が示すところの周りにあることがわかります。DIV>
私たちは、噴火の端に触れる最高の等高線を探しています。
等高線の方程式を定義しましょう:
f(x, y) = H
H輪郭の高さを示す定数値です。Hの与えられた値に対して、f(x, y) = H(x, y)値があります。
f(x, y)の勾配は、等高線に垂直な高さが増加している方向を示します。
The gradient is a vector of partial derivatives.
Similarly, the gradient of g(x, y) is perpendicular to the edge of the eruption area.
噴火のエッジに触れる最高の等高線は、f(x, y)f(x, y)g(x, y)
。
等高線の勾配が噴火エッジの勾配と平行でない場合、等高線よりも高い位置にあるp>
だから、我々はそのようなポイントを見つける必要があります(x, y)(x, y)
f(x, y)の勾配と並行していますg(x, y)。
ラグランジュ乗数とラグランジアン
目的を数式に入れてみましょう。p>
f(x, y)g(x, y)λは、1788年にラグランジュ力学を導入した数学者の名前にちなんでラグランジュ乗数と呼ばれています。p>
この段階では、λ2.5、-1、またはその他のようなものにすることができます。 これは、2つの勾配が平行でなければならないという事実を意味します。式を次のように並べ替えることができます。
:ここでのゼロは、ゼロを持つベクトルを意味します：(0,0)Lと呼びます。p>
L = f(x, y) - λ g(x, y)
だから、我々は以下が必要な条件であることを言っています。P>
grad L = 0
ラグランジアンの勾配は、私たちに二つの方程式を与えます。しかし、我々は3つの未知数を持っていますxy
しかし、我々は三つの未知数を持っていますxy
xyλ
。 どのようにこれらの方程式を解くことができますか？実際には、g(x, y) = 0(x, y)を見つけることができます。
この問題は算術演習になりました。答えはf(x, y) = 2 where x = 1 and y = 1です。DIV>
式で値を確認できます。また、λ = -4/5これは、これらの勾配が予想どおりに反対方向にあることを意味します。
全体として、ラグランジュ乗数は制約最適化問題を解くのに便利です。最適化している関数の勾配と制約関数の勾配が乗数を使用して並列になっている点λ(x, y)λ。要約すると、以下の手順に従いました。
- 最適化する関数を特定します（最大化または最小化）：
f(x, y) - 制約の関数を特定します:
g(x, y) = 0 - ラグランジアンを定義
L = f(x, y) - λ g(x, y) - 解決
grad L = 0制約を満たす
それは上記のように機械的であり、なぜそれがしかし、いくつか言及することがあります。
しかし、言及することがいくつかあります。
動作しない場合
ラグランジュ乗数を説明しながら、いくつかの仮定を行いました。まず、すべての関数に勾配（一次導関数）があると仮定しました。f(x, y)g(x, y)g(x, y)f(x, y)g(x, y)g(x, y)
には二次導関数があると仮定して、解(x, y)が実際に最大値であるかどうかを確認できます。この例ではこれら2つの仮定が当てはまりますが、実際の問題では、ラグランジュ乗数を使用して制約最適化問題を解決できるようにする必要があ3番目に、質問を単純化して、最大値を1つだけ処理する必要があるようにしました。
3番目に、最大値を1つだけ処理する必要があるよう言い換えると、山の形状は、制約付き最適化問題に対する唯一の解があるように定義されます。
言い換えると、山の形状は、制約付き最適化問題に対実際の問題では、山は複数の山と谷を持つより複雑な形状を持つ可能性があります。
実際の問題では、山は複数の山と谷を持つより複雑な形状を持div>
このような場合、大域的な最適化問題（つまり、複数の極大値）に対処する必要があります。
代わりに、この記事の例では、グローバル最大値でもある一つのローカル最大値のみを扱います。私はラグランジュ乗数のあなたの理解が今最適であることを願っています。