Goal: replace "analytically obtained closed-loop solution" by numerical optimisation

[JinraeKim]

일단 떠오르는 연구 목표를 잡아보았습니다.

다른 분들도 보실 수 있게 이슈로 팝니다~

여러 의견 주십쇼

Notes

• Q-learning using parametrised convex universal approximators Research Proposal: (Infinite-horizon) continuous-action Q-learning using parametrised convex approximators #18

[JinraeKim]

[요약]

input-affine dynamics, input-quadratic running cost 에서는 u = - (1/2) R^(-1) B^T P x 처럼 해의 형태를 얻을 수 있으나, 더 일반적인 class 의 (비선형) 시스템은 이것이 불가능하다.
이를 개선하는 것이 목표

[minii93]

input-affine 하지 않은 dynamic이나 input-quadratic running cost 가 아닌 다른 형태의 cost를 고려해야 하는 상황은 어떤 예가 있을까요? input-affine 하지 않은 dynamic의 예시로는 flapping wing UAV가 있었던 것 같긴 한데..

[JinraeKim]

음... 모핑 비행기도 input-nonaffine 한 것으로 알고 있습니다.

남훈이형의 유도연구나 Boffi 의 최근 연구 같은데서 보면 Euclidean 거리 (쿼드라틱) 대신 다른 것을 씀으로써 문제를 확장시키고, 원하는 특성을 얻으려는 시도가 종종 있는데요.

솔직히 practical 하게 쓸모가 있을지는, 아직 미지의 영역으로 보입니다 (그만큼 아직은 많이 연구되지 않아서).

[minii93]

그렇넹, 생각해보니 유도 쪽에서 t_go 가 포함된 최적문제를 종종 마주쳤던 것 같아요?!

[JinraeKim]

그렇넹, 생각해보니 유도 쪽에서 t_go 가 포함된 최적문제를 종종 마주쳤던 것 같아요?!

t_go 가 포함된 최적문제는 어떤 특성이 있나요?

[minii93]

그렇넹, 생각해보니 유도 쪽에서 t_go 가 포함된 최적문제를 종종 마주쳤던 것 같아요?!

t_go 가 포함된 최적문제는 어떤 특성이 있나요?

예를 들어서, 목적함수의 integrand를 Ru^2/t_go^2 (R>0) 이런 형태로 정하면 final time에 가까워짐에 따라 t_go의 값이 0에 가까워지므로 (작은 u 값에도 integrand의 값이 커지므로) integrand의 값을 줄이기 위해 0으로 수렴하는 u를 최적해로 얻는 경우가 많았던 것 같아요?

[JinraeKim]

아 그런 맥락에서...!

조금 특이한 경우처럼 보이긴 하는데 (저는 사실 쿼드라틱 대신 다른 norm 이나 distance 를 쓰는 정도를 생각했음),
유도 문제에서도 적용 가능하다면 더 재밌겠군요

[minii93]

다른 norm 이라는 얘기를 듣고 생각이 났는데, 모델예측제어 쪽에서는 L1 norm의 최적해를 구해서 쓰는 연구 흐름도 종종 보였던 것 같은데요!

[JinraeKim]

다른 norm 이라는 얘기를 듣고 생각이 났는데, 모델예측제어 쪽에서는 L1 norm의 최적해를 구해서 쓰는 연구 흐름도 종종 보였던 것 같은데요!

예를 들어 u 를 제어입력이라고 할 때, running cost 에
||u||_{1} 이런 것이 들어간 것을 말하는건가요? 오호...!

[JinraeKim]

L1 norm 을 최소화하여 일종의 PCA (principle component analysis) 처럼 해석하기도 하던데, 여러 가지 해석이 가능하겠군요

[minii93]

다른 norm 이라는 얘기를 듣고 생각이 났는데, 모델예측제어 쪽에서는 L1 norm의 최적해를 구해서 쓰는 연구 흐름도 종종 보였던 것 같은데요!

예를 들어 u 를 제어입력이라고 할 때, running cost 에 ||u||_{1} 이런 것이 들어간 것을 말하는건가요? 오호...!

그칭그칭, 자세히 들여다보지는 않아서 확실하지는 않지만 static optimization 의 경험에 비추어보면, u의 몇몇 성분만 살아있는 최적해를 얻기에 유용하겠다는 느낌이네요.
PCA처럼 해석한다는 것은 dimension reduction 같은 걸 한다는 뜻인가요? (비슷한 맥락인건가)

[JinraeKim]

그칭그칭, 자세히 들여다보지는 않아서 확실하지는 않지만 static optimization 의 경험에 비추어보면, u의 몇몇 성분만 살아있는 최적해를 얻기에 유용하겠다는 느낌이네요. PCA처럼 해석한다는 것은 dimension reduction 같은 걸 한다는 뜻인가요? (비슷한 맥락인건가)

네, 같은 뜻으로 말했습니다 ㅋㅋ

다른 norm 을 이용하거나 그에 대한 이유를 적은 논문이 있다면 링크를 걸어주시면 좋겠습니다~

[minii93]

그칭그칭, 자세히 들여다보지는 않아서 확실하지는 않지만 static optimization 의 경험에 비추어보면, u의 몇몇 성분만 살아있는 최적해를 얻기에 유용하겠다는 느낌이네요. PCA처럼 해석한다는 것은 dimension reduction 같은 걸 한다는 뜻인가요? (비슷한 맥락인건가)

네, 같은 뜻으로 말했습니다 ㅋㅋ

다른 norm 을 이용하거나 그에 대한 이유를 적은 논문이 있다면 링크를 걸어주시면 좋겠습니다~

(1) t_go 가 등장하는 최적유도 논문
https://ieeexplore.ieee.org/document/1624472
https://ieeexplore.ieee.org/document/6494416
이것 두 개가 대표적이라고 볼 수 있을 것 같고, 그 외에도 가끔 본 것 같은데 어느 논문에 있었는지 기억이 안 나네요ㅎㅎ;

(2) max-norm으로 최적제어 목적함수를 잡는 모델예측제어 (L1인 줄 알았는데 max norm이네요 + 모델예측제어라 이산시간으로 정식화하다보니 이 이슈와 크게 관련은 없을 수도..ㅎㅎ)
https://ieeexplore.ieee.org/document/1137550