기초 볼록최적화 II - 2차 방법

초록

"최적화는 본질적으로 물물교환이다!"

지난 1학기에 이어 Convex Optimization 두 번째 세미나입니다. Convex Optimization은 최적화를 이해하는 데 필수적인 기반이자, 머신러닝을 포함한 다양한 응용 분야에서 폭넓게 활용되고 있습니다.

이번에는 unconstrained Second-Order Methods를 다루며, Newton’s method와 대표적 Quasi-Newton(BFGS, DFP) 기법을 소개합니다. Second-Order Methods는 높은 정확도를 제공하지만 계산비용이 큰 만큼, 두 요소 간 trade-off 속에서 효율적인 알고리즘을 디자인하는 것이 중요합니다. 본 세미나에서는 그 과정을 중심으로 살펴보겠습니다.

Abstract

"Optimization is, at its heart, a barter!"

Following the first semester, we are pleased to hold our second seminar on Convex Optimization. As a fundamental pillar for understanding optimization, this field is extensively utilized across various applications, including machine learning.

In this session, we will focus on unconstrained Second-Order Methods, introducing Newton’s method and key Quasi-Newton techniques such as BFGS and DFP. While Second-Order Methods offer high precision, they come with significant computational costs. Therefore, the core of efficient algorithm design lies in managing the trade-off between these two factors. This seminar will provide an in-depth look at that design process.