사이벤코 보편 근사 정리와 한계

초록

"인공신경망의 강력한 표현력과 그 너머"

본 세미나에서는 인공신경망의 표현력을 보장하는 Universal Approximation Theorem(UAT)을 소개하고, 그 증명의 핵심 아이디어를 살펴봅니다.

하지만, UAT는 좋은 파라미터들의 존재성만을 말해줄 뿐, 실제 모델 학습에서의 최적화와 일반화를 설명하지 못합니다. 이러한 사실을 바탕으로 현대 딥러닝 이론이 직면한 주요 현상들을 간략히 논의합니다.

Abstract

"The powerful expressiveness of artificial neural networks, and what lies beyond it"

In this seminar, we introduce the Universal Approximation Theorem (UAT), which guarantees the expressive power of artificial neural networks, and examine the core idea behind its proof.

However, the UAT only tells us that good parameters exist; it does not explain optimization or generalization in actual model training. Building on this fact, we briefly discuss key phenomena facing modern deep learning theory.