테일러 급수 (Taylor series)

테일러 급수

개요

• 미분 가능한 복잡한 함수를 다루기 쉬운 여러 개의 다항식(항이 무한히 많은 멱급수)으로 변환하여 근사하는 방법이다.
• 어떤 함수 $f(x)$가 한 점 $a$ 근방에서 무한히 미분 가능할 때, 이 함수를 $x-a$의 거듭제곱 항들로 이루어진 무한 급수(멱급수, Power Series)로 표현하는 방법.
• 이를 통해 복잡한 함수를 다루기 쉬운 다항식 형태로 근사할 수 있으며, 함수의 값 계산, 미분, 적분 등을 더 쉽게 수행할 수 있게 하며 이를 통해 다음과 같은 최적화 알고리즘들이 가능해진다.
  • Newton’s Method: 비선형 목적 함수를 2차 근사하여 최적점을 빠르게 찾음.
  • Gauss-Newton: 비선형 최소자승 문제에서 잔차 함수를 1차 Taylor 전개하여 선형 최소자승 문제로 변환.
  • Levenberg-Marquardt: Gauss-Newton을 안정화한 방법.
  • Extended Kalman Filter (EKF): 비선형 시스템을 현재 상태 주변에서 1차 Taylor 전개하여 선형 시스템처럼 처리.

멱급수 (Power Series)

• 멱급수는 $x$또는 $(x-a)$의 거듭제곱 항들로 이루어진 무한 급수로, 다항식의 개념을 무한히 확장한 형태로 볼 수 있다.

$$\sum _{n=0}^{\infty }{c}_n(x-a{)}^n=c_0+c_1(x-a)+c_2(x-a{)}^2+c_3(x-a{)}^3+\cdots$$

• 만약 $a=0$ 인 경우 아래와 같이 단순화하여 표현할 수 있다.

$$\sum _{n=0}^{\infty }{c}_n{x}^n=c_0+c_{1}x+c_2{x}^2+c_3{x}^3+\cdots$$

• 멱급수는 특정 구간(수렴 구간) 내에서 함수를 정확하게 나타낼 수 있으며, 미분과 적분이 항별로 가능하여 복잡한 함수를 다루는 데 매우 유용하다.
• 테일러 급수는 이러한 멱급수의 특별한 한 형태로, 함수의 미분 계수를 이용하여 계수 $c_n$을 결정하는 방법이다.

테일러 급수 정의

• 함수 $f(x)$가 $x=a$ 지점에서 무한히 미분 가능할 때, 테일러 급수는 아래와 같은 형태를 갖는 무한 급수이다.

$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n$$ $$=f(a)+f^{\prime }(a)(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\frac{f^{\prime \prime \prime }(a)}{3!}(x-a{)}^3+\cdots$$

• 함수 $f(x)$를 $x=a$ 근처에서 위 다항식으로 근사할 수 있으며, $x=a$와 가까울수록 오차가 줄어들어 낮은 차수로 근사가 가능하고, 멀어질수록 오차가 커지며 다항식의 차수가 높을수록 더 잘 근사한다.

• 특히, $a=0$인 경우 매클로린 급수(Maclaurin Series) 라고 하며, 다음과 같이 나타낼 수 있다.

$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(0)}{n!}(x{)}^n$$ $$=f(0)+f^{\prime }(0)x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+\frac{f^{\prime \prime \prime }(0)}{3!}{x}^3+\cdots$$

테일러 급수 유도

• 함수 $f(x)$가 어떤 점 $a$ 근방에서 멱급수 형태로 표현될 수 있다고 가정하고, 이 멱급수의 계수들을 $f(x)$의 미분 계수를 이용하여 찾아 낸다.

멱급수 가정

• 함수 $f(x)$가 $x=a$ 근방에서 다음과 같은 멱급수로 표현될 수 있다고 가정한다.

$$f(x)=c_0+c_1(x-a)+c_2(x-a{)}^2+c_3(x-a{)}^3+\cdots$$

미분을 통한 계수 표현

• 여기서, 계수 $c_0,c_1,c_2,\dots$를 $f(x)$의 미분 계수를 사용하여 표현하도록 한다.
• 위 식에 $x=a$를 대입하면 $(x-a)$ 항들이 모두 0이 되므로 다음과 같다.

$$f(a)=c_0+c_1(a-a)+c_2(a-a{)}^2+\cdots$$ $$f(a)=c_0$$

• (1차 미분) $f(x)$를 한 번 미분하면 아래와 같다.

$$f^{\prime }(x)=c_1+2c_2(x-a)+3c_3(x-a{)}^2+\cdots$$

• 여기에 다시 $x=a$를 대입하여 $(x-a)$ 항들을 모두 0으로 만들면 다음과 같다.

$$f^{\prime }(a)=c_1+2c_2(a-a)+3c_3(a-a{)}^2+\cdots$$ $$f^{\prime }(a)=c_1$$

• (2차 미분) $f(x)$를 두 번 미분하면 아래와 같다.

$$f^{\prime \prime }(x)=2c_2+2\cdot 3c_3(x-a)+3\cdot 4c_4(x-a{)}^2+\cdots$$

• 마찬가지로 $x=a$를 대입하면 다음과 같다.

$$f^{\prime \prime }(a)=2c_2+2\cdot 3c_3(a-a)+3\cdot 4c_4(a-a{)}^2+\cdots$$ $$f^{\prime \prime }(a)=2c_2,c_2=\frac{f^{\prime \prime }(a)}{2}=\frac{f^{\prime \prime }(a)}{2!}$$

• (3차 미분) $f(x)$를 세 번 미분하면 아래와 같다.

$$f^{\prime \prime \prime }(x)=2\cdot 3c_3+2\cdot 3\cdot 4c_4(x-a)+\cdots$$ $$f^{\prime \prime \prime }(a)=2\cdot 3c_3+2\cdot 3\cdot 4c_4(a-a)+\cdots$$ $$f^{\prime \prime \prime }(a)=2\cdot 3c_3,c_3=\frac{f^{\prime \prime \prime }(a)}{2\cdot 3}=\frac{f^{\prime \prime \prime }(a)}{3!}$$

일반화

• 이 과정을 $n$번 반복하면, $f(x)$를 $n$번 미분한 $f^{(n)}(x)$는 다음과 같은 형태를 가진다.

$$f^{(n)}(x)=n!c_n+(n+1)!c_{n+1}(x-a)+\cdots$$

• 여기에 $x=a$를 대입하면 다음과 같다.

$$f^{(n)}(a)=n!c_n$$

• 따라서, 일반적인 계수 $c_n$은 다음과 같이 표현할 수 있다.

$$c_n=\frac{f^{(n)}(a)}{n!}$$

테일러 급수 완성

• 앞서 구한 계수 $c_n$을 처음 가정했던 멱급수 식에 대입하면 테일러 급수의 정의가 완성된다.

$$f(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(a)}{n!}(x-a{)}^n$$ $$=f(a)+f^{\prime }(a)(x-a)+\frac{f^{\prime \prime }(a)}{2!}(x-a{)}^2+\frac{f^{\prime \prime \prime }(a)}{3!}(x-a{)}^3+\cdots$$

• 이 유도 과정을 통해, 어떤 함수가 한 점 에서 무한히 미분 가능할 때, 그 함수를  근방에서 미분 계수들을 이용하여 다항식 형태로 근사할 수 있음을 알 수 있다.

---

주요 함수의 테일러 급수 (매클로린 급수)

• 주요 함수의 테일러 급수(특히 $a=0$인 매클로린 급수)는 다음과 같다. 이 급수들은 특정 수렴 구간 내에서 함수를 정확하게 나타낸다.

지수 함수

• 지수 함수 $e^x$에 대해 $a=0$일 때 테일러 급수를 통해 다음과 같이 나타낸다.
• 지수 함수 $e^x$는 모든 미분이 자기 자신이므로, $f(0)$ 일 때는 모든 미분에서 1이 된다.

$$f(x)=e^x,f^{\prime }(x)=e^x,f^{\prime \prime }(x)=e^x,f^{\prime \prime \prime }(x)=e^x,\dots$$ $$f(0)=1,f^{\prime }(0)=1,f^{\prime \prime }(0)=1,f^{\prime \prime \prime }(0)=1,\dots$$

• 따라서, $e^x$의 매클로린 급수는 아래와 같고, 모든 실수 $x$에 대해 수렴한다.

$$e^x=\sum _{n=0}^{\infty }\frac{x^n}{n!}=1+x+\frac{x^2}{2!}+\frac{x^3}{3!}+\cdots$$

삼각 함수

Sin 함수

• $\sin x$의 $n$차 미분과, $x=0$ 일 때의 값은 다음과 같이 계산된다.

$$f(x)=\sin x,f^{\prime }(x)=\cos x,f^{\prime \prime }(x)=-\sin x,f^{\prime \prime \prime }(x)=-\cos x,f^{\prime \prime \prime \prime }(x)=\sin x,\dots$$ $$f(0)=0,f^{\prime }(0)=1,f^{\prime \prime }(0)=0,f^{\prime \prime \prime }(0)=-1,f^{\prime \prime \prime \prime }(0)=0,\dots$$

• 즉, $\{0,1,0,-1\}$ 패턴이 반복되며, 짝수 차수 미분은 모두 0이되므로, 홀수 차수의 항들을 다음과 같이 나타낼 수 있다.

$$\sin x=x-\frac{x^3}{3!}+\frac{x^5}{5!}+\frac{x^7}{7!}+\cdots$$ $$\sin x=\sum _{n=0}^{\infty }\frac{(-1{)}^n}{(2n+1)!}{x}^{2n+1}$$

Cos 함수

• $\cos x$의 $n$차 미분과, $x=0$ 일 때의 값은 다음과 같이 계산된다.

$$f(x)=\cos x,f^{\prime }(x)=-\sin x,f^{\prime \prime }(x)=-\cos x,f^{\prime \prime \prime }(x)=\sin x,f^{\prime \prime \prime \prime }(x)=\cos x,\dots$$ $$f(0)=1,f^{\prime }(0)=0,f^{\prime \prime }(0)=-1,f^{\prime \prime \prime }(0)=0,f^{\prime \prime \prime \prime }(0)=1,\dots$$

• 즉, $\{1,0,-1,0\}$ 패턴이 반복되며, 홀수 차수 미분은 모두 0이되므로, 짝수 차수의 항들을 다음과 같이 나타낼 수 있다.

$$\cos x=1-\frac{x^2}{2!}+\frac{x^4}{4!}+\frac{x^6}{6!}+\cdots$$ $$\cos x=\sum _{n=0}^{\infty }\frac{(-1{)}^n}{(2n)!}{x}^{2n}$$

기하 급수

• $\frac{1}{1-x}$의 매클로린 급수는 $|x|<1$ 일 때 수렴한다.

$$f(x)=\frac{1}{1-x}=(1-x{)}^{-1}$$ $$f^{\prime }(x)=(1-x{)}^{-2},f^{\prime \prime }(x)=2(1-x{)}^{-3},f^{\prime \prime \prime }(x)=6(1-x{)}^{-4},f^{\prime \prime \prime \prime }(x)=24(1-x{)}^{-5},\dots$$ $$f(0)=1,f^{\prime }(0)=1,f^{\prime \prime }(0)=2,f^{\prime \prime \prime }(0)=6,f^{\prime \prime \prime \prime }(0)=24,\dots$$

• $x=0$ 일 때, $n$차 미분 값은 $f^{(n)}(0)=n!$ 과 같으므로 매클로린 급수는 아래와 같다.

$$\frac{1}{1-x}=\sum _{n=0}^{\infty }\frac{n!}{n!}{x}^n=\sum _{n=0}^{\infty }1\cdot x^n$$ $$\frac{1}{1-x}=1+x+x^2+x^3+\cdots$$

• 이 급수는 기하 급수라 불리며, $|x|<1$ 일 때 수렴한다.

자연 로그

• $\ln (1+x)$에 대해 연속적으로 미분하고 $x=0$ 에서의 값은 아래와 같다.

$$f(x)=\ln (1+x),f^{\prime }(x)=(1+x{)}^{-1},f^{\prime \prime }(x)=-1\cdot (1+x{)}^{-2},f^{\prime \prime \prime }(x)=2\cdot (1+x{)}^{-3},\cdots$$ $$f(0)=0,f^{\prime }(0)=1,f^{\prime \prime }(0)=-1,f^{\prime \prime \prime }(0)=2,f^{\prime \prime \prime \prime }(0)=-6,\dots$$

• $x=0$ 일 때, $n$차 미분 값은 $f^{(n)}(0)=(-1{)}^{n-1}(n-1)!$ 과 같으므로 매클로린 급수는 다음과 같다. (단, $f(0)=0$ 이므로 $n\ge 1$인 경우만)

$$\ln (1+x)=0+\sum _{n=1}^{\infty }\frac{(-1{)}^{n-1}(n-1)!}{n!}{x}^n=\sum _{n=1}^{\infty }\frac{(-1{)}^{n-1}}{n}{x}^n$$ $$\ln (1+x)=x-\frac{x^2}{2}+\frac{x^3}{3}+\frac{x^4}{4}+\cdots$$

• $|x|<1$ 범위에서 미분가능하므로, 이 급수는 $|x|<1$에서 수렴한다.

---

참고

• Taylor series - Wikipedia
• Taylor series 와 linearisation - gaussian37
• 테일러 급수, 매클로린 급수, 테일러 정리/ Taylor’s series, Maclaurin’s series, Taylor’s Theorem
• [생존수학] 초월함수의 테일러 전개, 오일러 공식 확인, 테일러 급수를 이용한 함수의 근사(approximation) 그래프, 함수 또는 시스템의 선형화(linearization) : 네이버 블로그