선형 예측 모형과 역행렬

선형 예측 모형이란?

 

 

 

먼저 선형 예측 모형이란, 입력 데이터 벡터와 가중치 벡터의 내적을 계산하여 출력값을 예측하는 모델이에요. 여기서 내적은 "특성 값"과 "가중치"를 곱해서 모두 더하는 것을 의미해요. 예를 들어, 단순한 선형 회귀 모델이 있다면, 이 모델은 다음과 같은 형태로 표현됩니다:

 

 

 

여기서:

 

모델을 학습한다는 것은 가중치인 w값을 찾는 과정이에요.

이 가중치 값을 잘 조정하면 예측 결과인 y가 실제 값에 더 가까워질 수 있습니다.

 

선형 연립방정식이란?

선형 연립방정식은 여러 개의 선형 방정식들이 함께 모여 있는 방정식을 의미해요. 예를 들어, 다음과 같은 세 개의 선형 방정식이 있다고 해볼게요:

 

이와 같이 여러 개의 방정식을 한 번에 푸는 것을 선형 연립방정식이라고 해요.

 

행렬을 사용하여 간단히 표현하기

이 선형 연립방정식을 행렬을 이용해서 표현하면, 더 간단하게 쓸 수 있어요.

예를 들어:

 

이 식은 방정식들의 계수와 미지수를 행렬과 벡터의 곱으로 간단히 표현한 것입니다.

예를 들어 앞의 예시를 행렬로 표현하면:

 

이렇게 행렬과 벡터의 곱셈을 이용해 Ax=b의 형태로 표현할 수 있어요.

 

가중치 벡터 구하기: 역행렬을 이용한 방법

우리는 보통 미지수(가중치) 벡터인 x를 찾고 싶어해요. 여기서 문제는 A가 행렬이라는 점입니다. 만약 A, x, b가 모두 스칼라(단순한 숫자)라면 다음처럼 쉽게 풀 수 있겠죠.

 

하지만 행렬에서는 나눗셈이 정의되지 않아요. 그래서 역행렬 (Inverse Matrix)이라는 것을 사용해요. 역행렬은 행렬을 마치 "나눗셈"처럼 처리해주는 역할을 해요. 즉, 행렬 방정식을 풀기 위해 다음과 같은 방식으로 x를 구할 수 있어요.

 

여기서 A-1는 행렬 A의 역행렬을 의미해요. 역행렬은 행렬을 "역으로 되돌려주는" 행렬이라고 생각하면 돼요. AA−1를 하면 단위 행렬 I가 되어서 원래 값을 되찾을 수 있습니다.

 

요약

• 선형 예측 모형은 입력 벡터와 가중치 벡터의 내적으로 예측 값을 계산하는 방식입니다.
• 선형 연립방정식은 여러 개의 선형 방정식을 동시에 푸는 문제를 의미합니다.
• 행렬을 사용하면 여러 방정식을 간단히 하나의 식으로 표현할 수 있습니다.
• 가중치 벡터를 찾기 위해서는 행렬 나눗셈을 해야 하는데, 행렬에서는 나눗셈 대신 역행렬을 사용합니다.

---

역행렬이란?

역행렬은 일반적인 숫자의 역수와 비슷한 역할을 하는 행렬입니다.

• 예를 들어, 우리가 숫자 3의 역수를 구한다면 1/3이 됩니다. 역수를 곱하면 원래의 숫자 1이 되죠. 3×1/3=1
• 역행렬도 마찬가지로, 어떤 행렬에 대해 그 행렬을 곱했을 때 항등 행렬(identity matrix)이 되는 행렬을 말합니다.

예를 들어, 행렬 A가 주어졌을 때, 행렬 A와 역행렬 A−1을 곱하면 항등 행렬 I이 되어야 합니다:

여기서 항등 행렬 I는 모든 대각선 원소가 1이고, 나머지 원소가 모두 0인 행렬입니다. 항등 행렬은 숫자 1의 역할을 합니다. 행렬에 대해 항등 행렬을 곱해도 원래 행렬이 변하지 않아요.

 

항등 행렬이란?

항등 행렬(identity matrix)는 행렬 곱셈에서 마치 숫자 1과 같은 역할을 하는 행렬이에요. 예를 들어:

 

행렬 A에 항등 행렬 I를 곱하면, 결과는 원래 행렬 A가 그대로 유지됩니다. 즉,

역행렬의 조건: 언제 존재하는가?

역행렬은 모든 행렬에 대해 존재하지 않습니다. 역행렬이 존재하는 조건은 다음과 같습니다:

1. 정방 행렬 (Square Matrix)이어야 합니다.
   • 행과 열의 개수가 같아야 합니다. 예를 들어, 2×2, 3×3과 같은 행렬만 역행렬을 가질 수 있습니다.
2. 가역행렬 (Invertible Matrix)이어야 합니다.
   • 행렬이 가역적(invertible)이라는 것은, 그 행렬에 대해 역행렬이 존재한다는 것을 의미합니다.
   • 역행렬이 존재하지 않는 행렬은 비가역행렬(non-invertible) 또는 특이행렬(singular matrix)이라고 합니다.
   • 행렬의 행렬식(determinant)이 0이 아니어야 역행렬이 존재합니다. 만약 행렬식이 0이면, 그 행렬은 특이행렬이고, 역행렬이 존재하지 않습니다.

왜 역행렬이 필요한가?

역행렬을 사용하는 이유는 방정식을 풀기 위해서입니다. 예를 들어, 우리가 다음과 같은 선형 방정식을 가지고 있다고 해봅시다.

 

 

이 경우에 x를 구하려면 A를 나누는 것처럼 처리하고 싶지만, 행렬에서는 나눗셈이 정의되지 않기 때문에 대신 역행렬을 사용해요.

 

이렇게 하면 행렬의 곱셈을 통해 방정식을 푸는 것과 같은 효과를 얻을 수 있습니다.

 

역행렬이 없는 경우

모든 행렬이 역행렬을 가질 수 있는 것은 아닙니다. 예를 들어:

• 특이행렬 (singular matrix): 이 경우에는 역행렬이 없습니다. 이는 행렬의 행렬식(determinant)이 0이기 때문이에요.
• 예를 들어 2×2행렬에서, 만약 두 행이 서로 선형적으로 종속된다면(한 행이 다른 행의 배수라면), 이 행렬은 역행렬을 가질 수 없습니다.

이렇게 역행렬이 존재하지 않는 행렬을 비가역행렬 (non-invertible matrix) 또는 특이행렬 (singular matrix)라고 부르며, 반대로 역행렬이 존재하는 행렬을 가역행렬 (invertible matrix) 또는 정칙행렬 (regular matrix)이라고 합니다.

 

요약

• 역행렬은 행렬에 대해 "나눗셈"과 같은 역할을 하는 행렬입니다.
• 행렬 A와 그 역행렬 A−1을 곱하면 항등 행렬 I이 됩니다.
• 역행렬이 존재하려면 행렬은 정방 행렬이어야 하고, 행렬식(determinant)이 0이 아니어야 합니다.
• 가역행렬은 역행렬이 존재하는 행렬을 의미하고, 비가역행렬은 역행렬이 없는 행렬입니다