소소한 지식 저장소

계산 그래프 (Computation Graph)정의: 입력 데이터(x)와 모델 파라미터(w)를 받아, 최종 예측값을 계산하는 과정을 일련의 연산 노드(+, *, exp, 1/x 등)로 표현한 그래프예시 함수: 계산 그래프 예시 상세1. 초기값 설정w0 = 2.00x0 = -1.00w1 = -3.00x1 = -2.00w2 = -3.002. Forward Pass (순전파)3. Backward Pass (역전파)원리: 체인룰(Chain Rule)을 사용하여 $\frac{\partial L}{\partial x}=\frac{\partial\sigma}{\partial x}\frac{\partial L}{\partial\sigma}$ 와 같이 그래디언트를 역방향으로 전파용어: Downstream Gradient..

오토인코더 개요정의: 오토인코더(Autoencoder)는 데이터 인코딩 방법을 학습하는 효과적인 딥러닝 모델.특징: 입력 데이터만 가지고 학습을 진행.학습 방식: 입력 데이터 자체가 정답 데이터(Label)가 됨.프로세스: 데이터를 효율적으로 압축했다가 다시 원본 데이터로 복원하는 과정을 학습하는 비지도 학습.목표: 주어진 입력과 동일한 출력을 만들도록 학습.구조: 인코더(Encoder)와 디코더(Decoder)로 구성. Encoder: 입력 데이터를 특징 공간(feature space)으로 변환 (압축).Decoder: 특징 공간의 데이터를 원래 데이터로 복원.장점: 입력 데이터만으로 해당 데이터의 중요한 특징(압축된 데이터)을 추출 가능.오토인코더(AE) vs 차원 축소차원 축소 (Dimension ..

- 텐서플로우의 GradientTape는 연산 과정을 '테이프'에 녹화(기록)하여 자동 미분을 수행하는 기능핵심 목적: 모델 학습 과정에서 각 파라미터(가중치)가 최종 Loss(오류)에 얼마나 영향을 미쳤는지 계산하기 위함동작 방식: tape는 연산의 최종 값(예: y=9, x=3)만 저장하는 것이 아니라, "숫자 3.0을 입력받아($x$), 그것을 제곱(**2)해서 y를 만들었다"는 계산 과정(연산 그래프) 자체를 기록학습 활용: 이 기록을 바탕으로 Loss를 각 가중치로 미분하여, Loss를 줄이는 방향으로 가중치를 조절(학습)1. 기본 GradientTape 예제단순 변수의 Gradient를 계산하는 예제# x는 3.0 값을 가진 변수(Variable)x = tf.Variable(3.0)# Grad..

딥러닝 모델을 처음부터 직접 만드는 것도 좋은 방법이지만, 이미 수많은 연구자가 검증하고 성능을 입증한 기존 모델을 가져다 쓰는 것이 훨씬 효율적일 수 있음기존 모델을 활용하는 방식은 크게 두 가지로 나뉨Case 1: 기존 모델의 틀(구조)만 가져다 쓰는 경우Case 2: 기존에 **학습된 모델(가중치 포함)**을 가져다 쓰는 경우학습된 모델을 그대로 활용 학습된 모델을 새로운 데이터에 맞게 적용 (Fine-Tuning) - 이러한 검증된 모델들은 paperswithcode.com , kaggle.com, huggingface.co 등에서 찾을 수 있으며, 특히 Keras는 keras.applications 모듈을 통해 Xception, VGG, ResNet, MobileNet 등 다양한 모델을 손쉽게 ..

모델 생성: Sequential정의: 하나의 입력과 하나의 출력을 가지며, Layer를 순차적으로 쌓아나가는 방식 핵심 원리: 이전 레이어의 output이 다음 레이어의 input이 됨 구현 예시:from tensorflow.keras.models import Sequentialfrom tensorflow.keras.layers import Densemodel = Sequential()model.add(Dense(2, input_dim=1)) model.add(Dense(1))모델 생성: Functional개념: 입력이나 출력이 하나로 제한되지 않는 모델링 방식필요성: "꼭 하나의 입력과 하나의 출력이어야 할까?"라는 질문에서 시작 두 개의 입력, 하나의 출력 하나의 입력, 두 개의 출력 model = ..

CNN의 역사초기 모델과 발전LeNet-5 (1998): 얀 르쿤(LeCun) 등이 문서 인식(document recognition)에 경사 하강법 기반 학습(gradient-based learning)을 적용초기 성공 (음성 인식): 2010년과 2012년, Deep Belief Networks 및 Deep Neural Networks(DNN)를 활용한 음성 인식(Acoustic Modeling, Speech Recognition) 분야에서 강력한 초기 성과 등장AlexNet (2012): Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton이 ImageNet 분류(classification) 대회에서 딥러닝을 활용해 획기적인 성과를 달성ILSVRC(ImageNet) ..

CNN (Convolutional Neural Network) 개요필터 (Filter)의 역할: 이미지에서 찾고 싶은 특정 모양(특징)을 감지함.학습 방식: 과거에는 연구자들이 수학적으로 필터를 설계했지만 , 딥러닝에서는 데이터로부터 목적에 맞는 필터를 자동으로 학습함.주요 특징:물체가 이미지의 어느 위치에 있든 탐지 가능.완전 연결 계층(Dense Layer)에 비해 파라미터 수가 훨씬 적음.Dense Layer의 파라미터 수: (입력 차원) * (출력 차원).CNN의 파라미터 수 (예: 3x3 필터): 9 * (필터 개수).주어진 데이터셋에 특화된 특징을 추출하는 경향이 있음.Convolution 연산의 구성 요소Stride: 필터를 이미지 위에서 이동시키는 간격. 예를 들어, 두 칸씩 이동하면 st..

1. 이미지의 본질디지털 이미지의 이해- 디지털 이미지는 강도(intensity) 값들의 격자(grid)로 표현- 수학적으로는 2D 함수 f(x,y)로 나타낼 수 있으며, 각 위치의 밝기 값을 출력샘플링과 양자화: 연속 함수를 이산화한 결과일반적 표현: 0(검정) ~ 255(흰색), 1바이트 per 픽셀3D 시각화: x,y축은 위치, z축은 밝기를 나타냄2. 노이즈 감소 문제문제 상황- 정지된 장면을 촬영할 때 카메라 노이즈를 어떻게 줄일 것인가? 해결 방법 최선책: 같은 장면을 여러 번 촬영해서 평균 계산노이즈는 랜덤하므로 평균으로 상쇄됨차선책: 단일 이미지에서 이웃 픽셀들의 평균 사용인접 픽셀은 유사한 값을 가진다는 가정- 이것이 이미지 필터링의 기본 아이디어!!3. 선형 필터링의 원리핵심 개념각 픽..

1. 목표: 점들을 가르는 최적의 직선 찾기위와 같이 파란 점과 빨간 점, 두 그룹의 데이터가 주어졌다고 가정우리의 목표는 이 두 그룹을 가장 잘 나눌 수 있는 하나의 직선을 긋는 것이 직선을 기준으로 새로운 점이 나타났을 때, 그 점이 파란 그룹에 속할지, 빨간 그룹에 속할지 예측할 수 있음머신러닝에서는 이 직선을 결정 경계(Decision Boundary)라고 부름퍼셉트론 알고리즘은 바로 이 결정 경계를 찾아가는 과정임2. 퍼셉트론 알고리즘의 원리퍼셉트론은 아주 간단하고 직관적인 방식으로 학습잘못 분류된 데이터를 발견하면, 결정 경계(직선)를 조금씩 움직여서 올바르게 분류될 때까지 이 과정을 반복예측 공식어떤 점의 좌표 $(x_1, x_2)$가 주어졌을 때, 퍼셉트론은 다음 식으로 어느 그룹에 속하는..

AI, 머신러닝, 딥러닝의 관계- 세 가지 용어는 종종 혼용되지만, 명확한 포함 관계를 가지고 있음- if-else 규칙에 따라 기계가 특정 방식으로 행동하는 것도 AI의 한 종류로 볼 수 있음인공지능 (Artificial Intelligence, AI): - 가장 넓은 개념으로, 기계가 학습이나 문제 해결과 같은 인간의 인지 능력을 모방하는 모든 경우를 의미- 간단하게는 미리 프로그래밍됨머신러닝 (Machine Learning, ML): - 인공지능의 한 분야로, 알고리즘이 데이터를 학습하며 시간이 지남에 따라 성능을 향상시키는 기술- 머신러닝 모델은 예측과 실제 값 사이의 오류(손실 함수)를 최소화하는 최적화 알고리즘이라고 할 수 있음딥러닝 (Deep Learning, DL): - 방대한 양의 데이터..