Dominic Repo

[항해 플러스 AI] 7주차 WIL – GPT Fine-tuning에 Validation Data 적용하고 성능 확인하기

벌써 항해 플러스 AI 과정의 7주차다. 시간이 정말 빠르게 지나가고 있고, 그동안 다양한 AI 모델 실습을 진행하면서 실제 서비스에서 사용할 수 있는 AI 모델을 어떻게 만들지에 대한 실질적인 감각이 점점 생기고 있다. 이번 주차에는 본격적으로 GPT 모델을 fine-tuning 하면서 validation 데이터를 사용하여 모델의 성능을 더욱 정교하게 평가하고 분석하는 작업을 진행했다. Fine-tuning 자체는 이전 주차에도 여러 번 해봤지만, 이번에는 특히 validation loss를 측정하고 분석하는 과정이 포함되어 있어 그 중요성과 실용성을 피부로 느낄 수 있었다.1. GPT Fine-tuning에 validation 데이터를 사용하는 이유기존에 fine-tuning 작업을 진행할 때는 보통..

1. 이번 주에 집중한 이유와 목표지난 5주 동안 LLM을 '터미널, 주피터 노트북 장난감' 수준에서만 굴려 봤다. 물론 쉘에서 모델을 돌려 보는 것도 재미는 있지만, "사람한테 보여 줄 수 있는 형태"로 만들지 않으면 언제까지나 개인 공부에 그친다. 그래서 6주차 미션은 딱 한 줄로 정의했다."전신 사진과 옷 사진 몇 장만 던지면, 착용자의 체형·취향·상황(TPO)을 고려해 코디를 추천하는 챗봇을 눈으로 볼 수 있게 만들어 보자!"내가 잡은 세부 목표는 다음 넷이었다.멀티모달 입력 – 이미지 여러 장 + 텍스트를 한 번에 받는다.대화 문맥 유지 – 세션 스테이트를 써서 새로고침해도 톤·맥락이 끊기지 않는다.로컬 테스트 완전 통과 – GPU(Tesla T4) 환경에서 지연 없이 동작.다음 주 배포 준비 ..

1. 이번 주 학습 내용 정리이번 3주차는 LLM을 다루기 위한 사전 준비 과정으로, Transfer Learning(전이학습)과 Pre-trained Language Model에 대한 개념을 배우는 시간이었다. 그동안 머신러닝과 딥러닝 모델이 새로운 작업을 할 때, 왜 사전학습된 모델을 사용하는지에 대한 이유를 실습과 이론을 통해 직관적으로 이해할 수 있었다.Transfer Learning은 방대한 데이터로 일반적인 언어 능력을 학습한 모델을 기반으로, 특정 과제에 맞게 추가 학습을 하는 방식이다. 이 원리는 단순하지만, 실제로는 성능 향상에 매우 중요한 역할을 한다는 것을 직접 실습을 통해 체감했다.이번 주에 중점적으로 다룬 모델은 BERT와 GPT였다. 구조적으로 BERT는 양방향 문맥을 모두 반영..

1. 이번 주 학습 주제 요약2주차 학습에서는 딥러닝 모델이 자연어 처리(NLP, Natural Language Processing) 분야에서 어떻게 활용되는지를 중심으로 다루었다.자연어는 이미지나 숫자 데이터와 달리 순차성과 문맥성을 가지며, 이러한 특성을 반영할 수 있는 모델 구조에 대한 이해가 핵심이었다.이번 주차에는 RNN, Attention, Transformer 같은 구조들을 중심으로 개념을 익히고, 이를 활용한 간단한 문장 예측 실습도 함께 진행했다.2. 자연어 데이터의 특성과 입력 전처리자연어는 단어의 순서와 맥락에 따라 의미가 크게 달라지기 때문에, 기존의 MLP나 CNN과 같은 모델로는 제대로 처리하기 어렵다.이를 해결하기 위한 자연어 처리용 딥러닝 모델에서는 다음과 같은 입력 전처리 ..

1. 이번 주 학습 주제 요약이번 주는 딥러닝의 시작점이라 할 수 있는 선형 회귀(Linear Regression) 개념부터 출발하여, 이를 다층 구조로 확장한 MLP(Multi-Layer Perceptron) 모델까지 실제로 구현하며 실습을 진행했다. 특히 예측 함수, 손실 함수, gradient 계산 방식과 같은 수학적 직관도 함께 학습하면서, 단순한 구현을 넘어선 이해를 키울 수 있었다.또한 과적합(overfitting)을 방지하기 위한 기법들인 Dropout, Weight Decay, BatchNorm, Validation/Early Stopping 등의 핵심 개념도 함께 다뤘고, 마지막에는 MNIST 손글씨 분류를 통해 실제 학습 흐름을 구현했다.2. 핵심 개념 정리🔹 선형 회귀란?가장 기본적..