Dominic Repo

좋은 기회로 인해 처음으로 사설 부트캠프인 '항해99'에서 진행하는 '항해 플러스 AI 코스 3기 과정'을 참여하고 수료까지 하게 되었다.결론부터 말하자면, 진짜 너무 좋은 교육과 기회였다.간단하게 개발자가 어떻게 되었는지 소개를 하자면나는 보안을 전공을 한 후 깊게 몰입하지 못했다. 이후 '42서울' 이라는 교육 프로그램을 합격하게 되면서 다시 C언어로 다양한 경험 및 네트워크를 형성하고 개발자라는 직업에 대한 호감이 상승하고 재밌었다. 교육을 마치고 학교 지인 추천으로 스타트업에 입사를 하게 되면서 개발자라는 직군으로 사회의 첫 발을 내딛었다.항해 플러스 들어오기 전, 현재 회사의 신규 팀인 AI 연구소에서 근무를 하고 있었다. AI 업무를 하면서 데이터, 서버 개발, 인프라 등 할게 많은데 팀장님 ..

0. 들어가며벌써 항해 플러스 AI 과정 8주차. 진짜 시간 순삭이다.이번 주는 “모델을 더 빠르게, 더 가볍게, 더 싸게” 만드는 네 가지 키워드를 집중적으로 파봤다.FlashAttention – 긴 입력도 쌩으로 돌려서 속도 3배 뽑기Data Parallelism & DeepSpeed – GPU 여러 대를 네트워크로 엮어 학습 속도 뻥튀기Quantization – 파라미터를 16bit → 8bit로 눌러서 메모리 절약PEFT(LoRA) – 모델 전체 대신 저차 ΔW만 학습해서 비용↓ 성능↑덕분에 “GPT‑급 모델을 노트북 한 대로 fine‑tuning 할 수 있을까?” 같은 로망이 좀 더 현실로 다가온 느낌이다.1. FlashAttention Transformer Self‑Attention은 Q·K·..

벌써 항해 플러스 AI 과정의 7주차다. 시간이 정말 빠르게 지나가고 있고, 그동안 다양한 AI 모델 실습을 진행하면서 실제 서비스에서 사용할 수 있는 AI 모델을 어떻게 만들지에 대한 실질적인 감각이 점점 생기고 있다. 이번 주차에는 본격적으로 GPT 모델을 fine-tuning 하면서 validation 데이터를 사용하여 모델의 성능을 더욱 정교하게 평가하고 분석하는 작업을 진행했다. Fine-tuning 자체는 이전 주차에도 여러 번 해봤지만, 이번에는 특히 validation loss를 측정하고 분석하는 과정이 포함되어 있어 그 중요성과 실용성을 피부로 느낄 수 있었다.1. GPT Fine-tuning에 validation 데이터를 사용하는 이유기존에 fine-tuning 작업을 진행할 때는 보통..

1. 이번 주에 집중한 이유와 목표지난 5주 동안 LLM을 '터미널, 주피터 노트북 장난감' 수준에서만 굴려 봤다. 물론 쉘에서 모델을 돌려 보는 것도 재미는 있지만, "사람한테 보여 줄 수 있는 형태"로 만들지 않으면 언제까지나 개인 공부에 그친다. 그래서 6주차 미션은 딱 한 줄로 정의했다."전신 사진과 옷 사진 몇 장만 던지면, 착용자의 체형·취향·상황(TPO)을 고려해 코디를 추천하는 챗봇을 눈으로 볼 수 있게 만들어 보자!"내가 잡은 세부 목표는 다음 넷이었다.멀티모달 입력 – 이미지 여러 장 + 텍스트를 한 번에 받는다.대화 문맥 유지 – 세션 스테이트를 써서 새로고침해도 톤·맥락이 끊기지 않는다.로컬 테스트 완전 통과 – GPU(Tesla T4) 환경에서 지연 없이 동작.다음 주 배포 준비 ..

이번 5주차는 단순한 LLM 사용이 아니라, LLM을 더 똑똑하게 만드는 여러 가지 기술을 학습하는 주차였다.Instruction Tuning, Multi-modal LLM(MLLM), RAG(Retrieval-Augmented Generation) 세 가지를 배우면서,각 개념이 실제 서비스에 어떻게 적용될 수 있는지를 고민하는 시간이 되었다.특히 이번 주는 단순히 개념만 이해하는 것이 아니라,LangChain을 활용해 코드를 짜보고 다양한 Knowledge Source를 연결하며 직접 실습했기 때문에훨씬 더 실질적인 경험이 되었다.5주차를 지나며, 나는 LLM을 활용하는 관점이 단순히 사용하는 것을 넘어서어떻게 최적화된 지능형 시스템을 설계할 수 있을지 고민하는 방향으로 바뀌고 있음을 느꼈다.Instr..

이번 4주차는 지금까지 배운 걸 바탕으로, 실제로 LLM을 어떻게 활용하는지에 집중한 시간이었다. 이전까지는 Transformer 구조나 MLP처럼 모델을 직접 짜보고 실험해보는 게 중심이었다면, 이번 주는 HuggingFace 같은 라이브러리를 통해 "어떻게 더 효율적으로 써먹을 수 있을까"를 고민하게 됐다.HuggingFace 실습 - 직접 구현하지 않고도 모델을 다룰 수 있다는 점이번 주 초반엔 HuggingFace 튜토리얼을 따라가면서 Transformer 계열 모델을 학습 없이도 불러와서 사용하는 방법을 익혔다. 사실 이전까지는 모델을 하나하나 짜는 것에 집중했는데, HuggingFace를 쓰니까 오히려 모델보다 데이터를 잘 준비하는 게 더 중요하다는 걸 느꼈다.모델을 선택하고, Tokenize..

1. 이번 주 학습 내용 정리이번 3주차는 LLM을 다루기 위한 사전 준비 과정으로, Transfer Learning(전이학습)과 Pre-trained Language Model에 대한 개념을 배우는 시간이었다. 그동안 머신러닝과 딥러닝 모델이 새로운 작업을 할 때, 왜 사전학습된 모델을 사용하는지에 대한 이유를 실습과 이론을 통해 직관적으로 이해할 수 있었다.Transfer Learning은 방대한 데이터로 일반적인 언어 능력을 학습한 모델을 기반으로, 특정 과제에 맞게 추가 학습을 하는 방식이다. 이 원리는 단순하지만, 실제로는 성능 향상에 매우 중요한 역할을 한다는 것을 직접 실습을 통해 체감했다.이번 주에 중점적으로 다룬 모델은 BERT와 GPT였다. 구조적으로 BERT는 양방향 문맥을 모두 반영..

1. 이번 주 학습 주제 요약2주차 학습에서는 딥러닝 모델이 자연어 처리(NLP, Natural Language Processing) 분야에서 어떻게 활용되는지를 중심으로 다루었다.자연어는 이미지나 숫자 데이터와 달리 순차성과 문맥성을 가지며, 이러한 특성을 반영할 수 있는 모델 구조에 대한 이해가 핵심이었다.이번 주차에는 RNN, Attention, Transformer 같은 구조들을 중심으로 개념을 익히고, 이를 활용한 간단한 문장 예측 실습도 함께 진행했다.2. 자연어 데이터의 특성과 입력 전처리자연어는 단어의 순서와 맥락에 따라 의미가 크게 달라지기 때문에, 기존의 MLP나 CNN과 같은 모델로는 제대로 처리하기 어렵다.이를 해결하기 위한 자연어 처리용 딥러닝 모델에서는 다음과 같은 입력 전처리 ..

1. 이번 주 학습 주제 요약이번 주는 딥러닝의 시작점이라 할 수 있는 선형 회귀(Linear Regression) 개념부터 출발하여, 이를 다층 구조로 확장한 MLP(Multi-Layer Perceptron) 모델까지 실제로 구현하며 실습을 진행했다. 특히 예측 함수, 손실 함수, gradient 계산 방식과 같은 수학적 직관도 함께 학습하면서, 단순한 구현을 넘어선 이해를 키울 수 있었다.또한 과적합(overfitting)을 방지하기 위한 기법들인 Dropout, Weight Decay, BatchNorm, Validation/Early Stopping 등의 핵심 개념도 함께 다뤘고, 마지막에는 MNIST 손글씨 분류를 통해 실제 학습 흐름을 구현했다.2. 핵심 개념 정리🔹 선형 회귀란?가장 기본적..

AI 연구소에서 일한지 벌써 1년이 다 되어 간다. 일을 하면서 AI 발전 속도가 더더욱 빠르게 변한다는것을 느끼면서 흥미롭게 일을 하고 있다.근데 고민이 생겼다. 가져다 쓰는것은 누구나 할 수 있을텐데 그럼 대체 인력이 될 수 있다는 뜻일텐데 하는 고민 이였다.그래서 탑다운은 회사에서 바텀업은 교육에서 하기로 결정했고 항해 플러스 커리큘럼이 적절하다고 판단하여 합류 하게 되었다. 시작에 앞서 사전 과제를 하게 되었는데 오랜만에 수학을 다시 들여다 보며 스칼라와 벡터, 함수, 미분에 대해 훑어 보았고딥러닝 강의를 들으며 기본적인 개념에 대해 학습을 하게 되었다.  잘할 수 있다는 마음을 가지고 개강날에 가서 해야할 과제에 대해 설명을 들었다. 주제는 "딥러닝 이론과 자연어 처리".코치님은 쉽다고 하셨는데..