Dominic Repo

1. 이번 주 학습 내용 정리이번 3주차는 LLM을 다루기 위한 사전 준비 과정으로, Transfer Learning(전이학습)과 Pre-trained Language Model에 대한 개념을 배우는 시간이었다. 그동안 머신러닝과 딥러닝 모델이 새로운 작업을 할 때, 왜 사전학습된 모델을 사용하는지에 대한 이유를 실습과 이론을 통해 직관적으로 이해할 수 있었다.Transfer Learning은 방대한 데이터로 일반적인 언어 능력을 학습한 모델을 기반으로, 특정 과제에 맞게 추가 학습을 하는 방식이다. 이 원리는 단순하지만, 실제로는 성능 향상에 매우 중요한 역할을 한다는 것을 직접 실습을 통해 체감했다.이번 주에 중점적으로 다룬 모델은 BERT와 GPT였다. 구조적으로 BERT는 양방향 문맥을 모두 반영..

1. 이번 주 학습 주제 요약2주차 학습에서는 딥러닝 모델이 자연어 처리(NLP, Natural Language Processing) 분야에서 어떻게 활용되는지를 중심으로 다루었다.자연어는 이미지나 숫자 데이터와 달리 순차성과 문맥성을 가지며, 이러한 특성을 반영할 수 있는 모델 구조에 대한 이해가 핵심이었다.이번 주차에는 RNN, Attention, Transformer 같은 구조들을 중심으로 개념을 익히고, 이를 활용한 간단한 문장 예측 실습도 함께 진행했다.2. 자연어 데이터의 특성과 입력 전처리자연어는 단어의 순서와 맥락에 따라 의미가 크게 달라지기 때문에, 기존의 MLP나 CNN과 같은 모델로는 제대로 처리하기 어렵다.이를 해결하기 위한 자연어 처리용 딥러닝 모델에서는 다음과 같은 입력 전처리 ..

AI 연구소에서 일한지 벌써 1년이 다 되어 간다. 일을 하면서 AI 발전 속도가 더더욱 빠르게 변한다는것을 느끼면서 흥미롭게 일을 하고 있다.근데 고민이 생겼다. 가져다 쓰는것은 누구나 할 수 있을텐데 그럼 대체 인력이 될 수 있다는 뜻일텐데 하는 고민 이였다.그래서 탑다운은 회사에서 바텀업은 교육에서 하기로 결정했고 항해 플러스 커리큘럼이 적절하다고 판단하여 합류 하게 되었다. 시작에 앞서 사전 과제를 하게 되었는데 오랜만에 수학을 다시 들여다 보며 스칼라와 벡터, 함수, 미분에 대해 훑어 보았고딥러닝 강의를 들으며 기본적인 개념에 대해 학습을 하게 되었다.  잘할 수 있다는 마음을 가지고 개강날에 가서 해야할 과제에 대해 설명을 들었다. 주제는 "딥러닝 이론과 자연어 처리".코치님은 쉽다고 하셨는데..