LLM 25일 완성

AI, ML, DL의 차이부터 파라미터, 에포크, 손실함수까지 핵심 용어를 한눈에 정리합니다

토큰, 코퍼스, 임베딩, 어텐션 등 NLP 핵심 용어를 예제와 함께 정리합니다

BPE, WordPiece 알고리즘과 Word2Vec 개념을 이해하고 tiktoken으로 실습합니다

Transformer의 인코더/디코더 구조, Self-Attention, FFN, 정규화를 도식으로 설명합니다

Q/K/V, Scaled Dot-Product, Multi-Head Attention, 위치 인코딩을 numpy로 직접 구현합니다

스케일링 법칙, 사전학습, 파라미터 규모별 특징, 창발적 능력까지 LLM의 본질을 파악합니다

OpenAI 최신 모델군 선택 기준과 Responses API 중심 사용법, 비용 확인 방법을 정리합니다

Claude 최신 모델군 선택 기준과 Constitutional AI 개념, Anthropic Messages API 사용법을 살펴봅니다

Llama 계열의 발전 흐름을 이해하고, 최신 공개 모델을 로컬에서 실행해봅니다

Qwen, DeepSeek, Phi, Yi와 한국어 모델 SOLAR, EXAONE까지 오픈소스 LLM을 총정리합니다

상용/오픈소스 멀티모달 모델군으로 이미지와 텍스트를 함께 처리하는 방법을 다룹니다

Hub, Spaces, Transformers, Datasets, PEFT 등 Hugging Face 생태계를 한눈에 살펴봅니다

Hugging Face Transformers 설치부터 pipeline()으로 텍스트 분류, 감성분석, 번역, 요약까지 한번에 체험합니다.

model.generate()의 핵심 파라미터를 이해하고 temperature, top_p, top_k 등 생성 전략을 비교 실습합니다.

encode/decode, 특수 토큰, padding/truncation 전략부터 chat_template과 apply_chat_template()까지 깊이 다룹니다.

Zero-shot, Few-shot, Chain-of-Thought 기법과 구조화 출력(JSON), 실전 프롬프트 팁 10가지를 배웁니다.

LangChain과 ChromaDB로 문서 로딩부터 검색 증강 생성(RAG)까지 전체 파이프라인을 구축합니다.

Full Fine-Tuning과 Parameter-Efficient FT의 차이, 파인튜닝 vs 프롬프팅 의사결정 기준을 정리합니다.

LoRA(Low-Rank Adaptation)의 원리와 rank/alpha 파라미터, QLoRA의 4bit 양자화 결합 방식을 코드로 배웁니다.

PEFT 라이브러리로 LoraConfig 설정, 타겟 모듈 선택, 학습 가능 파라미터 확인, 모델 저장과 로드를 실습합니다.

Alpaca 형식과 ShareGPT 형식의 데이터셋 구조, 데이터 수집/정제/검증 방법, datasets 라이브러리 활용법을 배웁니다.

trl 라이브러리의 SFTTrainer로 실제 학습을 실행하고, wandb 모니터링과 체크포인트 관리를 다룹니다.

FP32부터 INT4까지 정밀도 비교, GGUF/AWQ/GPTQ 포맷, bitsandbytes와 llama.cpp 양자화 방법을 다룹니다.

Ollama, vLLM, Text Generation WebUI, llama.cpp로 LLM을 로컬에서 서빙하고 성능을 비교합니다.

30일간 배운 모든 것을 통합하여 모델 선택부터 파인튜닝, RAG, 서빙, Gradio UI까지 완성합니다.