[유튜브 강의 정리] 안드레 카파시 - Deep Dive into LLMs like ChatGPT

Introduction

Pre-Training

Step 1: Download and preprocess the internet

Step 2: Tokenization

Step 3: Neural network training

Step 4: Inference

Base model

Post-Training: Supervised Finetuning

Conversations

Hallucinations

Knowledge of Self

Models need tokens to think

Things the model cannot do well

Post-Training: Reinforcement Learning

Reinforcement learning

DeepSeek-R1

AlphaGo

Reinforcement learning from human feedback (RLHF)

Preview of things to come

Keeping track of LLMs

Where to find LLMs

Where to find LLMs

🌍 LLM(대형 언어 모델) 어디서 찾을까? 🔎🤖

LLM을 활용하고 실험하고 싶다면, 다음과 같은 플랫폼에서 찾을 수 있습니다! 🚀


1️⃣ 상업용(프라이빗) LLMs 🔐

유명한 대형 AI 모델들은 각 회사의 공식 웹사이트에서 직접 접근할 수 있습니다.

대표적인 LLM 제공 사이트:

이들은 클라우드 기반으로 제공되며, 직접 웹사이트에 접속해 사용하면 됩니다!


2️⃣ 오픈소스(Open Weights) LLMs 🌍🛠

🔓 무료로 다운로드하고 사용할 수 있는 오픈 웨이트(가중치 공개) 모델은 여러 플랫폼에서 찾을 수 있습니다.

오픈소스 LLM 제공 사이트:

  • Together AI → 다양한 오픈소스 LLM 실행 가능 💡

  • Hugging Face → 수많은 오픈소스 모델 제공

  • Hyperbolic → Llama 3.1 Base 모델 제공

🛠 Inference(추론) 제공 플랫폼에서는 여러 모델을 직접 선택해 테스트할 수 있음!


3️⃣ 로컬 실행 가능한 LLMs 💻

컴퓨터에서 직접 LLM을 실행할 수도 있습니다!
특히 가벼운(경량화된) 모델이나 저정밀(낮은 Precision) 모델을 사용하면 개인 PC에서도 작동 가능 🎯

로컬 LLM 실행 방법:
1️⃣ LM Studio다운로드 링크

  • 💻 로컬에서 직접 AI 모델 실행 가능

  • 📌 Mac, Windows 지원

  • UI/UX가 다소 어렵지만 익숙해지면 강력한 도구

  • 다양한 모델을 선택해 실행할 수 있음

2️⃣ Ollama다운로드 링크

  • 🎯 간단한 명령어로 로컬에서 AI 모델 실행 가능

  • Llama 3, DeepSeek 등 최신 모델 지원

  • Mac에서 특히 성능이 좋음

💡 로컬 실행 팁:

  • 작은 모델(경량화된 버전) 사용 → 메모리 부족 방지

  • 낮은 Precision 설정(FP8, INT4 등) → 더 작은 PC에서도 실행 가능