Kiến trúc ChatGPT — Trực quan hóa tương tác

1. Bối cảnh — Từ GPT-3 đến ChatGPT

ChatGPT không xuất hiện từ hư không — nó là kết quả của một chuỗi tiến hóa 5 năm:

1.4. Phân biệt các mô hình trong dòng dõi

Mô hình	Năm	Base	Alignment	Công bố
GPT-3	2020	—	Không	Paper đầy đủ
InstructGPT	2022	GPT-3	SFT + RM + PPO	Paper đầy đủ
GPT-3.5	2022	GPT-3 chỉnh sửa (không công khai)	RLHF	Blog/release notes
ChatGPT (gpt-3.5-turbo)	11/2022	GPT-3.5	RLHF + dialogue data	Blog post (không paper)
GPT-4	3/2023	Kiến trúc mới (MoE rumored)	RLHF + có thể RLAIF	Technical report, không tiết lộ kiến trúc

Quan sát: chỉ GPT-3 và InstructGPT có paper đầy đủ. ChatGPT/GPT-3.5/GPT-4 chỉ có blog post hoặc technical report — không công bố tham số, dữ liệu, hay công thức training chính xác.

1.1. Vấn đề mà ChatGPT giải quyết

GPT-3 mạnh nhưng có 3 vấn đề lớn (Ouyang et al., 2022):

1. Untruthful (không trung thực): bịa thông tin — 41% hallucination rate trên closed-domain QA.
2. Toxic (độc hại): sinh nội dung phân biệt, kích động.
3. Unhelpful (không hữu ích): không theo chỉ dẫn người dùng.

Nguyên nhân: mục tiêu pre-training (next-token prediction trên internet) lệch với mục tiêu thực (follow user's intent helpfully and safely).

2. Tổng quan 3 tầng kỹ thuật

3. Tầng 1 — Decoder-only Transformer

3.1. Khác biệt với Transformer gốc

Transformer 2017 có encoder + decoder (cho dịch máy). GPT chỉ dùng decoder-only:

Thành phần	Vaswani 2017	GPT/ChatGPT
Encoder	✓	✗ (bỏ)
Decoder masked self-attention	✓	✓
Encoder-decoder cross-attention	✓	✗ (vì không có encoder)
FFN	✓	✓
Vị trí LayerNorm	Post-LN	Pre-LN (cải tiến)

3.2. Pre-LN vs Post-LN

Pre-LN giúp ổn định gradient khi stack sâu (96 layer), không cần warmup LR quá dài.

3.3. Một decoder layer

Với mỗi layer $\ell \in \{1, \ldots, N\}$:

$$ h'^{(\ell)} = h^{(\ell-1)} + \text{MaskedMHA}\big(\text{LN}(h^{(\ell-1)})\big) $$ $$ h^{(\ell)} = h'^{(\ell)} + \text{FFN}\big(\text{LN}(h'^{(\ell)})\big) $$

3.4. Causal masking

Vị trí $i$ chỉ "nhìn" $\le i$ — implement bằng cách cộng mask matrix vào trước softmax:

$$ A = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}} + M\right), \qquad M_{ij} = \begin{cases} 0 & j \le i \\ -\infty & j > i \end{cases} $$

Vì $\exp(-\infty) = 0$, trọng số attention "tương lai" bị triệt tiêu.

4. Tokenization: Byte Pair Encoding

GPT-3 dùng byte-level BPE với vocab $|V| = 50{,}257$. Mỗi token → vector qua embedding:

$$ e_t = E_{x_t} \in \mathbb{R}^{d_{\text{model}}} $$

Cộng với learned positional embedding: $h_t^{(0)} = e_t + PE_t$.

BPE algorithm (đơn giản hóa)

1. Bắt đầu với vocab = byte/character đơn lẻ.
2. Đếm cặp byte liền kề có tần suất cao nhất.
3. Merge cặp đó thành một token mới.
4. Lặp đến khi vocab đạt 50K.

Compression ratio: trung bình ~4 ký tự ASCII / token cho tiếng Anh tự nhiên (≈ 0.75 token/word). Code và ngôn ngữ giàu hình thái (Trung, Nhật, Việt có dấu) có ratio thấp hơn (1-2 ký tự/token).

Lưu ý thuật ngữ: "byte-level" nói về đơn vị BPE merge (bắt đầu từ 256 byte UTF-8), không phải về kích thước token sau mã hóa.

5. Pre-training: Next-token prediction

5.1. Loss function

Maximize log-likelihood tự hồi quy:

với phân bố next-token:

$$ p_\theta(x_t \mid x_{\lt t}) = \text{softmax}\!\big(h_t^{(N)} E^\top\big)_{x_t} $$

5.2. Training data của GPT-3

Dataset	Tokens	Weight	Epochs khi train 300B
Common Crawl (filtered)	410B	60%	0.44
WebText2	19B	22%	2.9
Books1	12B	8%	1.9
Books2	55B	8%	0.43
Wikipedia	3B	3%	3.4
Tổng	~500B	100%	300B trained

Tỷ lệ sampling: Wikipedia chỉ 0.6% raw nhưng được sample 3% — over-sample dữ liệu chất lượng cao. Common Crawl 82% raw nhưng chỉ 60% sample.

6. Scaling Laws — Luật mở rộng quy mô

Kaplan et al. (2020) phát hiện power law giữa cross-entropy loss và 3 yếu tố: tham số $N$, dữ liệu $D$, compute $C$.

Đồ thị Scaling Laws — tương tác

Điều chỉnh các tham số để xem L vs N (model size) và L vs D (dataset size):

Joint scaling — Tránh overfitting (Eq 1.5)

Để không overfit theo Kaplan: $D \propto N^{0.74}$ — tăng model 8× chỉ cần tăng data ~4.7×.

Đếm tham số Transformer (Eq 2.1)

$$ N \approx 12 \cdot N_{\text{layer}} \cdot d_{\text{model}}^2 $$

Kiểm tra GPT-3 175B: $12 \times 96 \times 12288^2 \approx 1.74 \times 10^{11}$ ✓

Total training compute

$$ C_{\text{train}} \approx 6 \cdot N \cdot D \quad \text{FLOPs} $$

GPT-3 175B: $6 \times 1.75 \times 10^{11} \times 3 \times 10^{11} = 3.15 \times 10^{23}$ FLOPs ≈ 3,650 PFLOP/s-days.

7. GPT-3: 8 cấu hình + tham số tương tác

Model	Params	$N_{\text{layer}}$	$d_{\text{model}}$	$h$	$d_{\text{head}}$	Batch	LR
Small	125M	12	768	12	64	0.5M	$6.0 \times 10^{-4}$
Medium	350M	24	1024	16	64	0.5M	$3.0 \times 10^{-4}$
Large	760M	24	1536	16	96	0.5M	$2.5 \times 10^{-4}$
XL	1.3B	24	2048	24	128	1M	$2.0 \times 10^{-4}$
2.7B	2.7B	32	2560	32	80	1M	$1.6 \times 10^{-4}$
6.7B	6.7B	32	4096	32	128	2M	$1.2 \times 10^{-4}$
13B	13B	40	5140	40	128	2M	$1.0 \times 10^{-4}$
175B	175B	96	12288	96	128	3.2M	$0.6 \times 10^{-4}$

Tham số calculator — tương tác

8. In-context Learning (Zero / One / Few-shot)

GPT-3 phát hiện: không cần fine-tune, chỉ cần ví dụ trong prompt là model học task mới.

Brown et al. dùng từ "emergent" để mô tả: với task "remove random symbols":

• 1.3B params: zero-shot 0%, few-shot 10%
• 13B params: zero-shot 5%, few-shot 30%
• 175B params: zero-shot 5%, few-shot ~70% (gần human-level)

9. Alignment — Vấn đề misalignment

Alignment định nghĩa qua 3 tiêu chí (Askell et al., 2021):

Tiêu chí	Ý nghĩa	Đo lường
Helpful	Model giúp người dùng giải task	Labeler preference (Likert 1-7)
Honest	Model không bịa thông tin	TruthfulQA, hallucination rate
Harmless	Model không sinh nội dung độc hại	RealToxicityPrompts, CrowS-Pairs

10. Bước 1: Supervised Fine-Tuning (SFT)

10.1. Dữ liệu

OpenAI thuê 40 labelers viết demonstrations cho ~13K prompts. Distribution use cases:

10.2. Loss function (cùng cross-entropy)

Chỉ tính loss trên response $y$, không trên prompt $x$.

10.3. Hyperparameters

• Epochs: 16 (overfit val loss ở epoch 1 nhưng RM score tiếp tục cải thiện)
• Learning rate: cosine decay
• Dropout: 0.2 (residual)
• Optimizer: Adam
• Model selection: dựa trên RM score trên val set, không phải val loss

11. Bước 2: Reward Model — Bradley-Terry loss

11.1. Kiến trúc

RM = SFT model với lớp unembedding bị thay bằng linear head 1 chiều:

11.2. Bradley-Terry loss

với $\sigma$ là sigmoid, $y_w$ "winner", $y_l$ "loser". Đây là MLE của Bradley-Terry model:

$$ P(y_w \succ y_l \mid x) = \frac{e^{r(y_w)}}{e^{r(y_w)} + e^{r(y_l)}} = \sigma(r(y_w) - r(y_l)) $$

11.3. Demo Bradley-Terry tương tác

Thay đổi reward gap để xem xác suất preferences:

12. Bước 3: PPO-RLHF

12.1. Objective đầy đủ (Eq. 2 InstructGPT)

3 thành phần:

1. Reward: $r_\theta(x, y)$ — từ RM
2. KL penalty ($\beta$): kéo $\pi^{\text{RL}}$ về gần $\pi^{\text{SFT}}$, tránh reward hacking
3. PPO-ptx mix ($\gamma$): cộng pretraining loss, chống alignment tax trên public NLP datasets

12.2. KL penalty — tương tác

Xem cách reward thay đổi khi policy lệch khỏi SFT:

12.3. PPO surrogate objective

với importance ratio $\rho_t(\phi) = \pi_\phi(a_t | s_t) / \pi_{\phi_{\text{old}}}(a_t | s_t)$ và advantage $\hat{A}_t = r_t - V_\psi(s_t)$.

12.4. PPO clip — tương tác

Cách clip ngăn policy thay đổi quá lớn:

13. Inference: Sampling + KV-cache

13.1. Generation loop

y_0 = <BOS>
for t = 1, 2, ..., T_max:
    logits_t = π_φ(prompt, y_{<t})              # forward pass
    p_t = softmax(logits_t / temperature)        # temperature scaling
    y_t = sample_from(p_t)                       # token sampling
    if y_t == <EOS>: break

13.2. Temperature sampling

• $T \to 0$: argmax (deterministic)
• $T = 1$: phân bố gốc
• $T > 1$: mềm hơn, đa dạng hơn

13.3. Demo sampling — tương tác

13.4. KV-cache memory

Mỗi token sinh ra cần cache key/value cho 96 layers × 96 heads:

14. Hạn chế (Alignment Tax) + 10 điểm cốt lõi

14.1. Alignment tax

Task	GPT-3	InstructGPT (PPO)	Δ
SQuADv2	60.5	53.4	−7.1 ❌
DROP	36.5	28.6	−7.9 ❌
HellaSwag	78.9	73.4	−5.5 ❌
TruthfulQA	25%	41%	+16 ✓
Hallucinate rate	41%	21%	−20 ✓
Labeler preference	0.25	0.66	+0.41 ✓

PPO-ptx (mix pretraining gradient) giảm bớt alignment tax — giữ phần lớn năng lực ngôn ngữ gốc.

14.2. Tóm tắt 10 điểm cốt lõi

1. ChatGPT = GPT-3.5 + RLHF — 3 tầng: decoder-only Transformer + pre-training + alignment.
2. Decoder-only: bỏ encoder/cross-attention, chỉ giữ masked self-attention + FFN, Pre-LN.
3. Pre-training: next-token cross-entropy trên 300B token.
4. Scaling laws: $L(N) = (N_c/N)^{\alpha_N}$ với $\alpha_N \approx 0.076$, power law trên 7 bậc.
5. GPT-3 175B: 96 layers, $d_{\text{model}}$=12288, $h$=96, context 2048.
6. In-context learning: emergent at scale — model học task mới chỉ từ prompt.
7. RLHF Step 1 (SFT): fine-tune GPT-3 trên ~13K labeler demonstrations.
8. RLHF Step 2 (RM): 6B reward model + Bradley-Terry loss trên K-way rankings.
9. RLHF Step 3 (PPO-ptx): maximize $r_\theta - \beta \text{KL} + \gamma \log p(D_{\text{pretrain}})$.
10. KV-cache: tối ưu inference $O(T^3) \to O(T^2 d)$ — cần để serving thực tế.

Kiến trúc này đặt nền cho toàn bộ thế hệ LLM chat hiện đại. Nhiều mô hình kế tiếp dùng instruction tuning + một biến thể của alignment from feedback, nhưng KHÔNG nhất thiết cùng công thức PPO-RLHF:

• LLaMA-2: SFT + RLHF với PPO (gần InstructGPT)
• LLaMA-3: SFT + DPO (Direct Preference Optimization, không cần RM riêng)
• Claude: RLHF + Constitutional AI / RLAIF (AI feedback dựa trên hiến chương nguyên tắc)
• Gemini: instruction tuning + RLHF, pipeline cụ thể không công bố
• GPT-4: RLHF + có thể RLAIF + nhiều layer safety, chi tiết không tiết lộ

Điểm chung: đều dùng human/AI preference signal, nhưng thuật toán và scale khác nhau đáng kể.

Tham khảo

Paper chính (đầy đủ trong tài liệu)

• Brown et al. (2020). Language Models are Few-Shot Learners (GPT-3). arXiv:2005.14165
• Ouyang et al. (2022). Training language models to follow instructions (InstructGPT). arXiv:2203.02155
• Kaplan et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361

Background theoretical

• Schulman et al. (2017). Proximal Policy Optimization (PPO). arXiv:1707.06347
• Christiano et al. (2017). Deep RL from Human Preferences. arXiv:1706.03741
• Stiennon et al. (2020). Learning to summarize from human feedback. arXiv:2009.01325
• Vaswani et al. (2017). Attention Is All You Need. arXiv:1706.03762

Quan trọng để hiểu landscape LLM 2022+

• Hoffmann et al. (2022). Training Compute-Optimal LLMs (Chinchilla). arXiv:2203.15556 — Cập nhật Kaplan 2020: $D_{\text{opt}} \approx 20 N$.
• Askell et al. (2021). A General Language Assistant as a Laboratory for Alignment. arXiv:2112.00861 — Định nghĩa helpful/honest/harmless.
• Bai et al. (2022). Constitutional AI. arXiv:2212.08073 — Alignment của Claude.
• Schaeffer et al. (2023). Are Emergent Abilities of LLMs a Mirage? arXiv:2304.15004 — Phê phán "emergent abilities" qua góc nhìn metric.
• Rafailov et al. (2023). Direct Preference Optimization (DPO). arXiv:2305.18290 — Alternative cho PPO-RLHF.

Tài liệu không phải paper

• OpenAI (2022). Introducing ChatGPT. Blog post.
• OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774 — Không tiết lộ kiến trúc/dữ liệu.