📝온디바이스
서버나 클라우드에 연결할 필요 없이 로컬에서 자체적으로 정보를 처리할 수 있는 것
📝SFT(Supervised Fine-Tuning)
지도학습으로 모델을 특정한 데이터셋에 맞춰 미세 조정하는 과정으로 사전에 준비된 입력(Input)과 정답(Output) 쌍을 모델에게 학습시키는 방식이다. 모델이 올바른 답변을 예측하도록 지도 데이터(Label)가 있는 데이터셋을 사용
📝RL(Reinforcement Learning)
모델이 행동(Action)을 수행하고 이에 대한 보상(Reward)을 받으면서 학습하는 방식으로 정답이 직접 주어지는 것이 아니라, 보상을 기반으로 최적의 행동을 찾아간다. 그리고 나온 결과를 다시 입력하는 방식을 이용한다.
📝RLHF (Reinforcement Learning from Human Feedback)
강화학습할 때 사람의 피드백으로 보상을 활용하는 방식으로 "좋은 답변"을 사람이 직접 골라주는 RL 방식
📝 프론티어 모델
가장 앞선(Frontier) 수준의 인공지능 모델을 의미하며, 보통 최첨단 대형 AI 모델을 지칭하는 용어입니다.
예를 들면 현재 수준에서는 GPT-4, GPT-5를 의미한다. 얘네가 있어야 다음 시리즈를 만들 때 더 좋은 성능을 낸다.
📝 스케일링법칙
AI 모델이 커질수록(더 많은 파라미터, 데이터, 연산량을 사용할수록) 성능이 예측 가능한 방식으로 향상된다는 경험적인 법칙 예를 들면 모델 크기(파라미터 수) 증가 → 성능 비약적 향상
📝 FP32, FP16, FP8, FP4
FP란 Floating Point로 부동소수점(소수점이 있는 실수 표현 가능)을 의미한다. 뒤에 숫자는 비트를 의미하며 더 숫자가 클수록 비트가 커져서 더 많은 데이터를 보관해 정밀도가 올라가지만 연산 속도가 느려지게 된다.
📝 토큰 가격
AI에서 제공하는 API를 사용할 때 입력과 출력에 따라 부과되는 비용