공부하면서 배운 것을 정리하는 기록입니다.https://ddojai.github.io/learning/https://ddojai.github.io/learning/blog/tokenization/https://ddojai.github.io/learning/blog/tokenization/LLM이 텍스트를 숫자로 바꾸는 첫 단계, 서브워드 토큰화와 BPEFri, 23 Oct 2026 00:00:00 GMT