https://excelsior-cjh.tistory.com/63
Chap01-1: Token, Tokenize, Tokenizer
1. Tokenizing text into sentences Tokenization이란 문자열을 여러개의 조각, 즉 여러 개의 Token(토큰)들로 쪼개는 것을 말한다. Token은 문자열의 한 조각으로 하나의 단어가 하나의 토큰이라고 할 수 있다. 1.
excelsior-cjh.tistory.com