카테고리 없음 Tokenizer milab 2022. 8. 23. 00:02 https://excelsior-cjh.tistory.com/63 Chap01-1: Token, Tokenize, Tokenizer 1. Tokenizing text into sentences Tokenization이란 문자열을 여러개의 조각, 즉 여러 개의 Token(토큰)들로 쪼개는 것을 말한다. Token은 문자열의 한 조각으로 하나의 단어가 하나의 토큰이라고 할 수 있다. 1. excelsior-cjh.tistory.com 저작자표시