
Токенизатор нейросети Gigatoken на Rust обрабатывает текст на 24 ГБ/с: в 989 раз быстрее HuggingFace
Аспирант Стэнфорда Марсель Рёд 21 июля 2026 года выпустил Gigatoken, токенизатор нейросети на Rust, который обрабатывает текст со скоростью 24,53 ГБ/с и…



