Тег
#токенизация
Статьи блога Persona с тегом «токенизация» — 3 материалов.
Статей с тегом: 3
Технологии
Что такое токенизация
Токенизация — правило, по которому текст режется на куски перед подачей в модель. У каждой модели оно своё, поэтому один и тот же запрос у разных провайдеров стоит по-разному.
ОсновыИИ-ассистент на русском: какие модели реально говорят по-русски
«Отвечает по-русски» и «думает по-русски» — разные вещи, и разница видна в токенизации и в счёте за API. Методика самопроверки и таблица расхода на одинаковом тексте.
ГайдыКак выбрать модель для русского языка
Четыре проверочных промпта на падежи, аббревиатуры, канцелярит и транслитерацию отсеивают модели за полчаса — быстрее и точнее любого англоязычного рейтинга.
На этой странице совпадений нет
Живой фильтр ищет только по загруженным карточкам. Нажмите «Найти», чтобы искать по всему блогу.