#out of memory

Модель не влезает в память: шесть вариантов по убыванию боли

Решения выстроены по цене для качества: сначала бесплатные — контекст и квантизация кэша, потом дешёвые, и только в конце смена модели. С оценкой потери на каждой ступени.