#7b

Что такое параметры модели

7B, 14B, 70B — это миллиарды чисел внутри модели. Переводим их в гигабайты на диске и в памяти при разной квантизации, чтобы понять, что вообще запустится.