#пропускная способность памяти

LLM на процессоре: от чего зависит скорость и что тюнить

На процессоре скорость генерации упирается в пропускную способность оперативной памяти, а не в число ядер. Формула потолка, команда проверки и что из этого следует при выборе железа.