#llama-server

llama.cpp server: свой OpenAI-совместимый эндпоинт

Одна команда поднимает локальный эндпоинт, к которому подключается любой клиент, ожидающий API OpenAI. Пример запроса и таблица полей, которые действительно поддерживаются.