llama.cpp

ggml-org/llama.cpp

LLM inference in C/C++