llama.cpp

unslothai/llama.cpp

LLM inference in C/C++