Nvidia 하드웨어에서 llamacpp 추론 성능의 90%를 구현하는 Java vLLM 스타일 프레임워크

Java vLLM-like framework claim 90% perfomance of llamacpp inference on Nvidia HW