Popular repositories Loading

1. ninfer-line-8090-single-card ninfer-line-8090-single-card Public

   本地推理生产线①：NInfer 单卡长上下文线（引擎内建 KVMem 分页 KV 池）

   C++

2. ninfer-line-8091-dual-card-tp2 ninfer-line-8091-dual-card-tp2 Public

   本地推理生产线②：NInfer 双卡 TP2 主力线（MTP 投机 + 前缀复用 + 受限解码）

   C++

3. strata-line-8080-125b-moe strata-line-8080-125b-moe Public

   本地推理生产线③：Strata 125B MoE 双卡 layer-split 线

   C++

4. local-ai-production-lines local-ai-production-lines Public

   本地推理三线（NInfer 单卡 KVMem / NInfer 双卡 TP2 / Strata 125B MoE）的按需编排路由器 + systemd 单元 + 手册；不含模型与引擎源码

   Python