开源工具支持游戏显卡本地运行290B大模型
该开源工具可在普通游戏显卡上运行大参数模型，采用CPU与GPU协同运行模式，搭配专家缓存策略、语义感知缓存机制，支持运行过程中动态调整内存配置，兼容RTX 30、40、50系显卡，可本地完成全部操作保障数据不出域。