IT之家 5 月 17 日消息，科技媒体 WinBuzzer 昨日（5 月 16 日）发布博文，报道称开源大语言模型服务工具 Ollama 推出自主研发的多模态 AI 定制引擎，摆脱对 llama.cpp 框架的直接依赖。

　　llama.cpp 项目近期通过 libmtmd 库整合了全面视觉支持，而 Ollama 与其关系也引发社区讨论。

　　因此 Ollama 推出全新引擎，针对在本地推理精度上实现突破，尤其是在处理大图像生成大量 token 时表现突出。

　　Ollama 引入图像处理附加元数据，优化批量处理和位置数据管理，避免图像分割错误导致输出质量下降，此外，KVCache 优化技术加速了 transformer 模型推理速度。

　　新引擎还大幅优化内存管理新增图像缓存功能，确保图像处理后可重复使用，避免提前丢弃。Ollama 还联合 NVIDIA、AMD、Qualcomm、Intel 和 Microsoft 等硬件巨头，通过精准检测硬件元数据，优化内存估算。

　　Ollama 未来计划支持更长的上下文长度、复杂推理过程及工具调用流式响应，进一步提升本地 AI 模型的多功能性。

　　特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

　　35岁女游客高反离世 稻城亚丁景区：她走的金刚挑战线万理财款提现时变成了牛肉 项目8年吸金5个亿

　　35岁女游客高反离世 稻城亚丁景区：她走的金刚挑战线万理财款提现时变成了牛肉 项目8年吸金5个亿

　　国补1699元起卖爆！REDMI Turbo 4 Pro销量突破100万台 上市不到一个月