大型语言模型(llm)正变得越来越流行，但是它需要很多的资源，尤其时GPU。在这篇文章中，我们将介绍如何使用Python中的llama.cpp库在高性能的cpu上运行llm。 大型语言模型(llm)正变得越来越流行，但是它们的运行在计算上是非常消耗资源的。有很多研究人员正在为 ...

DeepSeek-R1是由深度求索公司开发的开源推理模型，可处理需要逻辑推理、数学问题解决和实时决策的任务。该模型的突出特性之一是能够对其逻辑进行跟踪，因此用户更容易理解其输出，并可以在必要时对其输出提出质疑。 这种透明性在要求结果可解释的领域 ...

在不断发展的大型语言模型（LLMs）领域中，用于支持这些模型的工具和技术正以与模型本身一样快的速度进步。在这篇文章中，我们将总结5种搭建开源大语言模型服务的方法，每种都附带详细的操作步骤，以及各自的优缺点。 我们首先介绍门槛最低的入门级 ...

我们很高兴地宣布，可以将基于OpenCL的全新后端用于llama.cpp项目。此项工作针对骁龙SoC中的高通Adreno GPU进行了充分优化，标志着本公司持续努力提高llama.cpp的性能和多功能性的重要里程碑；作为得到广泛认可的项目，llama.cpp针对大语言模型（LLM），并一直在开源 ...

为增强设备上的智能性，在边缘设备部署大型语言模型（LLMs）成为了一个趋势，比如微软的Windows 11 AI + PC。 目前部署的大语言模型多会量化到低比特。然而，低比特LLMs在推理过程中需要进行低精度权重和高精度激活向量的混合精度矩阵乘法（mpGEMM）。现有的 ...

在CPU上高效部署低比特大语言模型 T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。 为增强设备上的智能性 ...

T-MAC 是一种创新的基于查找表（LUT）的方法，专为在 CPU 上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重反量化，支持混合精度矩阵乘法（mpGEMM），显著降低了推理开销并提升了计算速度。 为增强设备上的智能性，在边缘设备部署大型语言模型 ...

IT之家 8 月 6 日消息，摩尔线程 MUSA 架构是 MT GPU 支持的通用计算架构，摩尔线程刚刚确认 llama.cpp 已经适配了这种计算架构，“直通全球 AI 生态圈”。 IT之家注：llama.cpp 是一个纯 C / C++ 实现的项目，旨在简化大语言模型 (LLM) 的推理过程，并在多种硬件环境下 ...