GGML 與 llama.cpp 加入 HF，確保本地 AI 的長期發展

GGML 與 llama.cpp 加入 HF，確保本地 AI 的長期發展

Georgi Gerganov 及其團隊正在加入 HF，目標是在未來幾年本地 AI 持續呈指數級進步之際，擴大並支持 ggml 和 llama.cpp 背後的社群。

我們與 Georgi 及其團隊已經合作了相當長一段時間（我們的團隊中甚至已經有了像 Son 和 Alek 這樣優秀的 llama.cpp 核心貢獻者），因此這是一個非常自然的過程。

llama.cpp 是本地推理的基礎基石，而 transformers 是模型定義的基礎基石，所以這基本上是天作之合。❤️

對於 llama.cpp、開源專案及社群會有什麼變化？

變化不大 —— Georgi 及其團隊仍將投入 100% 的時間維護 llama.cpp，並在技術方向和社群領導上擁有完全的自主權。
HF 正在為該專案提供長期的永續資源，增加專案成長與繁榮的機會。該專案將繼續保持 100% 開源並由社群驅動，一如既往。

技術重點

llama.cpp 是本地推理的基礎基石，而 transformers 是模型與架構定義的基礎基石，因此我們將致力於確保未來能盡可能無縫地（幾乎是「一鍵式」）將新模型從作為模型定義「單一事實來源」的 transformers 函式庫發佈到 llama.cpp 中。

此外，我們將改進基於 ggml 軟體的封裝和使用者體驗。隨著我們進入本地推理成為雲端推理有意義且具競爭力的替代方案的階段，改進並簡化一般使用者部署和存取本地模型的方式至關重要。我們將致力於讓 llama.cpp 變得無處不在且隨處可用。

我們的長期願景

我們的共同目標是在未來幾年內，為社群提供建構模組，讓全世界都能觸及開源超智能（superintelligence）。

我們將與日益壯大的本地 AI 社群共同實現這一目標，持續打造在我們設備上運行效率最高的終極推理技術棧。

更多來自我們部落格的文章

Codex 正在開源 AI 模型

我們讓 Claude 微調了一個開源大語言模型（LLM）

社群

·
註冊或
登入以發表評論