如何從 HuggingFace 下載模型

如何從 HuggingFace 下載模型

Hugging Face 是一家引領機器學習和人工智慧領域的創新公司，專注於自然語言處理（NLP），代表模型是家喻戶曉的 transformers 庫。Hugging Face 是開源的，授權是 Apache-2.0 license，也就是免費同時也可以商用，這個特性鼓勵了全球社群的合作與知識共享，使其社群分常強大。

現今許多 LLM 的模型都發布在 Hugging Face 上，如果有想要玩 LLM 模型，推薦一定要學會如何使用 Hugging Face。

步驟1. 找到你想要下載的庫

例如我想下載基於 llama2 的 fine tuning 的中文對話 model

步驟2. 點選 Files and versions

步驟3. 下載

有兩種方法可以下載模型：直接下載或使用 Git clone。這取決於你的需求和項目的性質。例如，如果你僅需模型的一部分或特定文件，直接下載是個不錯的選擇。而如果你計劃長期使用或需要完整的庫，則建議使用 Git clone。

方法a) . 點選下載

適合你只想載某個特定的東西，直接點選下載便可以。

方法b) . Git clone

使用 git 把該庫 clone 下來，點選 Clone repository 就可以看到如何在下載

只要輸入上述指令，便可以輕鬆下載：

git lfs install
git clone https://huggingface.co/hfl/chinese-llama-2-7b

你可以選擇使用 GIT_LFS_SKIP_SMUDGE=1，這種方式只會下載小檔案，而 git lfs 儲存的大文件，會儲存一個文字的 pointer file。因此在有非常多大檔案且想要指定下載，或有網路傳輸考量時，可以使用這種方式：

• 一樣先將將庫 clone 下來
• 手動 pull 想要的檔案， — include="*.bin" 代表我要將所有 .bin 的檔案下載下來，可以依據你的需求改變

git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/hfl/chinese-llama-2-7b
git lfs pull --include="*.bin"

Error

如果在 clone 時遇到以下錯誤的話：

fatal: 'lfs' appears to be a git command, but we were not
able to execute it. Maybe git-lfs is broken?

需要下載 git-lfs，使用下面的指令便可正常運作：

sudo apt install git-lfs
git lfs install

通過以上步驟，你便能夠成功地從 Hugging Face 下載所需的模型。Hugging Face 不僅提供了一個龐大的模型庫，還創建了一個支持知識共享和合作的強大社區。無論你是研究人員、開發人員還是對 AI 技術感興趣的愛好者，學會如何有效地使用 Hugging Face 將大大提高你在機器學習領域的工作效率和創新能力。

Follow me on Medium

---