黃琪婕CHICHIEH HUANG · GEN AI

文章技術語音・Avatar丘陵 · HILLS

互動式 AI 虛擬助理教學：LLMAvatarTalk

日期2024.06.17

字數449

閱讀約 1 分鐘

圖表3 圖

黃琪婕Generative AI 產品開發 · 技術寫作

位置圖語音・Avatar丘陵一帶

2 週

全圖

簡介

最近受邀參加了由 NVIDIA 和 LangChain 舉辦的比賽，我在比賽中開發了一個互動式 AI 虛擬助理專案 — — LLMAvatarTalk: An Interactive AI Assistant。這個專案整合了先進的 AI 技術，讓你可以跟你所創建的 AI 虛擬助理流暢聊天，並感受到它如真人般的面部表情。

這個專案已經放在 GitHub 上，每個步驟我都有寫詳細的逐步教學。如果你對這個專案感興趣或有任何建議，歡迎查看或提交 issue 或 PR；而若這個專案有幫助到你，請不吝嗇點個 Star 支持一下，感謝大家。

另外由於這是 NVIDIA 與 LangChain 的比賽，因此我全部使用 NVIDIA 與 LangChain 的相關技術實作，你也可以依據你的需求，整合進不同的技術。

LLMAvatarTalk: An Interactive AI Assistant - DEMO

功能特色

語音識別 ：使用 NVIDIA RIVA ASR 技術，將用戶的語音即時轉換成文字。
語言處理 ：利用 NVIDIA NIM APIs 和先進的 LLM（如 llama3–70b-instruct）進行深入的語義理解和回應生成。
文字到語音 ：通過 NVIDIA RIVA TTS 將生成的文字回應轉換成自然的語音輸出。
面部動畫 ：使用 Audio2Face 技術根據語音輸出生成逼真的面部表情和動畫。
虛幻引擎整合 ：利用 Unreal Engine 的 Metahuman 與 Audio2Face 實現實時連結，增強虛擬角色的表現力。
LangChain ：簡化 NVIDIA RIVA 和 NVIDIA NIM API 的集成，為 AI 開發提供無縫且高效的工作流程。

架構

支持鼓勵

如果文章對你有幫助，或願意鼓勵我持續創作，可以幫文章拍手，或點擊下方連結請我喝一杯咖啡，感謝支持!

圖 3Post converted from Medium by ZMediumToMarkdown.

#llm#nvidia#avatar#tutorial#中文#AI Avatar & 虛擬人偶

本段終點

這段路 449 字，走完了。

RSS 訂閱回到地圖

電子報

下一篇寫好時，寄給你。

新文章上站時寄一封信，不寄別的。隨時一鍵退訂。

附近的石堆 · 地圖上離這篇最近的文章

RAG盆地相距 32 天 Knowledge Graph + RAG | Microsoft GraphRAG 實作與視覺化教學 探索 Microsoft GraphRAG 結合 Knowledge Graph 與 RAG 的強大技術，提升模型答案品質。了解其實作與視覺化教學，掌握實作步驟與最佳方法，讓您的企業問答系統更精確高效。立即閱讀，快速上手 GraphRAG，掌握資料檢索和問答技術的最新發展。 RAG盆地相距 12 天 深入解析 RAG 評估框架：TruLens, RGAR, 與 RAGAs 的比較 隨著 RAG 日益發展，有許多 RAG 的變形架構出現，使其成為一個越來越複雜的系統，需要全面性的評估方可監控其效能，提供後續的商業價值。因此，本文旨在探討我們如何全面且廣泛性的評估 RAG 系統，以及 RAG 評估框架的未來方向。 RAG盆地相距 102 天 RAG 優化技巧| 7 大挑戰與解決方式 | 增進你的 LLM 儘管 LLM + RAG 的能力已經令人驚嘆，但我們在使用 RAG 優化 LLM 的過程中，還是會遇到了許多挑戰與難題，包括但不限於檢索器返回不準確或不相關的資料，以及LLM基於錯誤或過時資訊生成答案的情況，因此本文旨在提出 RAG 常見的 7 大挑戰，與其各自的優化方案。

測繪者

黃琪婕

做 Generative AI 產品，也把它寫成中文。最近在研究 Agent Memory，並放回 Cairn 裡實作對照。