Ngày nay, việc tự host (chạy cục bộ) các mô hình ngôn ngữ lớn (LLM) trên phần cứng cá nhân đã trở nên khả thi và hấp dẫn hơn bao giờ hết. Thay vì phụ thuộc vào các dịch vụ đám mây, vốn tiềm ẩn những lo ngại về quyền riêng tư dữ liệu, bảo mật thông tin và khả năng truy cập không nhất quán, cộng đồng người dùng yêu công nghệ đang ngày càng tìm đến các giải pháp tự chủ hơn. Sự phát triển vượt bậc của công nghệ đã cho phép chúng ta vận hành những mô hình AI mạnh mẽ, hoàn toàn miễn phí ngay trên các card đồ họa tiêu dùng phổ thông, mang lại sự linh hoạt và kiểm soát tối đa.
Tất nhiên, khả năng thực tế để chạy các mô hình này phụ thuộc rất nhiều vào cấu hình phần cứng của bạn, nhưng điều đáng mừng là có vô số lựa chọn ngoài kia. Với kinh nghiệm cá nhân, tôi hiện đang chạy Gemma 27B IT QAT và Qwen 2.5 Coder 32B trên chiếc AMD Radeon RX 7900 XTX của mình, đồng thời cũng thử nghiệm các mô hình nhỏ hơn cho mục đích kiểm thử cục bộ như Deepseek R1 0528 Qwen 3 8B. Quá trình này đòi hỏi không ít thời gian để tìm hiểu và thử nghiệm, và tôi đã học được nhiều bài học quý giá mà tôi ước mình biết sớm hơn, bởi nó đã giúp tôi tiết kiệm được rất nhiều thời gian cũng như nâng cấp hệ thống nhanh chóng hơn. Dưới đây là 7 bài học quan trọng nhất mà tôi đúc kết được. Một số bài học này dành cho người mới bắt đầu, nhưng cũng có những điều mà ngay cả các chuyên gia tự host AI lâu năm cũng có thể chưa biết.
7. Kích thước Model và VRAM không phải là tất cả
Băng thông bộ nhớ là yếu tố then chốt
Bài học đầu tiên mà tôi ước mình biết sớm hơn đó là kích thước mô hình không chỉ đơn thuần quyết định mức độ “thông minh” của nó, ngay cả khi các tham số của mô hình có mối liên hệ khá tuyến tính với khả năng của nó. Có một khía cạnh khác cần xem xét, đó là số lượng token được tạo ra mỗi giây. Băng thông bộ nhớ (memory bandwidth) đóng vai trò rất lớn ở đây, và đó là lý do tại sao RTX 3090 vẫn là một trong những GPU cấp tiêu dùng tốt nhất cho tác vụ inference cục bộ, bất chấp sự ra đời của 4090 và 5090. Điều này là nhờ băng thông bộ nhớ cao và chi phí thấp hơn so với các card RTX xx90 mới hơn. Mặc dù các card mới này hoạt động tốt hơn RTX 3090 ở nhiều khía cạnh, nhưng không đạt được mức độ vượt trội như mong đợi khi so sánh riêng về khả năng inference LLM. Ví dụ, RTX 5090 có thể tăng hiệu suất từ hai đến ba lần so với 3090 (mặc dù nó cũng có 32GB VRAM), trong khi RTX 4090 chỉ mang lại một nâng cấp nhỏ khi nói đến các mô hình ngôn ngữ lớn.
Mô hình ngôn ngữ DeepSeek đang chạy trên Radxa Orion O6, thể hiện khả năng inference LLM trên phần cứng biên.
Ngoài ra, còn một phần khác của phương trình cần xem xét: cửa sổ ngữ cảnh (context window). Các mô hình ngôn ngữ tính toán “vị trí” của chúng bằng cách sử dụng Rotary Positional Embeddings (RoPE) được mã hóa trong các bộ chuyển đổi (transformers), hoạt động như một thước đo toán học được đặt trên chuỗi. Việc tăng độ dài của “thước” này (cửa sổ ngữ cảnh) đồng nghĩa với việc có nhiều phép nhân hơn trong mỗi lần truyền tiến (forward pass) và bộ nhớ cache key-value lớn hơn. Tăng gấp đôi độ dài ngữ cảnh (ví dụ, từ 8K token lên 16K) có thể cắt giảm hiệu suất một nửa. Có những phương pháp mở rộng RoPE giúp mở rộng điều này hơn nữa (như NTK hoặc yaRN), nhưng việc mở rộng đó có thể làm mờ các chi tiết, làm giảm chất lượng phản hồi khi cuộc hội thoại kéo dài.
Có những cách tốt hơn để cung cấp thêm thông tin mà không làm hết cửa sổ ngữ cảnh của bạn. Tuy nhiên, dù việc cố gắng tăng độ dài ngữ cảnh để mang lại cho LLM khả năng ghi nhớ siêu việt là rất hấp dẫn, nó luôn đi kèm với một cái giá. Hiệu suất sẽ nhanh chóng suy giảm theo thời gian, và nếu bạn vượt quá VRAM và bắt đầu sử dụng RAM hệ thống, tình hình sẽ chỉ tệ hơn.
6. Lượng tử hóa (Quantization) là người bạn đồng hành của bạn
Giảm sử dụng bộ nhớ với tác động hiệu suất không đáng kể
Lượng tử hóa (Quantization) là một trong những kiến thức quan trọng nhất cần tìm hiểu khi tự host LLM, vì nó ảnh hưởng đến rất nhiều yếu tố. Về cơ bản, nó nén các số dấu phẩy động 16-bit hoặc 32-bit liên tục tạo nên một mạng nơ-ron thành ít bit hơn, lưu trữ các giá trị gần đúng “đủ tốt” cho tác vụ inference. Thực tế, lượng tử hóa số nguyên 8-bit (INT8) khá phổ biến hiện nay và thường có thể chạy mà không cần huấn luyện lại.
Để dễ hình dung, hãy xem xét phiên bản tham số 671B của mô hình DeepSeek R1, cụ thể là phiên bản lượng tử hóa 4-bit Q4_K_M. Có rất ít sự giảm chất lượng so với mô hình kích thước đầy đủ không lượng tử hóa, nhưng việc giảm dung lượng bộ nhớ lại là một vấn đề lớn. Dưới đây là cách đọc các ký hiệu:
- Qx: Đây là mức lượng tử hóa. Nó thể hiện lượng bộ nhớ được sử dụng để lưu trữ trọng số của mô hình.
- K: Liên quan đến họ k-quant (ban đầu là “k-means”/lượng tử hóa cải tiến) trong llama.cpp, sử dụng các khối được nhóm với dữ liệu tỷ lệ và giá trị tối thiểu bổ sung để có độ chính xác tốt hơn.
- M: Liên quan đến việc tensor nào nhận các định dạng con có độ chính xác cao hơn, có thể là S, M hoặc L (small, medium, large).
Như vậy, Q4_K của mô hình Deepseek R1 ban đầu (không phải 0528) có kích thước khoảng 400GB. Vậy còn Q6_K và Q8_0 thì sao? Chúng có kích thước lần lượt khoảng 550GB và 713GB, nhưng sự khác biệt về hiệu suất kỹ thuật giữa chúng lại rất nhỏ. Điều này có nghĩa là một mô hình về mặt lý thuyết yêu cầu 713GB RAM để chạy có thể chạy trên một máy có ít hơn 500GB RAM, đây là một lợi thế cực kỳ lớn. Chuyển từ Q8 sang Q4 sẽ thấy mức sử dụng bộ nhớ giảm gần một nửa, nhưng nhờ công nghệ nền tảng của việc triển khai các mô hình ngôn ngữ cục bộ, chất lượng vẫn gần như tương đương. Về cơ bản, nó sử dụng một tensor dấu phẩy động nén cùng với siêu dữ liệu, có nghĩa là nó có thể tái tạo các giá trị trong thời gian chạy, dẫn đến kết quả tương tự như một mô hình lớn hơn nhưng với bộ nhớ thấp hơn nhiều.
Mô hình DeepSeek chạy trên Mac Studio M3 Ultra, minh họa việc tối ưu hóa LLM trên thiết bị Apple.
Tuy nhiên, lượng tử hóa quá mức cũng có những nhược điểm, chẳng hạn như lỗi tái tạo cao hơn. Điều này có nghĩa là các từ hiếm hoặc lý luận số tinh tế có thể thất bại khi mọi phép toán đều bị làm tròn. Mặc dù vậy, việc tiết kiệm VRAM và băng thông theo cấp số nhân thường lớn hơn so với việc mất độ chính xác đôi khi, đặc biệt đối với các trường hợp sử dụng “cơ bản” hơn. Sự đánh đổi hiệu suất rất nhỏ này sẽ giúp bạn có thể chạy một mô hình lớn hơn so với khả năng ban đầu. Hơn nữa, gần như chắc chắn rằng một mô hình nhỏ hơn sẽ có hiệu suất tệ hơn ở mọi khía cạnh so với phiên bản lượng tử hóa của mô hình lớn hơn.
5. Đừng quên tính đến chi phí điện năng
Cùng với chi phí phần cứng ban đầu
Mặc dù việc tự host LLM có vẻ là một cách tiết kiệm chi phí để có được khả năng inference cục bộ tốt, nhưng nhiều người quên mất các hóa đơn tiền điện và các chi phí khác có thể phát sinh khi triển khai một LLM chạy tại chỗ. Ví dụ, một card đồ họa RTX 4090 có TDP (công suất thiết kế nhiệt) là 450W. Với chi phí điện trung bình tại Việt Nam, nếu chạy hết công suất liên tục, bạn có thể phải trả thêm một khoản đáng kể cho hóa đơn tiền điện hàng tháng.
Hình ảnh cận cảnh bộ nguồn (PSU) bên trong máy tính chơi game, nhấn mạnh chi phí năng lượng khi chạy LLM tự host.
Rõ ràng, hầu hết mọi người sẽ không chạy ở công suất tối đa liên tục, nhưng ngay cả việc sử dụng thường xuyên trong ngày cũng có thể cộng dồn nhanh chóng. Đôi khi, tổng chi phí này có thể còn đắt hơn so với việc sử dụng các API của Gemini hoặc OpenAI để truy cập các mô hình mạnh hơn đáng kể.
Vấn đề này còn trở nên phức tạp hơn nếu bạn muốn sử dụng nhiều GPU cho inference, và đó là chưa kể đến việc phân phối điện mà bạn sẽ cần tính toán, hệ thống tản nhiệt tùy chỉnh, và bất kỳ phần cứng nào khác bạn cần mua thêm. Tôi đã từng nghe nhiều người nói rằng họ có thể tiết kiệm tiền bằng cách tự host mô hình của riêng mình thay vì trả tiền cho ChatGPT Plus hoặc gói AI của Google One. Điều này có thể đúng trên lý thuyết, nhưng khi bạn cộng thêm chi phí của GPU và các phần cứng khác, bạn có thể thấy mình chi tiêu nhiều hơn về lâu dài.
4. Không chỉ tập trung vào Nvidia
Intel và AMD cũng là những lựa chọn tuyệt vời
Mặc dù đây là một sự phát triển tương đối gần đây, Nvidia không còn là nhà cung cấp duy nhất trong cuộc chơi tự host LLM nữa. Như tôi đã đề cập, tôi đang sử dụng AMD Radeon RX 7900 XTX cho các mô hình tự host của mình, và tôi cũng đã thử nghiệm Intel Arc A770 với 16GB VRAM.
AMD hiện đã được hỗ trợ chính thức trong các công cụ như Ollama, và mặc dù cần một chút công sức hơn, bạn vẫn có thể sử dụng GPU Intel thông qua phiên bản Ollama được tối ưu hóa cho IPEX LLM.
Card đồ họa Intel Arc A770 với 16GB VRAM, cho thấy tiềm năng của GPU Intel trong việc tự host LLM.
Trong khi Nvidia chắc chắn vẫn thống trị về tốc độ tạo token mỗi giây, thực tế là các GPU của Nvidia đang rất được săn đón, khiến bạn khó có thể mua được một card Nvidia cao cấp cho hệ thống của mình. Một chiếc A770 sẽ mang lại hiệu suất khá tốt khi chạy các mô hình ngôn ngữ, và tôi đã rất hài lòng với chiếc 7900 XTX của mình. Ngay cả khi chạy mô hình Gemma 27B, tôi vẫn thấy tốc độ tạo token hơn 30 token mỗi giây. Hơn nữa, nó có 24GB VRAM, chỉ bị vượt qua bởi RTX 5090 và ngang bằng với RTX 4090, trong khi chi phí lại thấp hơn đáng kể.
Nvidia chắc chắn là lựa chọn ưu tiên, nhưng nếu một chiếc card Nvidia nằm ngoài khả năng tài chính, hãy cân nhắc xem xét các lựa chọn từ AMD và Intel. Hãy nghiên cứu hiệu suất của chúng cho loại mô hình bạn muốn chạy và xem liệu có chiếc card nào phù hợp với nhu cầu của bạn không. Bạn có thể sẽ ngạc nhiên với những gì chúng có thể làm.
3. Prompt Engineering và sử dụng công cụ giúp tận dụng model nhỏ
Không chỉ đơn thuần tăng tham số mô hình
Nếu bạn đang chạy một mô hình nhỏ hơn và muốn có hiệu suất tốt hơn từ nó, đừng chỉ đơn thuần chuyển đổi sang các mô hình khác với hy vọng rằng vài tỷ tham số bổ sung sẽ giải quyết mọi vấn đề. Thay vào đó, có một vài mẹo hữu ích, và điều đầu tiên là hãy suy nghĩ lại về các prompts (lời nhắc) của bạn. Một prompt ngắn gọn, trực tiếp và toàn diện sẽ mang lại kết quả tốt hơn so với một prompt mơ hồ, mở. Chỉ vì bạn đã quen với Gemini, ChatGPT hay Claude, những mô hình có thể hoạt động tốt với các prompt mơ hồ, không có nghĩa là bạn có thể tiếp cận một mô hình nhỏ hơn đáng kể đang chạy trên máy tính hoặc máy chủ tại nhà của bạn theo cùng một cách. Nếu bạn trực tiếp và đi thẳng vào vấn đề, các mô hình của bạn có thể sẽ hoạt động hiệu quả hơn đáng kể, vì vậy hãy xem xét lại các prompt của bạn nếu câu trả lời bạn nhận được không đủ tốt.
Mẹo tiếp theo là tận dụng Retrieval Augmented Generation (RAG), hay còn gọi là Tạo Sinh Tăng Cường Truy Xuất. RAG cung cấp cho mô hình của bạn một bộ dữ liệu mà nó có thể dựa vào để đưa ra câu trả lời, dẫn đến độ chính xác cao hơn trong các phản hồi mà không cần tải toàn bộ độ dài ngữ cảnh của mô hình với mọi thông tin có liên quan tiềm năng. Vì nó lấy dữ liệu thực tế tồn tại trên thiết bị, nó cũng giảm xu hướng “hallucination” (tạo ra thông tin sai lệch), vốn có thể là một vấn đề đối với các mô hình nhỏ hơn. Rõ ràng, RAG sẽ không giải quyết mọi vấn đề (cũng như nó sẽ không mang lại cho mô hình 7B tham số tất cả khả năng của mô hình 70B tham số), nhưng nó có thể cải thiện đáng kể hiệu suất nếu mục tiêu chính của bạn khi sử dụng LLM là truy vấn dữ liệu. Chat with RTX của Nvidia là một minh họa tuyệt vời về cách RAG có thể tăng tốc inference cục bộ.
Mẹo cuối cùng là sử dụng công cụ (tools). Công cụ trong ngữ cảnh của LLM là các tiện ích phần mềm được thiết kế để mô hình vận hành và có thể được gọi khi cần thiết. Ví dụ, JSON Toolkit cung cấp cho LLM khả năng khám phá một phản hồi JSON một cách lặp đi lặp lại mà không làm lãng phí ngữ cảnh quý giá với dữ liệu không hữu ích cho truy vấn thực tế được đưa ra. Điều tương tự cũng xảy ra với công cụ Pandas Dataframe; thay vì tải toàn bộ dataframe vào ngữ cảnh, LLM có thể sử dụng công cụ Pandas Dataframe để chạy mã Python sẽ tìm ra câu trả lời, bỏ qua việc phải xem xét toàn bộ dữ liệu. Có rất nhiều loại công cụ khác nhau mà bạn có thể sử dụng, và trong nhiều trường hợp, không nhất thiết phải “cưỡng bức” sự thông minh bằng cách chỉ sử dụng một mô hình lớn hơn.
2. Mô hình Mixture of Experts (MoE) cho phép chạy model lớn với VRAM hạn chế
Mặc dù cần một chút công sức ban đầu
Các mô hình ngôn ngữ Mixture-of-Experts (MoE) tương đối mới mẻ, nhưng khái niệm này trong AI đã có từ hàng thập kỷ và đã được sử dụng trong các ngữ cảnh học sâu cho nghiên cứu và tính toán. Các mô hình này về cơ bản phân chia một mạng lưới “chuyên gia” với một cổng nhẹ quyết định chuyên gia nào sẽ xử lý nhiệm vụ nào. Điều này không có nghĩa là dung lượng bộ nhớ của nó ít hơn một mô hình khác có cùng lượng tử hóa và số lượng tham số. Tuy nhiên, điều đó có nghĩa là bạn có thể tinh chỉnh việc tải mô hình để các tensor ít được truy cập hơn sẽ được offload sang RAM hệ thống, chừa chỗ trong VRAM của GPU cho các tensor mà chúng ta muốn truy cập thường xuyên.
Các phản hồi của mô hình Mistral AI trên Raspberry Pi 5, minh họa khả năng chạy LLM trên phần cứng nhúng.
Đây là một chủ đề phức tạp hơn đáng kể, và không thực sự là một mẹo mà những người mới bắt đầu nên cố gắng nắm bắt ngay lập tức. Tuy nhiên, điều quan trọng là phải biết rằng nếu bạn thấy mình bị hạn chế bởi VRAM, có những giải pháp có thể giảm tác động đến hiệu suất khi nói đến các mô hình MoE. Cũng có rất nhiều mô hình MoE khác nhau ngoài kia, và một khi bạn đã làm quen với công cụ yêu thích của mình, bạn có thể bắt đầu khám phá tùy chọn này nhiều hơn một chút để chạy các mô hình lớn hơn nữa trên máy của mình theo cách tận dụng tối đa VRAM và offload các phần ít được truy cập nhất của mô hình sang RAM hệ thống.
1. Bắt đầu đơn giản
LM Studio là điểm khởi đầu tuyệt vời
Thay vì đi sâu vào thiết lập các công cụ như Ollama và Open Web UI, vốn có thể gây nản lòng cho người mới tự host LLM lần đầu, hãy sử dụng một giao diện đồ họa (front-end) như LM Studio để bắt đầu. Nó cực kỳ đơn giản; bạn chỉ cần sử dụng tính năng tìm kiếm tích hợp để tìm một mô hình, tải xuống và chạy nó. Bạn không cần thực hiện bất kỳ cấu hình phức tạp nào, LM Studio giống như một giải pháp “cắm và chạy” khi nói đến LLM. Nó đi kèm với tất cả các thư viện bạn cần để tận dụng tối đa phần cứng của mình và hoạt động trên Windows, Linux và macOS, giúp loại bỏ mọi khó khăn trong việc tìm hiểu chính xác những gì bạn cần để chạy một LLM trên hệ thống.
Thậm chí tốt hơn, đối với mục đích phát triển, LM Studio có thể host một máy chủ tương thích OpenAI ở chế độ nền, vì vậy bạn có thể sử dụng nó để kiểm tra các ứng dụng hoặc công cụ của riêng mình mà hiểu API OpenAI bằng cách trỏ chúng đến điểm cuối được host cục bộ của bạn. Nó dễ dàng, miễn phí và là một cách tuyệt vời để bắt đầu và cảm nhận việc tự host LLM của riêng bạn trước khi triển khai một giải pháp phức tạp hơn. Tất cả các cài đặt chính mà bạn muốn sửa đổi, từ system prompts đến độ dài ngữ cảnh, đều có thể điều chỉnh được, vì vậy đây là một điểm khởi đầu lý tưởng cho bất kỳ ai muốn khám phá thế giới AI cục bộ.
Việc tự host mô hình ngôn ngữ lớn mang lại nhiều lợi ích về quyền riêng tư, kiểm soát và khả năng tùy chỉnh. Tuy nhiên, để tối ưu hóa trải nghiệm và đạt được hiệu suất tốt nhất khi chạy AI tại nhà, việc trang bị kiến thức kỹ thuật là vô cùng cần thiết. Từ việc hiểu rõ vai trò của băng thông bộ nhớ và lượng tử hóa, cân nhắc chi phí vận hành, đến việc khám phá các lựa chọn GPU đa dạng và áp dụng kỹ thuật prompt engineering thông minh, mỗi bài học đều góp phần giúp bạn tận dụng tối đa tiềm năng của các mô hình AI cục bộ. Đừng ngại bắt đầu với những công cụ đơn giản như LM Studio và từng bước đi sâu vào các khái niệm phức tạp hơn như mô hình Mixture of Experts. Với sự kiên trì và tìm hiểu đúng hướng, bạn sẽ có thể xây dựng một hệ thống AI mạnh mẽ và hiệu quả ngay trên phần cứng của mình. Hãy chia sẻ kinh nghiệm của bạn hoặc đặt câu hỏi trong phần bình luận bên dưới, chúng ta hãy cùng nhau xây dựng cộng đồng yêu công nghệ Việt Nam ngày càng vững mạnh!
