Ollama cho Mac 0.40.12 Chạy mô hình AI và LLM cục bộ trên Mac
Ollama là công cụ cho phép người dùng chạy nhiều mô hình ngôn ngữ lớn (LLM) trực tiếp trên máy Mac. Nhờ đó, bạn có thể tương tác với các mô hình AI ngay trên máy tính thông qua dòng lệnh hoặc kết nối với những giao diện đồ họa tương thích. Tốc độ xử lý phụ thuộc vào cấu hình phần cứng của máy và kích thước mô hình được sử dụng.
Tính năng chính của Ollama cho Mac
Chạy Meta Llama 3 và các mô hình khác trên máy Mac
Ollama giúp bạn dễ dàng tải xuống và chạy các mô hình như Phi, Mistral, Gemma, Llama 2 và Llama 3 trên máy tính. Để sử dụng Llama 3, bạn chỉ cần mở Terminal và nhập lệnh ollama run llama3 để tải mô hình nếu cần và bắt đầu sử dụng. Tuy nhiên, hãy đảm bảo ổ đĩa còn đủ dung lượng trống, vì một số mô hình có thể chiếm vài GB hoặc nhiều hơn, tùy phiên bản và kích thước.
Các cuộc trò chuyện có khả năng duy trì ngữ cảnh
Ollama Mac hỗ trợ chạy các mô hình có khả năng xử lý hội thoại dựa trên ngữ cảnh. Khi được sử dụng thông qua ứng dụng hoặc giao diện tương thích, lịch sử câu hỏi và câu trả lời có thể được cung cấp cho mô hình để duy trì mạch hội thoại. Cách thức lưu trữ và sử dụng lịch sử trò chuyện phụ thuộc vào ứng dụng giao diện cũng như cấu hình cụ thể.
Cài đặt giao diện trực quan cho Ollama trên máy Mac
Bạn có thể kết hợp Ollama với Open WebUI để sử dụng các mô hình AI thông qua giao diện web trực quan thay vì chỉ làm việc với dòng lệnh. Một cách triển khai là sử dụng Docker để chạy Open WebUI bằng lệnh sau:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Sau khi khởi chạy thành công, bạn có thể mở http://localhost:3000 trong trình duyệt để truy cập giao diện. Hãy đảm bảo Ollama đang hoạt động và Open WebUI được cấu hình để kết nối với dịch vụ Ollama trên máy tính.
Tải Ollama cho máy Mac để chạy các mô hình LLM cục bộ, thử nghiệm những công cụ AI và tích hợp chúng vào quy trình làm việc của bạn.
