ollamaapidoc.comThông tin chi tiết
API Ollama: Chi phí & Không kiểm duyệt Hướng dẫn Mô hình
Các mô hình ngôn ngữ lớn không kiểm duyệt rất mạnh mẽ cho các quy trình sáng tạo và kỹ thuật, nhưng việc chạy chúng cục bộ yêu cầu phần cứng và bảo trì. Hướng dẫn này giải thích các thực tế kỹ thuật về cửa sổ ngữ cảnh, trích xuất dữ liệu và chi phí suy luận đồng thời giới thiệu một giải pháp thay thế tương thích OpenAI được lưu trữ, chỉ chấp nhận tiền điện tử.
Cập nhật lần cuối
Tóm tắt
- Các mô hình Ollama cục bộ cung cấp quyền riêng tư tuyệt đối nhưng đòi hỏi RAM và tài nguyên GPU đáng kể.
- API được lưu trữ của chúng tôi phục vụ một mô hình không kiểm duyệt với giá $0.15 cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra.
- Thanh toán được xử lý độc quyền qua USDT (TRC20) hoặc USDC (Base), loại bỏ khóa đăng ký.
- API hỗ trợ streaming, gọi hàm và cửa sổ ngữ cảnh 100.000 token cho các tác vụ dữ liệu phức tạp.
Tại sao các mô hình Ollama cần một API chuyên dụng
Suy luận cục bộ yêu cầu tài nguyên phần cứng đáng kể. Việc chạy mô hình ngôn ngữ lớn trên máy của bạn sẽ tiêu thụ RAM và bộ nhớ GPU. Bạn phải tự quản lý việc tải xuống và cập nhật mô hình. API chuyên dụng chuyển gánh nặng này sang các máy chủ được lưu trữ. Cơ sở hạ tầng xử lý khả năng mở rộng và tính sẵn sàng. Bạn chỉ cần gửi yêu cầu và nhận phản hồi văn bản.
Nhà phát triển thường ưu tiên triển khai cục bộ để bảo mật. Dữ liệu không bao giờ rời khỏi phần cứng của bạn. Tuy nhiên, phương pháp này hạn chế độ đồng thời. Bạn không thể phục vụ nhiều người dùng cùng lúc mà không cần nâng cấp đắt tiền. API được lưu trữ giải quyết vấn đề mở rộng này. Nó cung cấp một điểm cuối ổn định cho các ứng dụng. Mô hình chạy trên các máy chủ chuyên dụng được tối ưu hóa cho suy luận.
API của chúng tôi cung cấp một mô hình không kiểm duyệt. Nó trả lời mà không có các từ chối nội dung tiêu chuẩn. Điều này rất lý tưởng cho văn học sáng tạo hoặc nhập vai. Endpoint tương thích với các SDK OpenAI hiện có. Bạn chỉ cần thay đổi URL cơ sở. ID mô hình là "uncensored". Cấu hình này hoạt động cho các tác vụ tạo văn bản. Nó không hỗ trợ hình ảnh hoặc âm thanh.
Chi phí của Suy luận Không kiểm duyệt
Chi phí suy luận được lưu trữ phụ thuộc vào việc sử dụng token. Giá của chúng tôi minh bạch và thanh toán trước. Bạn trả $0.15 cho mỗi 1M token đầu vào. Token đầu ra tốn $0.50 cho mỗi 1M token. Lỗi và từ chối không tiêu thụ tín dụng. Mô hình này thưởng cho việc tạo prompt hiệu quả.
- Tín dụng không bao giờ hết hạn.
- Nạp tiền bắt đầu từ $20.
- Nạp tối đa là $500.
Chúng tôi chỉ chấp nhận tiền điện tử. USDT trên TRC20 và USDC trên Base được hỗ trợ. Không có gói đăng ký hàng tháng. Bạn có thể thêm bonus với các khoản nạp lớn. Nạp $50 nhận +5% số dư. Nạp $100 nhận +10% số dư. Nạp $200 nhận +15% số dư. Cấu trúc này có lợi cho người dùng nặng. Nó giảm chi phí hiệu dụng trên mỗi token.
Mọi tài khoản mới đều nhận được $0.50 tín dụng dùng thử. Nó kéo dài trong 7 ngày. Bạn có thể kiểm tra API trước khi cam kết. Bản dùng thử cho phép bạn xác minh khả năng tương thích. Nó xác nhận rằng mô hình đáp ứng nhu cầu của bạn. Sau đó, bạn có thể mua gói tín dụng lớn hơn.
Giới hạn kỹ thuật: Cửa sổ ngữ cảnh và thông lượng
Cửa sổ ngữ cảnh xác định giới hạn bộ nhớ. API của chúng tôi hỗ trợ tổng cộng 100.000 token. Điều này bao gồm cả prompt và completion. Bạn có thể gửi các tài liệu lớn để phân tích. Mô hình giữ lại các hướng dẫn trước đó. Điều này rất quan trọng cho các nhiệm vụ dạng dài. Nó duy trì tính nhất quán qua các phản hồi.
Tối đa 16.000 token đầu ra cho mỗi yêu cầu. Nếu bạn không đặt giới hạn, giá trị mặc định là 2.048 token. Streaming qua Server-Sent Events được hỗ trợ. Bạn nhận được token khi chúng được tạo. Điều này giảm độ trễ cảm nhận. Chunk cuối cùng bao gồm thống kê sử dụng. Bạn có thể theo dõi chi phí theo thời gian thực.
Thông lượng bị giới hạn để đảm bảo công bằng. Bạn có thể gửi 300 yêu cầu mỗi phút. Tối đa 8 yêu cầu chạy đồng thời mỗi khóa. Thân yêu cầu phải dưới 8 MB. Các giới hạn này ngăn ngừa cạn kiệt tài nguyên. Chúng đảm bảo hiệu suất ổn định cho tất cả người dùng. Nếu bạn cần thông lượng cao hơn, bạn có thể yêu cầu thêm khóa. Mỗi khóa có giới hạn riêng. Điều này cho phép xử lý song song trong ứng dụng của bạn.
Trường hợp sử dụng Nhập vai NSFW
Các mô hình không kiểm duyệt xuất sắc trong các kịch bản sáng tạo. Chúng không từ chối các chủ đề người lớn. Điều này rất có giá trị cho các ứng dụng nhập vai. Người dùng muốn các tương tác nhập vai, không giới hạn. Mô hình tạo văn bản mà không phán xét đạo đức. Nó tuân theo giọng điệu và phong cách của yêu cầu. Điều này tạo ra một cuộc trò chuyện tự nhiên hơn.
Lọc nội dung có thể phá vỡ sự nhập vai. Các mô hình tiêu chuẩn thường từ chối lời nói tục tĩu nhẹ hoặc chủ đề tình dục. Mô hình của chúng tôi cho phép các yếu tố này. Nó chỉ chặn nội dung liên quan đến trẻ vị thành niên. Đây là một giới hạn cứng. Các yêu cầu thuộc loại đó sẽ bị từ chối. Mọi thứ khác đều có thể. Bạn có thể tự do khám phá các chủ đề trưởng thành.
Các nhà phát triển xây dựng bot trò chuyện được hưởng lợi từ điều này. Người dùng mong đợi hành vi nhân vật nhất quán. Mô hình duy trì tính cách. Nó không thay đổi giọng điệu giữa cuộc trò chuyện. Độ tin cậy này là chìa khóa cho sự tương tác. API hỗ trợ chế độ JSON. Bạn có thể cấu trúc đầu ra cho ứng dụng của mình. Gọi hàm cho phép tích hợp công cụ. Mô hình có thể thực hiện các hành động dựa trên hội thoại.
Quy trình Lập trình và Trích xuất Dữ liệu
Tạo mã đòi hỏi độ chính xác. Mô hình hiểu các ngôn ngữ lập trình. Nó có thể viết hàm hoặc gỡ lỗi lỗi. Nó tuân theo ngữ cảnh được cung cấp. Nếu bạn cung cấp một đoạn mã, nó có thể mở rộng nó. Điều này hữu ích cho việc tạo mẫu nhanh. Bạn có thể tạo nhanh mã khung.
Trích xuất dữ liệu là một trường hợp sử dụng mạnh mẽ khác. Việc phân tích tài liệu Word có thể khá lộn xộn. Các ký tự lạ thường làm hỏng trình phân tích cú pháp. Biểu thức chính quy giúp làm sạch văn bản. Mô hình xử lý việc làm sạch này rất tốt. Nó trích xuất văn bản liên quan. Nó bỏ qua các lỗi định dạng. Điều này tiết kiệm thời gian cho việc tiền xử lý dữ liệu.
Bạn có thể sử dụng API cho các nhiệm vụ phân loại. Nhập tài liệu và nhận nhãn. Mô hình phân tích nội dung. Nó trả về dữ liệu có cấu trúc. Điều này tích hợp với các hệ thống RAG. Bạn có thể xây dựng một cơ sở kiến thức. Cửa sổ ngữ cảnh 100.000 token cho phép tải lên các tài liệu lớn. Bạn có thể xử lý toàn bộ sách hướng dẫn trong một yêu cầu. Điều này giảm số lượng cuộc gọi API. Nó giảm chi phí tổng thể.
Câu hỏi của nhà phát triển từ Reddit
Các nhà phát triển thường hỏi về thiết lập cục bộ. Chạy Ollama trên Ryzen APU là khả thi. Hiệu suất thay đổi tùy theo phần cứng. Suy luận cục bộ tốt nhất cho quyền riêng tư. Bạn kiểm soát luồng dữ liệu. Tuy nhiên, nó yêu cầu nhiều tài nguyên. API được lưu trữ tốt hơn cho khả năng mở rộng.
Một câu hỏi phổ biến khác liên quan đến việc phân tích tài liệu. Người dùng gặp khó khăn với việc trích xuất văn bản sạch. API xử lý điều này một cách hiệu quả. Bạn gửi văn bản thô. Mô hình trả về đầu ra đã được làm sạch. Bạn không cần các quy trình regex phức tạp. Mô hình hiểu ngữ cảnh. Nó tự động xác định các phần liên quan.
Một số nhà phát triển sử dụng Ollama cho các nhiệm vụ đa phương tiện. API của chúng tôi chỉ dành cho văn bản. Nó không xử lý hình ảnh. Nếu bạn cần khả năng nhìn, bạn phải sử dụng nhà cung cấp khác. Tuy nhiên, đối với các nhiệm vụ thuần văn bản, API của chúng tôi nhanh hơn. Nó tập trung vào tốc độ và độ chính xác. Mô hình không kiểm duyệt xử lý tốt các lời nhắc tinh tế. Nó không từ chối quá mức các yêu cầu sáng tạo.
So sánh: Ollama cục bộ so với API được lưu trữ
Ollama cục bộ cung cấp quyền riêng tư dữ liệu tuyệt đối. Các lời nhắc của bạn vẫn ở trên máy của bạn. Điều này rất lý tưởng cho dữ liệu nhạy cảm. Bạn tránh được độ trễ mạng. Tuy nhiên, bạn quản lý phần cứng. Bạn xử lý các bản cập nhật mô hình. Việc mở rộng khó khăn. Bạn cần nhiều RAM hơn cho nhiều người dùng hơn.
API được lưu trữ của chúng tôi cung cấp khả năng mở rộng. Bạn có thể phục vụ hàng nghìn người dùng. Hạ tầng xử lý tải. Bạn chỉ trả tiền cho những gì bạn sử dụng. Không có phí hàng tháng. Điều này giảm chi phí cố định. Bạn có thể bắt đầu nhỏ và phát triển.
Quyền riêng biệt giữa hai phương thức. Suy luận cục bộ giữ dữ liệu ở lại máy cục bộ. Suy luận lưu trữ gửi dữ liệu đến máy chủ. API của chúng tôi không sử dụng lời nhắc để huấn luyện. Dữ liệu của bạn được xử lý nhưng không được lưu trữ để cải thiện mô hình. Đây là điểm khác biệt quan trọng. Bạn nhận được lợi ích của điện toán đám mây. Bạn giữ quyền riêng tư cho các truy vấn cụ thể của mình. Mô hình không kiểm duyệt có sẵn ở cả hai dạng. Cục bộ: bạn chạy mô hình. Lưu trữ: chúng tôi chạy nó thay bạn.
Phán quyết Cuối cùng về Giá trị
API được lưu trữ cung cấp giá trị tuyệt vời. Giá cả cạnh tranh. $0.15 cho 1M token đầu vào là thấp. $0.50 cho 1M token đầu ra là hợp lý. Mô hình trả trước ngăn ngừa hóa đơn bất ngờ. Bạn kiểm soát chi tiêu của mình. Tín dụng bonus thêm giá trị. Các khoản gửi lớn giảm chi phí hiệu dụng. Điều này có lợi cho người dùng cao cấp.
Mô hình không kiểm duyệt là một tính năng chính. Nó loại bỏ các hạn chế. Điều này rất quan trọng cho công việc sáng tạo. Người dùng nhận được các phản hồi không giới hạn. API đáng tin cậy. Nó hỗ trợ phát trực tiếp và gọi hàm. Điều này khiến nó phù hợp cho các ứng dụng sản xuất. Cửa sổ ngữ cảnh 100,000 token là một lợi thế lớn. Bạn có thể xử lý các tài liệu lớn một cách hiệu quả.
Phương thức thanh toán chỉ bằng tiền điện tử thu hút các nhà phát triển tập trung vào quyền riêng tư. Không chia sẻ thông tin ngân hàng. Các giao dịch diễn ra nhanh chóng. Tín dụng dùng thử cho phép kiểm tra dễ dàng. Bạn có thể xác minh API hoạt động cho trường hợp sử dụng của mình. Sau đó, bạn cam kết gửi một khoản tiền lớn hơn. Bước vào ít ma sát này là một lợi ích đáng kể. Nó loại bỏ rủi ro của các hợp đồng dài hạn.
Cách bắt đầu
Tạo tài khoản rất đơn giản. Nhấp vào "Nhận khóa API" trên trang web. Bạn có thể đăng nhập bằng Google. Hoặc sử dụng email và mật khẩu. Không cần số điện thoại. Email của bạn là định danh duy nhất. Điều này giữ bí mật danh tính của bạn. Khóa API được hiển thị ngay lập tức. Sao chép nó vào khay nhớ tạm của bạn.
Sử dụng khóa trong mã của bạn. Đặt URL cơ sở thành HTTPS://api.ollamaapidoc.com/v1. Gửi yêu cầu POST đến /v1/chat/completions. ID mô hình là "uncensored". Bạn có thể sử dụng SDK OpenAI. Nó hoạt động với bất kỳ máy khách tương thích nào. Quy trình thiết lập chỉ mất vài phút. Bạn có thể bắt đầu tạo văn bản ngay lập tức.
Để thêm tín dụng, hãy truy cập trang nạp tiền. Chọn USDT (TRC20) hoặc USDC (Base). Nhập số tiền từ $20 đến $500. Gửi tiền mã hóa đến địa chỉ được cung cấp. Tín dụng được thêm vào tự động. Bạn có thể bắt đầu sử dụng API ngay lập tức. Tín dụng dùng thử có sẵn từ đầu. Nó hết hạn sau 7 ngày. Hãy sử dụng nó để kiểm tra API. Sau đó, mua một gói lớn hơn để sử dụng lâu dài.
Các câu hỏi thường gặp
Tài liệu API Ollama là gì và nó khác với việc suy luận cục bộ như thế nào?
Tài liệu hướng dẫn API "ollama" đề cập đến tài liệu cho điểm cuối tương thích OpenAI do chúng tôi lưu trữ. Khác với suy luận cục bộ, nơi bạn chạy mô hình trên phần cứng của mình, API của chúng tôi phục vụ mô hình không kiểm duyệt từ máy chủ của chúng tôi. Điều này loại bỏ nhu cầu về GPU cao cấp và cho phép bạn mở rộng ứng dụng mà không cần quản lý cơ sở hạ tầng. Bạn tương tác với nó bằng các lệnh gọi API tiêu chuẩn.
Mô hình không kiểm duyệt có miễn phí không, và chi phí như thế nào?
Mô hình không miễn phí, nhưng cung cấp hệ thống tín dụng trả trước không có phí hàng tháng. Token đầu vào có giá $0.15 cho mỗi 1M token, và token đầu ra có giá $0.50 cho mỗi 1M token. Bạn chỉ trả những gì mình sử dụng. Lỗi và từ chối không tiêu thụ tín dụng. Mọi tài khoản mới đều nhận được $0.50 tín dụng dùng thử trong 7 ngày.
Làm thế nào để thanh toán cho API, và có khoản thưởng nào không?
Thanh toán được chấp nhận độc quyền qua tiền điện tử. Bạn có thể nạp bằng USDT (TRC20) hoặc USDC (Base). Nạp tiền tối thiểu là $20, và tối đa là $500. Bạn nhận được tín dụng bonus cho các khoản nạp lớn hơn: +5% cho $50, +10% cho $100, và +15% cho $200.
API có hỗ trợ phát trực tiếp và gọi hàm không?
Có, API hỗ trợ streaming qua Server-Sent Events (SSE). Bạn nhận token ngay khi chúng được tạo ra, điều này giảm độ trễ. API cũng hỗ trợ gọi hàm (công cụ) và chế độ JSON. Bạn có thể xác định các công cụ trong yêu cầu của mình, và mô hình sẽ trả về dữ liệu có cấu trúc. Điều này làm cho nó phù hợp cho các quy trình làm việc phức tạp và chatbot.
Lấy khóa của bạn trong vài giây
Đăng ký, sao chép khóa, cập nhật URL base. Đó là tất cả cấu hình cần thiết.