ارائهدهنده سفارشی در بلایندگرام: Ollama، vLLM و پروکسیها
ارائهدهنده سفارشی، دستیار بلایندگرام را به هر سرور سازگار با OpenAI وصل میکند: Ollama روی رایانه خودتان، درگاه سازمانی یا پروکسی. اینجا میگوییم چه لازم دارد.
کِی «سفارشی» انتخاب درستی است
چهار ارائهدهندهٔ نامدار کار بیشتر افراد را راه میاندازند. «سفارشی» برای سه وضعیت است:
- خودتان مدلی را با Ollama، vLLM، LocalAI یا سرور llama.cpp روی رایانهای در خانه اجرا میکنید و میخواهید عکسها و پیامهایتان در شبکهٔ خودتان بماند.
- سازمان شما درگاه هوش مصنوعی داخلی با نشانی و کلید خودش دارد.
- ارائهدهندههای نامدار از شبکهٔ شما در دسترس نیستند و بهجایش از یک سرویس واسطه یا پروکسی استفاده میکنید که قالب OpenAI را میفهمد. Groq، Together AI، DeepInfra، Mistral AI و Fireworks نمونههایی از این سرویسها هستند.
در هر سه حالت برای بلایندگرام مهم نیست آن طرف کیست، تا وقتی که سرور به درخواستهای `/chat/completions` به سبک OpenAI پاسخ بدهد.
سرور چه باید داشته باشد
- نشانی `/chat/completions` در قالب OpenAI. همین برای خلاصه کردن متن و پرسشهای متنی با پرسش از هوش مصنوعی کافی است.
- مدلی که تصویر بپذیرد، اگر توصیف تصویر یا پرسش دربارهٔ عکس میخواهید. `llama3.2-vision` و `llava` نمونههایی روی Ollama هستند. مدل فقطمتنی به عکس با خطا جواب میدهد و بلایندگرام همان خطا را زیر برچسبهای فوری روی گوشی میخواند، نه که جایشان بگذارد.
- بهاختیار، نشانی `/audio/transcriptions` مثل یک سرور محلی Whisper، اگر میخواهید پیام صوتی را سرور به متن تبدیل کند، نه گوشی.
پر کردن ردیفها
۱. به تنظیمات > ناحیه بلایندگرام > دستیار > هوش مصنوعی بروید.
۲. روی ارائهدهنده بزنید و Custom (سفارشی) را انتخاب کنید. ردیف آدرس ارائهدهنده درست زیر آن ظاهر میشود؛ این ردیف فقط برای «سفارشی» وجود دارد.
۳. نشانی پایهٔ کامل را بنویسید که معمولاً به `/v1` ختم میشود، مثلاً `http://192.168.1.50:11434/v1` برای Ollama. نشانی رایانه در شبکهٔ وایفای خودتان را بنویسید، هرگز `localhost` را، که روی گوشی یعنی خود گوشی.
۴. روی کلید API بزنید و توکن سرور را وارد کنید. اگر سرور کلید نمیخواهد، عبارتی جایگزین مثل `none` تایپ کنید؛ ردیف نمیتواند خالی بماند.
۵. روی مدل بزنید و شناسه را دقیقاً همانطور که سرور میشناسد وارد کنید. اگر سرور فهرست مدل منتشر میکند، دریافت فهرست مدلها از ارائهدهنده آن را نشان میدهد؛ وگرنه از مدل دیگر… استفاده کنید.
۶. امکانات دلخواه را روشن کنید: توصیف کامل در بخش توصیف تصویر، خلاصهسازی با هوش مصنوعی در بخش خلاصهٔ صدا، خلاصه کردن پیامها در بخش خلاصهٔ متن و پرسش از هوش مصنوعی درباره هر پیام در بخش پرسش درباره پیامها. پیام یکبارهٔ رضایت، نشانی خودتان را نام میبرد.
پیام صوتی: اول سرور، بعد گوشی شما
«سفارشی» بهجز OpenAI تنها ارائهدهندهای است که ردیف مدل گفتار را نشان میدهد، چون بلایندگرام نمیتواند بداند سرور شما صدا را به متن تبدیل میکند یا نه. نام مدلی را بنویسید که نشانی تبدیل گفتار سرورتان انتظار دارد؛ در بیشتر سرورهای سازگار با Whisper همان `whisper-1` است. برای خلاصهٔ پیام صوتی، بلایندگرام اول همین مسیر را میآزماید و صدا را به سرور شما میفرستد. اگر آن نشانی وجود نداشت یا خطا داد، به مدل گفتار نصبشده در صفحهٔ ویس دستیار برمیگردد و فقط متن را میفرستد، پس خلاصه به هر حال میرسد.
حریم خصوصی با سرور خانگی
با سروری در شبکهٔ خودتان، عکسها، متنهای پیادهشده و پیامهایی که دستیار میفرستد به همان رایانه میروند و نه دورتر. هیچ چیزی به اینترنت نمیرسد. این فقط تا وقتی درست است که خود سرور محلی باشد؛ پروکسی یا سرویس واسطه محتوای شما را به هر کسی که مدل را پشت آن اجرا میکند میرساند، دقیقاً مانند یک ارائهدهندهٔ نامدار.
خطاهای رایج
- «Connection refused» یا خطای شبکه: گوشی به سرور نمیرسد. مطمئن شوید هر دو روی یک وایفای هستند، فایروال رایانه پورت را باز گذاشته و نشانی شبکهٔ رایانه را نوشتهاید، نه `localhost`.
- خطای ۴۰۴ در هر درخواست: نشانی `/v1` ندارد یا یکی اضافه دارد.
- خطا فقط روی عکسها: مدل بینایی ندارد. مدلی بارگذاری کنید که داشته باشد.
پاسخها هفت روز در گفتگوها میمانند و همان عکس یا صدا در این یک هفته دوباره فرستاده نمیشود. صفحهٔ کامل اتصال بلایندگرام به سرویس سفارشی هوش مصنوعی است و راهنمای هوش مصنوعی هر ردیف صفحه را شرح میدهد.