Προσαρμοσμένοι πάροχοι

Αυτό το έγγραφο μεταφράστηκε από τα Κινεζικά με AI και δεν έχει ακόμη ελεγχθεί.

Προσαρμοσμένοι Πάροχοι

Το Cherry Studio δεν αφορά μόνο την ενσωμάτωση κορυφαίων υπηρεσιών μοντέλων AI, αλλά σας προσφέρει επίσης ισχυρές δυνατότητες προσαρμογής. Μέσω της λειτουργίας Προσαρμοσμένοι Πάροχοι AI, μπορείτε εύκολα να συνδεθείτε με οποιοδήποτε μοντέλο AI χρειάζεστε.

Γιατί χρειάζεστε προσαρμοσμένους παρόχους AI;

• Ευελιξία: Δεν περιορίζεστε πλέον από προκαθορισμένους παρόχους, επιλέγετε ελεύθερα το μοντέλο AI που ταιριάζει στις ανάγκες σας.

• Ποικιλία: Δοκιμάστε μοντέλα AI από διαφορετικές πλατφόρμες και ανακαλύψτε τα μοναδικά τους πλεονεκτήματα.

• Ελεγχσιμότητα: Διαχειρίζεστε απευθείας τα κλειδιά API και τις διευθύνσεις πρόσβασης, διασφαλίζοντας ασφάλεια και απορρητο.

• Προσαρμογή: Συνδέστε μοντέλα με ιδιωτική ανάπτυξη για ικανοποίηση ειδικών επιχειρηματικών αναγκών.

Πώς να προσθέσετε προσαρμοσμένους παρόχους AI;

Με λίγα απλά βήματα, μπορείτε να προσθέσετε προσαρμοσμένους παρόχους AI στο Cherry Studio:

1. Ανοίξτε ρυθμίσεις: Στην αριστερή μπάρα πλοήγησης του Cherry Studio, πατήστε "Ρυθμίσεις" (εικονίδιο γραναζιού).

2. Μετάβαση σε Υπηρεσίες Μοντέλων: Στη σελίδα ρυθμίσεων, επιλέξτε την καρτέλα "Υπηρεσίες Μοντέλων".

3. Προσθήκη παρόχου: Στη σελίδα "Υπηρεσίες Μοντέλων", θα δείτε τη λίστα των υφιστάμενων παρόχων. Πατήστε το κουμπί "+ Προσθήκη" κάτω από τη λίστα για να ανοίξετε το αναδυόμενο παράθυρο "Προσθήκη Παρόχου".

4. Συμπλήρωση πληροφοριών: Στο αναδυόμενο παράθυρο, συμπληρώστε τις ακόλουθες πληροφορίες:

   • Όνομα Παρόχου: Βάλτε ένα αναγνωρίσιμο όνομα για τον προσαρμοσμένο σας πάροχο (π.χ.: MyCustomOpenAI).

   • Τύπος Παρόχου: Επιλέξτε από την αναπτυσσόμενη λίστα τον τύπο του παρόχου. Υποστηρίζονται:

     • OpenAI

     • Gemini

     • Anthropic

     • Azure OpenAI

5. Αποθήκευση ρυθμίσεων: Αφού συμπληρώσετε, πατήστε "Προσθήκη" για να αποθηκεύσετε τις ρυθμίσεις σας.

Ρύθμιση προσαρμοσμένων παρόχων AI

Μετά την προσθήκη, θα χρειαστεί να βρείτε τον πάροχο στη λίστα και να τον ρυθμίσετε λεπτομερώς:

1. Κατάσταση ενεργοποίησης Στο δεξιό άκρο της λίστας προσαρμοσμένων παρόχων βρίσκεται ένας διακόπτης ενεργοποίησης. Η ενεργοποίηση σημαίνει ότι η υπηρεσία είναι διαθέσιμη.

2. Κλειδί API:

   • Συμπληρώστε το κλειδί API (API Key) που παρέχεται από τον πάροχο AI.

   • Πατήστε το κουμπί "Έλεγχος" δεξιά για να επαληθεύσετε την εγκυρότητα του κλειδιού.

3. Διεύθυνση API:

   • Συμπληρώστε τη βασική διεύθυνση πρόσβασης API (Base URL).

   • Ανατρέξτε υποχρεωτικά στην επίσημη τεκμηρίωση του παρόχου AI για τη σωστή διεύθυνση.

4. Διαχείριση Μοντέλων:

   • Πατήστε "+ Προσθήκη" για να προσθέσετε χειροκίνητα τα αναγνωριστικά μοντέλων που θέλετε να χρησιμοποιήσετε από αυτόν τον πάροχο. Π.χ. gpt-3.5-turbo, gemini-pro κλπ.

   

   • Ανατρέξτε στην επίσημη τεκμηρίωση του παρόχου AI αν δεν είστε σίγουροι για τα ονόματα των μοντέλων.

   • Πατήστε "Διαχείριση" για επεξεργασία ή διαγραφή ήδη προσθημένων μοντέλων.

Έναρξη χρήσης

Μετά την ολοκλήρωση αυτών των ρυθμίσεων, μπορείτε στην επιφάνεια συνομιλίας του Cherry Studio να επιλέξετε τον προσαρμοσμένο πάροχο AI και το μοντέλο του για να ξεκινήσετε συνομιλία!

Χρήση του vLLM ως προσαρμοσμένου παρόχου AI

Το vLLM είναι μια γρήγορη και εύκολη βιβλιοθήκη συμπερασμάτων LLM παρόμοια με το Ollama. Ακολουθήστε τα βήματα για να το ενσωματώσετε στο Cherry Studio:

1. Εγκατάσταση vLLM: Ακολουθήστε την επίσημη τεκμηρίωση του vLLM (https://docs.vllm.ai/en/latest/getting_started/quickstart.html) για την εγκατάσταση.

   pip install vllm # εάν χρησιμοποιείτε pip
   uv pip install vllm # εάν χρησιμοποιείτε uv

2. Εκκίνηση υπηρεσίας vLLM: Ξεκινήστε την υπηρεσία χρησιμοποιώντας τη διεπαφή συμβατή με OpenAI που παρέχει το vLLM. Υπάρχουν δύο βασικοί τρόποι:

   • Χρήση του vllm.entrypoints.openai.api_server

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • Χρήση του uvicorn

   vllm --model gpt2 --served-model-name gpt2

Βεβαιωθείτε ότι η υπηρεσία ξεκίνησε επιτυχώς και ακούει στη default θύρα 8000. Μπορείτε να αλλάξετε τη θύρα χρησιμοποιώντας την παράμετρο --port.

1. Προσθήκη vLLM ως παρόχου στο Cherry Studio:

   • Ακολουθήστε τα προηγούμενα βήματα για να προσθέσετε νέο προσαρμοσμένο πάροχο AI.

   • Όνομα Παρόχου: vLLM

   • Τύπος Παρόχου: Επιλέξτε OpenAI.

2. Ρύθμιση vLLM:

   • Κλειδί API: Αφού το vLLM δεν απαιτεί κλειδί API, αφήστε το πεδίο κενό ή συμπληρώστε τυχαίο περιεχόμενο.

   • Διεύθυνση API: Συμπληρώστε τη διεύθυνση API της υπηρεσίας vLLM. Προεπιλογικά είναι: http://localhost:8000/ (τροποποιήστε ανάλογα αν χρησιμοποιήσατε διαφορετική θύρα).

   • Διαχείριση Μοντέλων: Προσθέστε το όνομα του μοντέλου που φορτώσατε στο vLLM. Στο παράδειγμα python -m vllm.entrypoints.openai.api_server --model gpt2, συμπληρώστε gpt2.

3. Έναρξη συνομιλίας: Τώρα, μπορείτε στο Cherry Studio να επιλέξετε τον πάροχο vLLM και το μοντέλο gpt2 για να συνομιλήσετε!

Συμβουλές και τεχνικές

• Προσεκτική ανάγνωση τεκμηρίωσης: Πριν προσθέσετε προσαρμοσμένους παρόχους, διαβάστε προσεκτικά την επίσημη τεκμηρίωση του παρόχου AI για βασικές πληροφορίες όπως κλειδιά API, διευθύνσεις πρόσβασης και ονόματα μοντέλων.

• Έλεγχος κλειδιών API: Χρησιμοποιήστε το κουμπί "Έλεγχος" για γρήγορη επαλήθευση των κλειδιών API.

• Προσοχή σε διευθύνσεις API: Διαφορετικοί πάροχοι AI και μοντέλα μπορεί να έχουν διαφορετικές διευθύνσεις API - συμπληρώστε πάντα τη σωστή διεύθυνση.

• Σελεκτική προσθήκη μοντέλων: Προσθέστε μόνο τα μοντέλα που πραγματικά θα χρησιμοποιήσετε, αποφεύγοντας περιττές προσθήκες.