Proveedor de servicios personalizado

Este documento ha sido traducido del chino por IA y aún no ha sido revisado.

Cherry Studio no solo integra servicios de modelos de IA líderes, sino que también te brinda poderosas capacidades de personalización. A través de la función Proveedores de IA personalizados, puedes integrar fácilmente cualquier modelo de IA que necesites.

¿Por qué necesitas proveedores de IA personalizados?

• Flexibilidad: Sin limitaciones por listas predefinidas de proveedores, elige libremente el modelo de IA que mejor se adapte a tus necesidades.

• Diversidad: Experimenta con modelos de IA de diversas plataformas y descubre sus ventajas únicas.

• Control: Gestiona directamente tus claves API y direcciones de acceso para garantizar seguridad y privacidad.

• Personalización: Integra modelos implementados de forma privada para satisfacer necesidades específicas de escenarios comerciales.

¿Cómo agregar proveedores de IA personalizados?

En solo unos pasos, puedes agregar tus proveedores de IA personalizados en Cherry Studio:

1. Abrir configuración: En la barra de navegación izquierda de Cherry Studio, haz clic en "Configuración" (icono de engranaje).

2. Acceder a servicios de modelos: En la página de configuración, selecciona la pestaña "Servicios de modelos".

3. Agregar proveedor: En la página "Servicios de modelos", verás una lista de proveedores existentes. Haz clic en el botón "+ Agregar" debajo de la lista para abrir la ventana emergente "Agregar proveedor".

4. Completar información: En la ventana emergente, debes completar la siguiente información:

   • Nombre del proveedor: Asigna un nombre identificable a tu proveedor personalizado (ejemplo: MyCustomOpenAI).

   • Tipo de proveedor: Selecciona el tipo de proveedor del menú desplegable. Actualmente se admiten:

     • OpenAI

     • Gemini

     • Anthropic

     • Azure OpenAI

5. Guardar configuración: Una vez completado, haz clic en "Agregar" para guardar los ajustes.

Configurar proveedores de IA personalizados

Después de agregarlos, debes localizar el proveedor recién añadido en la lista y configurarlo en detalle:

1. Estado de activación: En el extremo derecho de la lista hay un interruptor de activación. Actívalo para habilitar el servicio personalizado.

2. Clave API:

   • Ingresa la clave API (API Key) proporcionada por tu proveedor de IA.

   • Haz clic en el botón "Verificar" a la derecha para validar la clave.

3. Dirección API:

   • Ingresa la dirección de acceso API (URL base) del servicio de IA.

   • Consulta siempre la documentación oficial de tu proveedor para obtener la dirección API correcta.

4. Gestión de modelos:

   • Haz clic en "+ Agregar" para añadir manualmente los ID de los modelos que deseas usar bajo este proveedor. Por ejemplo: gpt-3.5-turbo, gemini-pro, etc.

   

   * Si no estás seguro de los nombres específicos, consulta la documentación oficial de tu proveedor de IA. * Haz clic en "Gestionar" para editar o eliminar modelos ya agregados.

Comenzar a usar

¡Una vez completada la configuración, podrás seleccionar tu proveedor y modelo de IA personalizados en la interfaz de chat de Cherry Studio para comenzar a conversar!

Usar vLLM como proveedor de IA personalizado

vLLM es una biblioteca de inferencia LLM rápida y fácil de usar, similar a Ollama. Aquí se explica cómo integrarlo en Cherry Studio:

1. Instalar vLLM: Sigue la documentación oficial de vLLM (https://docs.vllm.ai/en/latest/getting_started/quickstart.html) para instalarlo.

   pip install vllm              # Si usas pip
   uv pip install vllm           # Si usas uv

2. Iniciar servicio vLLM: Ejecuta el servicio usando la interfaz compatible con OpenAI. Dos métodos principales:

   • Usando vllm.entrypoints.openai.api_server

   python -m vllm.entrypoints.openai.api_server --model gpt2

   • Usando uvicorn

   vllm --model gpt2 --served-model-name gpt2

Asegúrate de que el servicio se inicie correctamente, escuchando en el puerto predeterminado 8000. También puedes especificar otro puerto con el parámetro --port.

1. Agregar proveedor vLLM en Cherry Studio:

   • Sigue los pasos anteriores para añadir un nuevo proveedor de IA personalizado.

   • Nombre del proveedor: vLLM

   • Tipo de proveedor: Selecciona OpenAI.

2. Configurar proveedor vLLM:

   • Clave API: Como vLLM no requiere clave API, deja este campo vacío o ingresa cualquier contenido.

   • Dirección API: Ingresa la dirección API del servicio vLLM. Por defecto: http://localhost:8000/ (ajusta si usas otro puerto).

   • Gestión de modelos: Añade el nombre del modelo cargado en vLLM. En el ejemplo python -m vllm.entrypoints.openai.api_server --model gpt2, ingresa gpt2.

3. Comenzar conversación: ¡Ahora puedes seleccionar el proveedor vLLM y el modelo gpt2 en Cherry Studio para interactuar con el LLM impulsado por vLLM!

Consejos y trucos

• Lee la documentación: Antes de agregar proveedores personalizados, revisa detenidamente la documentación oficial para conocer claves API, direcciones de acceso y nombres de modelos.

• Verifica claves API: Usa el botón "Verificar" para validar rápidamente la funcionalidad de las claves.

• Atención a las direcciones API: Diferentes proveedores y modelos pueden requerir distintas direcciones. Ingresa siempre la correcta.

• Añade modelos según necesidad: Solo agrega modelos que realmente uses, evitando acumular modelos innecesarios.