Skip to main content

LM Studio

ℹ️Note

Ceci est un document de référence pour Careti. Il suit la version fusionnée de Careti v3.38.1. Les politiques spécifiques à Careti (runtime local pris en charge, authentification/routage, limitations des modèles) sont indiquées par <Note> dans le texte.

Configurer LM Studio avec Careti​

Exécutez des modèles d'IA localement en utilisant LM Studio avec Careti.

Prérequis​

  • Ordinateur Windows, macOS ou Linux avec support AVX2
  • Careti installé dans VS Code

Étapes de configuration​

1. Installer LM Studio​

  • Visitez lmstudio.ai
  • Téléchargez et installez pour votre système d'exploitation
LM Studio download page

2. Lancer LM Studio​

  • Ouvrez l'application installée
  • Vous verrez quatre onglets sur la gauche : Chat, Developer (où vous démarrerez le serveur), My Models (où vos modèles téléchargés sont stockés), Discover (ajouter de nouveaux modèles)
LM Studio interface overview

3. Télécharger un modèle​

  • Parcourez la page « Discover »
  • Sélectionnez et téléchargez votre modèle préféré
  • Attendez que le téléchargement se termine
Downloading a model in LM Studio

4. Démarrer le serveur​

  • Accédez à l'onglet « Developer »
  • Basculez l'interrupteur du serveur sur « Running »
  • Note : Le serveur fonctionnera à l'adresse http://localhost:1234
Starting the LM Studio server

5. Configurer Careti​

  1. Ouvrez VS Code
  2. Cliquez sur l'icône des paramètres de Careti
  3. Sélectionnez « LM Studio » comme fournisseur d'API
  4. Sélectionnez votre modèle parmi les options disponibles
Configuring Careti with LM Studio

Modèle et paramètres recommandés​

Pour une expérience optimale avec Careti, utilisez Qwen3 Coder 30B A3B Instruct. Ce modèle offre de solides performances en programmation et une utilisation fiable des outils.

Paramètres critiques​

Après avoir chargé votre modèle dans l'onglet Developer, configurez ces paramètres :

  1. Context Length : Réglez sur 262 144 (le maximum du modèle)
  2. KV Cache Quantization : Laissez décoché (critique pour des performances constantes)
  3. Flash Attention : Activez si disponible (améliore les performances)

Guide de quantification​

Choisissez la quantification en fonction de votre RAM :

  • 32 Go de RAM : Utilisez la quantification 4 bits (~17 Go de téléchargement)
  • 64 Go de RAM : Utilisez la quantification 8 bits (~32 Go de téléchargement) pour une meilleure qualité
  • 128 Go+ de RAM : Envisagez la pleine précision ou des modèles plus volumineux

Format de modèle​

  • Mac (Apple Silicon) : Utilisez le format MLX pour des performances optimisées
  • Windows/Linux : Utilisez le format GGUF

Activer les Compact Prompts​

Pour des performances optimales avec les modèles locaux, activez les prompts compacts dans les paramètres de Careti. Cela réduit la taille du prompt de 90 % tout en conservant les fonctionnalités de base.

Accédez à Careti Settings → Features → Use Compact Prompt et activez l'option.

Notes importantes​

  • Démarrez LM Studio avant de l'utiliser avec Careti
  • Gardez LM Studio en cours d'exécution en arrière-plan
  • Le premier téléchargement du modèle peut prendre plusieurs minutes selon sa taille
  • Les modèles sont stockés localement après le téléchargement

Dépannage​

  1. Si Careti ne parvient pas à se connecter à LM Studio :
  2. Vérifiez que le serveur LM Studio est en cours d'exécution (consultez l'onglet Developer)
  3. Assurez-vous qu'un modèle est chargé
  4. Vérifiez que votre système répond aux exigences matérielles