LibreChat

Avant de commencer

1. Créez une clé API. Dans le portail, ouvrez Clés API et cliquez sur Créer la clé. Votre clé commence par ni_live_.
2. Ajoutez des crédits. Les nouveaux comptes démarrent avec un solde de 0 $, et chaque requête est refusée tant que vous n'ajoutez pas de crédits. Ouvrez Facturation et cliquez sur Acheter des crédits.
3. Installez Docker et Git. Installez Docker Desktop et démarrez-le, puis installez Git.

LibreChat est une interface de clavardage auto-hébergée. Vous gardez votre propre base de données et vos serveurs MCP locaux ; Inférence Nordique ne fournit que la couche de modèles.

Configurer LibreChat avec Inférence Nordique

Les commandes ci-dessous fonctionnent dans Terminal sur Mac et Linux, et dans PowerShell sous Windows.

1. Téléchargez LibreChat.

git clone https://github.com/LibreChat-AI/LibreChat.git
cd LibreChat
cp .env.example .env
cp docker-compose.override.yml.example docker-compose.override.yml

2. Ajoutez votre clé. Ouvrez le fichier .env dans le dossier LibreChat et ajoutez cette ligne à la fin :

NI_API_KEY=ni_live_YOUR_KEY_HERE

3. Laissez LibreChat lire son fichier de configuration. Ouvrez docker-compose.override.yml et retirez le # devant les lignes qui montent librechat.yaml dans le service api (la ligne se termine par /app/librechat.yaml, ainsi que les lignes services:, api: et volumes: au-dessus). Sans cela, LibreChat ignore le fichier.

4. Créez le fichier de configuration. Dans le dossier LibreChat, créez un fichier nommé librechat.yaml avec ce contenu :

version: 1.3.17

endpoints:
  custom:
    - name: "Northern Inference"
      apiKey: "${NI_API_KEY}"
      baseURL: "https://northerninference.ca/v1"
      models:
        default:
          - "mistral-large-2402-t3"
          - "llama3-70b-instruct-t3"
        fetch: false
      titleConvo: true
      titleModel: "mistral-large-2402-t3"
      modelDisplayLabel: "Northern Inference"

5. Démarrez LibreChat.

docker compose up -d

Ouvrez http://localhost:3080, créez votre compte, choisissez Northern Inference dans la liste des points de terminaison et envoyez un message. Il apparaît dans le portail sous Utilisation en quelques secondes.

Après toute modification ultérieure de .env ou de librechat.yaml, redémarrez avec docker compose down, puis docker compose up -d.

Choisir les modèles

Ajoutez d'autres noms sous default, exactement comme ils apparaissent sur la page Modèles. Les deux modèles ci-dessus fonctionnent au Canada (noms se terminant par -t3) chez des fournisseurs qui ne conservent pas vos requêtes.

• La résidence des données dépend de l'étiquette de niveau. Un modèle -t3 ne s'exécute que dans une région de fournisseur canadienne ; si aucune ne peut traiter la demande, elle est refusée. Un modèle -t4 peut s'exécuter hors du Canada.
• La conservation est distincte de la résidence. Certains fournisseurs conservent des données, par exemple pour l'examen des abus. Inférence Nordique met en pause une demande vers un tel modèle jusqu'à ce que vous confirmiez, de sorte que vos données ne sont jamais envoyées à un fournisseur qui les conserve sans votre accord.

Pour donner à certaines personnes un accès uniquement canadien, créez pour elles une clé distincte dans le portail qui n'autorise que le Niveau 3.

Si un nom de modèle n'est pas reconnu

Inférence Nordique répond par un HTTP 404 et Model 'X' is not a route this key can call. Elle ne remplace jamais le modèle par un autre. Utilisez un nom de la page Modèles, ou tapez ni-models comme message pour lister les modèles que votre clé peut appeler.

Dépannage