ChatGPT est devenu un outil interactif dans le monde actuel de l’intelligence artificielle. Il est interactif, résout le problème d'un utilisateur en fonction d'instructions et peut désormais également créer des images. La magie de ChatGPT réside dans l'utilisation de jetons. Ils constituent l’ADN et sont considérés comme les éléments constitutifs des capacités de traitement du langage.
Les jetons représentent les plus petites unités de texte. Il peut s'agir de mots, de signes de ponctuation ou de parties de discours. La tokenisation est le processus de décomposition du texte en jetons. Cela revient à disséquer des phrases en fragments. Ce processus permet à ChatGPT de décrypter et de générer du texte de type humain.
Vous pouvez acheter les puces et utiliser le GPT-4 avancé, connu pour être l'un des modèles les plus créatifs, en cliquant ici lien.
Comprendre l'importance des jetons dans les modèles de langage ChatGPT
Les jetons sont plus que de simples morceaux de texte. Ils aident l’IA à comprendre le contexte et la sémantique d’un texte. Les jetons, qui captent les nuances du langage, apportent des réponses pertinentes et cohérentes. Lorsqu’il s’agit de la diversité et de la complexité de l’expression humaine, la tokenisation établit un équilibre. Pèse entre la capture du sens et le maintien de l’efficacité informatique.
Le processus exact de tokenisation varie selon les modèles. Des modèles comme GPT-3.5 et GPT-4 ils utilisent un tokenizer différent de celui des anciens modèles Codex ou GPT-3. Pour le même texte d’entrée, chacun produira des jetons différents.
Cependant, ChatGPT utilise le Byte Pair Encoding (BPE), qui gère l'immensité du langage humain. Cette méthode permet d'améliorer la capacité d'apprentissage du modèle en le décomposant en mots courants plus petits à l'aide de jetons plus gérables. Il est essentiel que ce modèle gère la complexité du langage pour que ChatGPT soit précis et efficace.
Qu'est-ce qu'un jeton?
Dans ChatGPT, les jetons sont les éléments constitutifs du traitement du langage. Ils peuvent être aussi courts qu’un caractère ou aussi longs qu’un mot, mais ils constituent le texte le plus concis que le modèle puisse comprendre. Nous analyserons l'idée des tokens dans le chatbot IA « GPT » et leur importance pour le fonctionnement de ce modèle linguistique.
Le processus de tokenisation
La tokenisation est le processus par lequel ChatGPT divise un morceau de texte en éléments plus petits appelés jetons. Cette procédure est essentielle pour que le modèle comprenne et traite efficacement le langage humain.
La méthode de tokenisation consiste à :
- Décomposition du texte- ChatGPT divise tout texte saisi en unités allant d'un seul caractère à des mots entiers. La phrase "ChatGPT est un excellent modèle", par exemple, pourrait être décomposé en jetons individuels comme "Chat«,«G«,«PT«,«es«,«un«,«modèle«,«excellent«.
- Gestion des caractères spéciaux: ChatGPT traite la ponctuation, les espaces et les caractères spéciaux comme des jetons distincts. Cela permet au modèle de comprendre la complexité et l’organisation du langage écrit.
- Nombre de jetons: Le modèle prend en compte « l'espace » de ces jetons en les comptant. Il est essentiel de rappeler que la capacité du modèle est limitée et que chaque token en utilise une partie.
Compter les jetons
Il est essentiel de compter les jetons lorsque vous travaillez avec ChatGPT. Vous devez être conscient du nombre de jetons utilisés pour l’entrée et la sortie. Par exemple, si votre message entrant utilise 10 jetons et votre message sortant en utilise 20, vous serez facturé pour un total de 30 jetons. Pour ce faire, vous devez rester dans la limite de tokens du modèle et également vous occuper de la facturation. Vous pouvez compter les jetons à l'aide de bibliothèques ou de l'API Response.
Bibliothèques
Vous pouvez utiliser une bibliothèque pour analyser le nombre de jetons de texte pouvant être trouvés sur GitHub. OpenAI fournit jeton tiktok, une bibliothèque Python, qui ne nécessite pas d'appel API. Vous pouvez compter les jetons dans une chaîne de texte en l'utilisant. Vous pouvez également utiliser la version en ligne de ce tokeniseur sur site Site Web OpenAI.
Réponse API
Lors d'un appel API à ChatGPT, le nombre de tokens utilisés dans la requête est indiqué dans le champ d'utilisation. De cette façon, vous pouvez suivre la consommation des jetons.
Règle générale
OpenAI a établi une règle générale pour la tokenisation. Généralement, un jeton, pour un texte anglais courant, correspond à environ 4 caractères de texte. Cela devient 100 jetons = ~=75 mots, ce qui correspond approximativement aux ¾ de mot.
Vous pouvez consulter la page Tiktoken pour Python. Pour JavaScript, le package pris en charge par la communauté @dbdq/tiktoken Fonctionne avec la plupart des modèles GPT.
Stratégies pour gérer l'utilisation des jetons
Vous pouvez gérer l'utilisation des jetons en vous assurant que la conversation respecte la limite de jetons du modèle en suivant ces stratégies :
- Éliminez les questions les moins pertinentes de la conversation. Préservez le contexte nécessaire pour que le modèle génère des réponses significatives.
- Réduisez la consommation de jetons en gardant les instructions concises.
- Utilisez des instructions au niveau du système pour guider le modèle afin de générer une réponse spécifique. Par exemple, « [RÉSUMÉ] ».
Jetons ChatGPT et applications pratiques
Que vous fournissiez un service client, utilisiez des outils de création de contenu ou créiez des robots. Il repose fortement sur une tokenisation efficace. Cependant, lorsqu'il s'agit de requêtes textuelles longues, le modèle est limité par la limite maximale de jetons.
Taille de la fenêtre contextuelle
Les jetons peuvent être considérés comme des morceaux de mots, 1000 750 jetons représentant environ XNUMX mots. Cependant, en comparant, GPT-4 Turbo surpasse GPT-4 à plusieurs égards. GPT-4 Turbo dispose d'un contexte de 128.000 4, de nouvelles informations et de fonctionnalités puissantes. D'un autre côté, GPT-32.000 est également un modèle très puissant et dispose d'une fenêtre contextuelle de XNUMX XNUMX caractères.
| Modèle | Fenêtre contextuelle |
| GPT-4 | 32.000 |
| GPT-4V | 32.000 |
| GPT-3.5-turbo-1106 | 4096 |
Assistants API
Les développeurs peuvent créer les leurs applications utilisant l'API Assistants et des outils tels que la récupération et l'interpréteur de code. Chaque assistant facture des frais de stockage de fichiers de récupération en fonction des fichiers transmis à l'assistant. Les jetons d'API Assistant sont facturés en fonction des taux d'entrée/sortie par jeton du modèle de langage choisi. Pour les interprètes de code, ils sont facturés 0,03 $/session, ce qui était auparavant gratuit jusqu'au 1/12/2023. En revanche, la récupération coûte 0,20 $/Go ou assistant par jour.
Modèles de mise au point
N'importe qui peut créer des modèles personnalisés en affinant les modèles de base avec les données de formation OpenAI. Un utilisateur ne sera facturé que pour les jetons utilisés dans les requêtes adressées à ce modèle. Par exemple, pour GPT-3.5 Turbo, la formation coûtera 0,0080 $/1 0,0030 jetons, avec 0,0060 $ pour l'entrée et XNUMX $ pour la sortie.
Le total des jetons sera facturé en fonction des frais de formation des modèles de réglage. Cependant, le nombre de jetons de formation dépend du nombre d'époques de formation choisi et de l'ensemble de données de formation.
Jetons dans le fichier de formation * nombre d'époques de formation = nombre total de jetons de formation.
| Modèle | Formation | Utilisation de l'entrée | Utilisation de la sortie |
| Davinci-002 | 0.0060 $/1 XNUMX jetons | 0.0120 $/1 XNUMX jetons | 0.0120 $/1 XNUMX jetons |
| Babbage-002 | 0.0004 $/1 XNUMX jetons | 0.0016 $/1 XNUMX jetons | 0.0016 $/1 XNUMX jetons |
Modèles d'images et d'audio
Vous pouvez créer Des images et des œuvres d'art de haute qualité avec DALL E 3 tandis que DALL E 2 est optimisé pour un coût inférieur. Il coûte 0,040 $/image pour une image standard avec une image de 1024 x 1024 tandis que 0,0080 $/image pour une image de 1024 x 1792 et 1792 x 1024. Les images HD coûtent respectivement 0,0080 $ et 0,120 $.
Le modèle Whisper peut transcrire la parole en texte et traduire de l'anglais vers d'autres langues.
| Modèle | Utile |
| Chuchotement | 0,006 $/minute |
| Synthèse vocale (standard) | 0,015 $/1.000 XNUMX caractères |
| Synthèse vocale (HD) | 0,030 $/1.000 XNUMX caractères |
Conclusion
Les jetons sont les éléments de base et l’unité fondamentale d’interaction dans ChatGPT. Il est nécessaire de bien comprendre le fonctionnement des tokens, de les compter avec précision et de gérer leur consommation. Cela permettra de garantir que vos invites restent dans la limite de jetons du modèle.
Foire Aux Questions (FAQ)
Qu'est-ce qu'un jeton ?
Les jetons sont des fragments ou des morceaux de mots utilisés en PNL. Un jeton équivaut approximativement à 0,75 mot. Vous pouvez expérimenter cela dans l'outil Tokenizer.
Quel modèle dois-je utiliser pour compter les jetons ?
OpenAI recommande d'utiliser GPT-3.5 Turbo ou GPT-4. Cela dépend uniquement de la complexité des tâches, mais GPT-4 effectue généralement un plus large éventail d'évaluations. GPT-3.5 offre des résultats avec une faible latence et un coût/jeton inférieur.
Comment puis-je gérer mes dépenses symboliques ?
Vous pouvez définir un budget mensuel dans vos paramètres de facturation. OpenAI cessera de répondre aux requêtes. Toutefois, il peut y avoir un retard dans l'application de la limite. L'utilisateur sera responsable de tous les frais de dépassement encourus.
Combien de jetons GPT-4 possède-t-il ?
Le modèle GPT-4 standard d'OpenAI propose 8.192 4 jetons. Cependant, GPT-32 (32.768 Ko) peut actuellement prendre en charge jusqu'à XNUMX XNUMX jetons.