https://youtu.be/rAG5YtBsBTw?si=M5KKOpVwlHV1bFWe

La discussion examine plusieurs aspects de cette préoccupation et tente d'expliquer pourquoi certains utilisateurs ont l'impression que ChatGPT a perdu en qualité.

1. Performance déclinante de ChatGPT : Les participants à la discussion notent une détérioration de la performance de ChatGPT, en particulier de la version GPT-4. Ils suggèrent que le modèle peut sembler moins intelligent ou même paresseux par rapport à ses précédentes itérations. Cela suscite des inquiétudes quant à la qualité des réponses générées par ChatGPT.
2. Le leaderboard des modèles : Une partie de la discussion se penche sur un tableau de bord (leaderboard) qui classe différents modèles de ChatGPT, y compris différentes versions de GPT-4. Il est remarqué que certaines versions plus récentes de GPT-4 sont classées moins bien que des versions plus anciennes. Cette observation soulève des questions sur la progression de la qualité des modèles au fil du temps.
3. Changement de comportement : Les utilisateurs de ChatGPT signalent un changement de comportement dans le modèle. Ils expliquent qu'auparavant, ils pouvaient demander à ChatGPT de générer du code complet ou de réaliser des tâches complexes, mais qu'aujourd'hui, les réponses sont moins détaillées et exigent souvent que les utilisateurs assemblent eux-mêmes les informations fournies.
4. Utilisation de prompt système : Les participants discutent de l'utilisation de prompt système pour guider le comportement de ChatGPT. Ils suggèrent que spécifier les exigences de manière plus précise dans les instructions pourrait améliorer les réponses du modèle. Certains partagent des exemples de prompts qu'ils utilisent pour obtenir des résultats plus satisfaisants.
5. Différences entre les interfaces : Un autre point soulevé est la variation de performance de ChatGPT entre différentes interfaces, telles que la version desktop et la version mobile. Il est suggéré que ces différences pourraient être liées à des prompt systems différents, ce qui entraîne des résultats incohérents selon la plateforme utilisée.
6. Théories sur le déclin de la qualité : Plusieurs théories sont avancées pour expliquer le déclin présumé de la qualité de ChatGPT. L'une d'entre elles suggère que l'entreprise OpenAI collecte des données de notation des réponses des utilisateurs pour améliorer le modèle, mais cela pourrait avoir un impact négatif sur la qualité des réponses actuelles. Une autre théorie est que les modèles propriétaires de ChatGPT sont devenus plus conservateurs pour éviter de générer des réponses inappropriées ou illégales. Enfin, une troisième théorie évoque la possibilité que les coûts de fonctionnement de ChatGPT aient conduit à des compromis sur la qualité pour des raisons financières.
7. Quantification des modèles : Les participants discutent de la quantification des modèles, un processus visant à réduire la taille des modèles tout en maintenant leur performance. Ils expliquent que la quantification peut permettre de faire fonctionner des modèles plus grands sur des serveurs moins puissants, mais qu'elle peut également entraîner une perte de qualité dans les réponses générées. Des analyses comparatives montrent que la réduction de la précision des modèles peut avoir un impact limité sur la qualité des réponses.
8. Défis de la rentabilité : Enfin, la discussion aborde les défis de rentabilité auxquels OpenAI pourrait être confronté en gérant ChatGPT. Les coûts liés à l'exploitation de vastes fermes de serveurs GPU pour répondre aux demandes des utilisateurs sont évoqués. Certains participants suggèrent que la recherche de l'efficacité financière pourrait avoir conduit à des ajustements dans la manière dont ChatGPT fonctionne, affectant potentiellement sa qualité.

En résumé, la discussion sur la qualité de ChatGPT, en particulier de la version GPT-4, met en lumière des préoccupations quant à la performance et au comportement du modèle. Les utilisateurs observent des changements dans la manière dont ChatGPT génère des réponses, ce qui suscite des questions sur les raisons de ce déclin présumé. Les théories abordées incluent l'utilisation de prompt systems, la collecte de données de notation, les défis de rentabilité et la quantification des modèles. Dans l'ensemble, la discussion reflète une préoccupation croissante au sein de la communauté quant à la qualité de ChatGPT et à son évolution au fil du temps.