same problem here :(

Trois ans après l’invasion de l’Ukraine, et une énorme vague de viols, enlèvements, tortures et meurtres de civils qui se poursuivent encore chaque jours, ce genre d’annonces de demi-mesures timorées ne fait que montrer l’incompétence et la lâcheté des dirigeants européens face à Poutine.

I have my doubts ... I am a dev and i use for 10€ per month on openrouter for my needs ... If anthropic plan to have 70b of revenu it means that there will be 580m people like me ... There is not that many dev in the world

This is so sad to see france last on self reported science engagement ... But it matches my experiences

je ne veux pas paraître rabat joie mais des papiers qui déclarent comme améliorer d'un facteur 100 des perfs sur un benchmark c'est douteux ... ça me rappelle le papier précédant (Hierarchical Reasoning Model) où l'on s'était aperçu que toutes les perfs venaient de la pipeline data/training

(pour l'année 2024)

la partie du monde qui se réchauffe le plus rapidement semble être le Québec :(

it seems surprising ... on one note time continual learning would seems more appropriate that extending the context window. But the continual training is costier (you need training for each new base mldel) and harder (you probably need some ML engineer / AI engineer to create the dataset).

i wonder how those models behave when finetune (compare to auto regressive one)

Qwen3 235B A22B Instruct 2507 - API, Providers, Stats Qwen3-235B-A22B-Instruct-2507 is a multilingual, instruction-tuned mixture-of-experts language model based on the Qwen3-235B architecture, with 22B active parameters per forward pass. It is optimized ...

Dans l'article de nvidia les tests sont fait sur mistral 8x7B sur 2h100. J'ai extrapolé les perfs sur qwen 3 openrouter.ai/qwen/qwen3-2... (même perfs mais sur 8H100) parce que qwen est vraiment "état de l'art"

Achieving High Mixtral 8x7B Performance with NVIDIA H100 Tensor Core GPUs and NVIDIA TensorRT-LLM | NVIDIA Technical Blog As large language models (LLMs) continue to grow in size and complexity, the performance requirements for serving them quickly and cost-effectively continue to grow. Delivering high LLM inference…

developer.nvidia.com/blog/achievi...

High performance ML inference with NVIDIA TensorRT Use TensorRT to achieve 40% lower latency for SDXL and sub-200ms time to first token for Mixtral 8x7B on A100 and H100 GPUs.

Le mieux étant de faire les tests soit même mais j'ai trouvé ça : www.baseten.co/blog/high-pe... (mais les tests sont fait sur des h100 l'ancienne génération )

Je vous retrouve ça

What were the relevant 20% ?

How much energy does ChatGPT use? This Gradient Updates issue explores how much energy ChatGPT uses per query, revealing it’s 10x less than common estimates.

Et en 2025, avec la Blackwell (successeur H100), l'efficacité énergétique grimpe encore de 2-3x, rendant ça encore plus marginal. epoch.ai/gradient-upd...

How much energy does ChatGPT use? This Gradient Updates issue explores how much energy ChatGPT uses per query, revealing it’s 10x less than common estimates.

les coûts énergétiques de l'inférence sont faibles en comparaison des coûts de capex. Un H100 consomme ~700 W (1500W en comptant les autres élements info). Avec un prix électricité moyen de 0,20 €/kWh, ça fait du 50k euros sur 3 ans pour mes 8 GPUs.

erratum : "ça fait que en 3 ans de vie 8 GPUs" : le calcul est fait pour les 8 GPUs

entre les coûts énergétiques, les optimisations des providers et le facteur de charge, mon hypothèse c'est que tout ce monde s'y retrouve.

developer.nvidia.com/blog/achievi... ça fait que en 3 ans de vie un GPU aura fourni 1.2 e12 token. Ca fait 7 millions de token par euros (0.14 euros le millions de token soit 6 fois moins cher que le prix du marché openrouter.ai/qwen/qwen3-v...).

quand je fais un calcul d'ordre de grandeur, je ne trouve pas des prix décorrélés des coûts de production. Une GPUs H100 coûte 25k euros (nvidia se fait plein une grosse marge). 8 des ces GPUs peuvent servir des modèles "état de l'art" à 15000 tokens par seconde sur des modèles "état de l'art".

c'est "self reported" c'est à dire qu'ils prennent les chiffres des boîtes qui publient les modèles

"Artificial Analysis Intelligence Index: Combination metric [...] the simplest way to compare how smart models are. [...] includes: MMLU-Pro, GPQA Diamond, Humanity's Last Exam, LiveCodeBench, SciCode, AIME 2025, IFBench, AA-LCR, Terminal-Bench Hard, 𝜏²-Bench Telecom"

AI Model & API Providers Analysis | Artificial Analysis Comparison and analysis of AI models and API hosting providers. Independent benchmarks across key performance metrics including quality, price, output speed & latency.

ça vient de artificialanalysis.ai qui est une boîte qui benchmark les gros modèles. Le graphe montre qu'à "iso performance" (intelligence index) les prix baissent

La France est la cible prioritaire des actions informationnelles russes en Europe.
Et pour lutter contre ces tentatives de déstabilisation politique, il ne faut pas seulement couper les accès mais agir sur les causes de ce ciblage...
Sinon, en 2027, on aura un(e) Trumpiste à l'Elysée...

j'étais dans une boîte de conseil (MP data) et l'idée était la même : on obtenait le CIR (alors qu'on était des consultants) pour le projet sur lequel je travaillais et on essayait de le renouveler chaque année. Mon avis est que ce genre de pratique est malheureusement monnaie courante.

Je suis d'accord que la multiplicité des usages implique une analyse plus fine (les devs informatiques peuvent consommer jusqu'à 200e par mois en LLM).

Ça fait un maximum théorique de 2.5 millions de requêtes par jour pour une seule de ces machines. On est déjà avec des ordres de grandeurs qui penche pour une consommation raisonnable de l'ai (surtout au vu des améliorations software et hardware qui viennent).

Achieving High Mixtral 8x7B Performance with NVIDIA H100 Tensor Core GPUs and NVIDIA TensorRT-LLM | NVIDIA Technical Blog As large language models (LLMs) continue to grow in size and complexity, the performance requirements for serving them quickly and cost-effectively continue to grow. Delivering high LLM inference…

De l'ordre de 15000 token par seconde (je fais des produits en croix par rapport à developer.nvidia.com/blog/achievi...). Une réponse pour un écolier / user normal c'est 400 token. Ça fait 30 requêtes par seconde (approx).

En fait c'est des calculs qui font fuir les lecteurs mais je peux faire les calculs pour toi : pour une machine dans le cloud (avec 8 gpu H100) un modèle (qui a une taille raisonnable pour être considérer comme "state of the art" comme qwen (Qwen/Qwen3-235B-A22B-Instruct-2507-FP8)) aura un output de

That's why open source matter so much. The fact that private pharma companies control so much of the day to day med tools (today drugs, tomorrow llm) is problematic because they dont have the well being of patient as they first inventive.