268 stories
·
1 follower

Wie werden Rechenzentren gekühlt?

1 Share

Wie kühlt man ein Rechenzentrum? Vorne Wasser rein, hinten Dampf raus? Und wenn da schon so viel Wärme anfällt, warum heizt man damit keine Häuser? Die Frage kam auf Mastodon. Hier ist der Thread.

Es gibt eine Reihe von Kühlsystemen. Welches man nimmt, hängt davon ab, wo das Rechenzentrum steht und wie viel Wärme auf engem Raum anfällt. Fangen wir mit dem günstigsten Fall an.

Kühlen mit Außenluft

Ein ehemaliges Facebook-Rack. Die Person im Vordergrund hält eines der Compute-Module in der Hand.

Das ist ein Ex-Facebook-Rack aus dem Open Compute Project. Pre-AI-Technik. Die Person im Vordergrund hält ein Compute-Modul in der Hand. Das Ding ist ein Drittel Rack breit und zwei Höheneinheiten hoch. Zwanzig Reihen mit je drei Modulen passen ins Rack.

Das Rack steht frei in der Halle. Draußen kommt Luft rein, sie geht durch die Rechner und warm wieder raus. Die Rechner sind dafür gebaut. Wenn das Klima mitspielt und die Ansaugluft meist unter 30 °C bleibt, kommt man an vielen Tagen ohne Kältemaschine aus. An sehr heißen Tagen muss man der Außenluft gegebenenfalls nachhelfen. Facebook meldete für sein frühes Open-Compute-Rechenzentrum in Prineville einen PUE von 1,07 bei Volllast.

Kaltgang und Warmgang

Leere Rechenzentrumshalle mit Klimageräten an den Wänden und einem Doppelboden.

In einem traditionellen RZ stehen die Klimageräte an der Wand. Sie blasen kalte Luft unter den Doppelboden. Durch gelochte Bodenplatten kommt sie in den Kaltgang. Dort stehen die Racks mit den Vorderseiten zum Gang. Türen und ein Dach schließen ihn ab, darin herrscht leichter Überdruck.

Rackvorderseiten im Kaltgang. Die gelochten Bodenplatten lassen die kalte Luft einströmen.

Die kalte Luft soll durch die Geräte. Auf der anderen Seite, im Warmgang, blasen die Geräte sie wieder aus. Die Klimageräte saugen die warme Luft an, kühlen sie und blasen sie wieder unter den Boden.

Angelieferte Blade-Chassis. Ein Chassis ist zehn Höheneinheiten hoch und fasst zwei Reihen mit je acht kleinen Servern.

Vier Chassis machen hier ein Rack voll. Im Foto vom Kaltgang steckt in den vorderen Racks erst eines. Auf der Rückseite sieht man, wo die warme Luft rauskommt. Blau, Rot und Schwarz markieren die Stromkreise.

Rackrückseite mit farblich markierten Stromleitungen, Netzwerkkabeln und den Luftauslässen der Netzteile.

Für diese Art Anlage sind 14 bis 21 kW pro Rack eine Größenordnung. Will man bei gleicher Temperaturdifferenz mehr Wärme wegschaffen, muss mehr Luft durchs Rack. Irgendwann werden die nötigen Luftmengen und der Aufwand für die Lüfter unpraktisch.

Wie die Wärme nach draußen kommt

Die Luft im Kaltgang nimmt die Wärme an den Rechnern auf. Aus der Halle schafft sie ein Wasserkreislauf. Bei gleichem Volumen und gleicher Erwärmung nimmt Wasser mehrere tausendmal so viel Wärme auf wie Luft. Im Außenkreislauf kann Glykol im Wasser stecken, damit es im Winter nicht einfriert.

Rohrleitungen und Pumpen des Wasserkreislaufs im Rechenzentrum.

Dafür gibt es ganze Räume mit Rohrleitungen und Umwälzpumpen. Wenn die Außenluft für die nötige Kühlwassertemperatur zu warm ist, kann eine Kältemaschine mit Kompressor nachhelfen. Draußen stehen die Rückkühler. Die sehen aus wie dein CPU-Kühler, nur größer und mit fetteren Lüftern.

Rückkühler bei der Anlieferung.

Innenansicht eines Rückkühlers mit Kühlrippen.

Die Fotos zeigen das inzwischen stillgelegte Rechenzentrum von web.de in der Amalienbadstraße in Durlach. Ein RZ in den Rheingraben zu stellen, wo es heiß und feucht wird, ist nur untermittelschlau. Diese Rückkühler konnten bei Bedarf enthärtetes Wasser auf die Kühlrippen sprühen. Wenn die Luft trocken genug ist, verdunstet das Wasser und hilft beim Kühlen.

Und wie testet man die Kühlung, bevor die Rechner da sind? Mit großen Heizgeräten von Boels. Die Dinger nimmt man sonst auch zum Trocknen von Estrich. Für den Test sollen sie dasselbe tun wie die Rechner, nämlich Strom ziehen und die Halle warm machen.

Heizgeräte simulieren beim Burn-in die Wärmelast der späteren Server.

120 kW in einem Rack

Ein dicht gepacktes AI-Rack kann mehr als fünfmal so viel Wärme abgeben wie die 21-kW-Racks von eben. Die Chips müssen schnell miteinander reden. Dafür packt man viele davon dicht zusammen, und entsprechend viel Wärme fällt auf kleinem Raum an.

Nvidia gibt für das DGX GB200 NVL72 rund 120 kW pro Rack an. Kühlflüssigkeit läuft durch Kühlplatten auf den CPUs und GPUs. Andere Teile des Racks kühlen weiterhin Lüfter.

Damit ist die Wärme erst mal aus den Chips. Wohin jetzt damit? Ein trockener Rückkühler gibt sie an die Außenluft ab. Andere Anlagen helfen mit Verdunstung nach oder setzen auf Kühltürme. Das Prinzip kennt man vom Kraftwerk. Bei einem großen Campus mit vielen solcher Racks muss man sich ansehen, welche Wärmemenge und wie viel Wasserdampf an diesem Standort zusammenkommen.

Strom gegen Wasser

Die Power Usage Effectiveness, kurz PUE, ist der Gesamtenergieverbrauch des RZ geteilt durch den Energieverbrauch der IT. Bei einem PUE von 1,2 kommen auf 1.000 kWh für die Rechner 200 kWh für Kühlung, Stromverteilung und den Rest.

Wenn Außenluft reicht, spart man sich den Kompressor. Verdunstung kann ebenfalls Kühlstrom sparen. Der Tausch ist weniger Strom für die Kühlung gegen Wasser, das der Umgebung vor Ort fehlt. Es regnet irgendwann irgendwo wieder ab. Damit steht es am Standort noch lange nicht wieder zur Verfügung.

Das Wasser im Rack und das Wasser, das draußen verdunstet, sind zwei verschiedene Dinge. Im geschlossenen Rackkreislauf läuft dieselbe Kühlflüssigkeit immer wieder herum. Ob die Anlage für die Kühlung Wasser verbraucht, entscheidet sich daran, wie sie die Wärme am Ende loswird. Ein RZ kann flüssigkeitsgekühlte Chips haben und die Wärme trocken an die Außenluft abgeben.

Was verbraucht eine Anfrage?

Bei Angaben in Millilitern pro Anfrage schaue ich zuerst auf die Rechnung. Welche Kühlung setzt sie voraus? Für welchen Standort und welche Jahreszeit gilt sie? Zählt sie das Wasser am RZ oder auch das Wasser für die Stromerzeugung?

Für Gemini-Textanfragen im Mai 2025 gibt Google als Median 0,24 Wh Strom und 0,26 ml Wasser im RZ an. Der Wasserwert ist aus dem Energiebedarf und einem Flottendurchschnitt berechnet. Am einzelnen Prompt hängt kein Wasserzähler.

Inferenz heißt, dass ein fertiges Modell aus deiner Eingabe eine Ausgabe erzeugt. Wenn ich das lokal auf meinem MacBook Pro laufen lasse, geht die Leistung von ungefähr 8 auf 100 Watt hoch, für die Dauer der Rechnung, also 10 bis 20 Sekunden. Zehn Stunden bei Volldampf wären 1 kWh, bei meinem Strompreis etwa 32 Cent, wenn ich keine Solaranlage hätte. Das ist mein Mac mit meinem Modell. Inferenz massiv parallel für dummen Scheiß zu verballern kann in der Summe eine Menge Strom kosten.

Beim Training entstehen die Gewichte des Modells. Das kann sehr viel Rechenleistung kosten. Hardware und Software werden effizienter. Zugleich trainieren mehr Leute Modelle und bauen Inferenz in ihre Produkte ein. Wie viel Strom und Wasser am Ende am Standort gebraucht werden, hängt auch davon ab, wie viel dort tatsächlich gerechnet wird.

Kann man damit heizen?

Ja, wenn in der Nähe jemand Wärme auf diesem Temperaturniveau braucht oder sie mit einer Wärmepumpe auf das nötige Niveau bringt. Bei Kühlwasser um 40 °C kann ein bestehendes Fernwärmenetz zum Beispiel 80 °C oder mehr verlangen. Die Wärmepumpe braucht dafür Strom. Und zwischen RZ und Abnehmer muss man erst mal eine Leitung legen.

Kalte Nahwärme passt besser zu solchen Temperaturen. Die Gebäude können die Temperatur mit eigenen Wärmepumpen anheben. Das RZ liefert aber auch im Juli Wärme, wenn kaum jemand heizt. Warmwasser oder ein Schwimmbad können im Sommer etwas davon abnehmen. Entscheidend ist, wie viel und wie weit weg.

In der Region Helsinki bauen Fortum und Microsoft so eine Anlage mit Wärmepumpen und Anschluss ans Fernwärmenetz. Fortum rechnet damit, dass das Netz übers Jahr rund drei Viertel der Abwärme abnehmen kann. Im Sommer braucht es viel weniger. Das ist ein Standort, an dem Netz und Abnehmer zur Anlage passen. Den muss man erst mal haben.

Das Energieeffizienzgesetz

In Deutschland gilt (noch) das Energieeffizienzgesetz für Rechenzentren von 2023;

Nach geltendem Recht müssen RZ, die vor dem 1. Juli 2026 in Betrieb gingen, ab Juli 2027 im Jahresmittel einen PUE von höchstens 1,5 schaffen, ab Juli 2030 höchstens 1,3. Für Anlagen, die seit dem 1. Juli 2026 in Betrieb gehen, gilt spätestens nach zwei Jahren ein PUE von höchstens 1,2. Dazu kommt ein Mindestanteil für wiederverwendete Energie, mit Ausnahmen.

1,5 kann man gut schaffen. 1,3 wird schwieriger. Und 1,2 würde ich im Rheingraben nicht einfach in die Kalkulation schreiben. Wo das Klima ungünstig ist und sich die Abwärme kaum verkaufen lässt, wirkt das für mich vor allem als lokales RZ-Verhinderungsgesetz.

Das Kabinett hat am 24. Juni 2026 eine Reform beschlossen. Am 24. September war die erste Lesung, am 5. Oktober die Anhörung im Ausschuss. Union und SPD streiten über die PUE-Grenzen. Stand 6. November 2026 ist die Reform noch im parlamentarischen Verfahren.

Die folgenden Änderungen sind im Entwurf enthalten:

  • PUE. Für den Bestand wären es höchstens 1,6 ab Juli 2027 und 1,4 ab Juli 2030. Das halte ich für gut machbar. Für Neubauten, die unter die Regel fallen, bliebe es bei 1,2. Sie hätten vier Jahre Zeit statt zwei.
  • Strom. Die Pflicht, den Verbrauch bilanziell zu 100 Prozent mit erneuerbarem Strom zu decken, würde von Januar 2027 auf Januar 2030 rutschen. Das Ziel ist sinnvoll. Wenn das Wirtschaftsministerium zugleich neue Gaskraftwerke ausschreibt, glaube ich erst an den Termin, wenn es so weit ist. Reiche zu den Ausschreibungen
  • Abwärme. Die Quote bliebe, aber der Entwurf sieht eine zusätzliche Ausnahme vor. Kann der Betreiber mit einer Kosten-Nutzen-Analyse zeigen, dass der Anschluss an ein bestehendes oder geplantes Wärmenetz technisch oder wirtschaftlich unzumutbar ist, entfällt die Quote. Platz für die Wärmeübergabe muss er vorsehen. Das ist für mich die sinnvollste Änderung. Eine Leitung für Wärme, die niemand abnimmt, hilft keinem.
  • Melde- und Managementpflichten. Der Entwurf würde unter anderem die Abwärmemeldungen seltener fällig machen und die Pflicht zur Zertifizierung von Energiemanagementsystemen auf weniger Anlagen beschränken. Das halte ich für vernünftig.
Read the whole story
jhunorss
6 hours ago
reply
Share this story
Delete

The excellent helicopter shooter Cleared Hot - Chapter 2 arrives October 15

1 Share
Cleared Hot is one of my indie favourites from 2025, currently in Early Access this nostalgic helicopter shooter is about to get a big expansion in content.

alt

Read the full article on GamingOnLinux.

Read the whole story
jhunorss
13 days ago
reply
Share this story
Delete

Portal: Alive & Kicking is a full remake and re-imagining of Valve's classic out now on Steam

1 Share
Portal: Alive & Kicking has officially arrived on Steam, giving the classic Valve game Portal a bit of a makeover.

alt

Read the full article on GamingOnLinux.

Read the whole story
jhunorss
13 days ago
reply
Share this story
Delete

AI police surveillance trial costs £320k, catches zero crooks

1 Share

Some bureaucracies have an unlimited appetite for surveillance with machine learning, the AI that actually works! Particuarly for abusing people’s privacy.

The British Transport Police just answered a Freedom of Information request from Liberty Investigates. The BTP ran a trial of live facial recognition in nine large railway stations in London from February to July this year,. [Liberty Investigates; Guardian]

The BTP scanned half a million faces hoping to catch known offenders on the loose. The total cost was £320,786 and over 100 hours of police time.

The trial netted them one match of a suspect over six months — and that was a false positive.

The BTP told the Guardian the trial totally helped them make lots of other arrests, honest! Just not ones in the trial.

In fact, the BTP and Transport for London are running the trial another four months and extending it to some Tube stations.

TfL said the live facial recognition will “specifically tackle violence against women and girls,” by this process that catches no bad guys. You’d almost think they were making an excuse.

Over half of police forces in England and Wales are deploying live facial recognition out on the streets. The Metropolitan Police and the Mayor of London have announced that live facial recognition will be deployed on Oxford Street in the West End.

Machine learning is great! You can spend public money, treat the public badly, and still not achieve a thing.


It’s pledge week at Pivot to AI! Please put in your $5 to keep us going! It really helps!

Read the whole story
jhunorss
14 days ago
reply
Share this story
Delete

CoreWeave founders cash out — the rest is mop-up

1 Share

Three of the founders of AI hosting company CoreWeave — Brannin McBee, Michael Intrator, and Brian Venturo — just announced yet another planned sale of CoreWeave stock, totalling over a billion dollars’ stock sales for each since the company went public. This means that whatever happens with CoreWeave and the AI bubble … they’ve got theirs. [Bloomberg, archive]

CoreWeave has never been a solid business. It spent the past three years piling debts on debts, because this was the AI revolution! This is the future!

But bubbles pop. CoreWeave’s whole deal was to sell a financially impossible company to people who were fully equipped to know better — but they had powerful incentives to lie to themselves.

CoreWeave was founded as a cryptocurrency miner. Crypto crashed and the company pivoted in 2019 to cloud scientific computing on GPUs.

In mid-2022, CoreWeave started buying heavily into Nvidia GPUs, just in time to catch the wave of the AI bubble later that year. Nvidia owned 5% of CoreWeave and the two were very cosy. By 2023, CoreWeave was putting the Nvidia chips up as collateral to borrow money to buy more Nvidia chips. This booked a lot of revenue for Nvidia.

CoreWeave did its IPO in March 2025. This was the first big public offering of the AI bubble. Ed Zitron wrote up a nice analysis of CoreWeave’s S-1 prospectus: “CoreWeave Is A Time Bomb”. None of the numbers added up to a business that could ever make it out of the AI bubble alive. [Where’s Your Ed At]

CoreWeave’s main business was as a backup provider for the hyperscalers when they couldn’t build out their own data centres fast enough. The didn’t have a lot of revenue and had taken on ghastly and ever-increasing amounts of debt. The company was spending $1.43 to make one dollar. The S-1 only worked if there was massive AI demand coming soon — which was already not showing up.

None of the numbers have improved in the year and a half since. CoreWeave’s debts remain crippling.

CoreWeave’s one weird trick is to get their debt listed as investment grade and sell it to insurance companies. McBee from CoreWeave told the Financial Times that insurance capital was: [FT, archive]

unlimited. Like, that’s all the money in the world that sits in the insurance tranche.

The stock dropped about 15% on the news of McBee giving the game away.

McBee, Intrator, and Venturo have sold a total of $3.3 billion in stock since the IPO. They’d sold another $450 million before the IPO. The company told Bloomberg:

They’re making personal financial planning decisions that any responsible founder with concentrated holdings would make.

Particularly when the concentrated holdings are in a massive and expanding debt bomb that will blow the moment CoreWeave is not getting OpenAI and Anthropic money via Microsoft.

CoreWeave is one of the best funded and best connected AI bubble service companies. Everyone else is going to do worse.

Read the whole story
jhunorss
16 days ago
reply
Share this story
Delete

AI will HACK ALL THE TVs by the end of 2026! Or not

1 Share

Anthropic have a new scary campfire story on why everything they work on is evil and out to get you! This one is called “AI models may be capable of self-replicating without access to a datacenter.” Here’s the headline claim: [Anthropic]

Our experiments suggest that small AI models may be months away from being capable enough to self-replicate on commercial internet-of-things (IoT) devices, like smart ovens and off-brand Android TV boxes.

… If small models improve at their historical rate, they’ll match this capability level by the end of this year.

The end of this year.

The paper constructs a scenario. This is otherwise known as making up a sci-fi story about killer robots, then telling the incredibly credulous press that this can happen in the next two months, and then they print it as-is.

Here’s Joseph Menn at the Guardian swallowing this tall tale, hook, line, and sinker: [Guardian]

the red team, as such internal testers are called, said it created a malicious AI program that spread autonomously through internet-connected “smart” televisions and could do the same inside other ordinary devices.

No they did not! The team made up a story about a program that might do that if a hundred other things that don’t exist come true!

Menn also compared this scenario to Harry Potter, because of course he did. Read another book!

Menn spoke to an “expert” who told him:

What differentiates AI worms from typical reproducing viruses is that AI models can learn as they go.

Chatbot models do not learn as they go! That’s why the AI vendors spend a fortune on training and post-training!

Anthropic’s scenario posits an AI network worm  — a self-replicating program.

We’ve had computer worms since 1971. Someone else (not Anthropic) built an AI-based worm earlier this year and tested it on an isolated network. This did not propagate the model itself, because chatbot models are quite big. Instead, the test worm took over smaller machines it had access to and ran tiny models on them. [arXiv, PDF]

Anthropic took this earlier experiment and says it means a whole model “could” copy itself from machine to machine. This means it “could” set up a botnet of TV set-top boxes! And spread all by itself! You can’t prove it won’t!

They did run a small model on a network of 15 Android set-top boxes. It ran at a blistering 0.39 tokens per second.

There are a few other steps that would need to be shown for the threat to hold. The bot has to scan the wider internet. It needs to hack into the set-top box. This has to be done with their tiny model, at less than a token per second. Then it has to copy itself.

The researchers don’t bother testing if any of these work. They just say “not our focus.”

It is true that embedded boxes have notoriously awful security. There have been some huge botnets on these insecure boxes. Those botnets run actual code, which is quite a bit smaller and faster.

Those botnets existing does not let you handwave how your evil chatbot could totally do that for sure.

If you can create a model that’s smart enough to hack tiny embedded hardware while it’s running on tiny embedded hardware, and if it can figure out how to hack new small boxes, and if it can do all of this without the researchers helping it along at every stumble, like all the previous AI hacking researchers did … then sure. But you can’t just assume any of that.

Anthropic says “could” a lot in this paper. “Could” and “might” and even “will” are all words that mean “doesn’t”. “Could” is not enough.

And they admit that “doesn’t” is the word for how this works: [Al Jazeera]

Although no current AI model proved to be both powerful and small enough to self-replicate reliably on a smart TV used in testing,

Much like no current slingshot has proven elastic enough to fire a space shuttle. Obviously we just have to scale up.

The models would only have to shrink by 99% and run with a thousandth of the data centre compute they’re made for while still being able to hack into arbitrary gadgets and come up with new hacks. Autonomously. And they’d have to do all of this by the distant magical future era of the end of 2026.

But maybe I’m wrong. Show me! You’ve got ten weeks.

This paper is marketing. Not to you and me, but to credulous government regulators. The current US administration already believes the chatbot is the magical truth machine, and they think Anthropic has the best magical truth machine.

This paper is a message to say: regulate AI. Make rules so only the huge vendors like us can comply. Then the AI can convert NASA to use giant slingshots.

 

Read the whole story
jhunorss
16 days ago
reply
Share this story
Delete
Next Page of Stories