// HEISE ONLINE — MOBILE & WEB
heise+ | KI-Kosten reduzieren: Wie man mit Prompt-Caching messbar Token sparen kann
Prompt-Caching zählt zu den wirksamsten und gleichzeitig einfachsten Methoden, Antworten von Sprachmodellen zu beschleunigen und Kosten zu sparen.
Prompt-Caching senkt den Preis pro Anfrage an ein großes Sprachmodell deutlich und erhöht die Antwortgeschwindigkeit. Der Mechanismus ist simpel, wird in der Praxis aber oft übersehen oder durch ungeschickt strukturierte Prompts unwirksam gemacht.
Wie es funktioniert und was es bringt, lässt sich mit lokal installierten Tools und einem lokalen Ollama nachvollziehen. Die Erkenntnisse sind auf Cloud-Anbieter wie Anthropic übertragbar, wo Prompt-Caching bis 90 Prozent der Token sparen kann.
Ein großes Sprachmodell ist im Kern eine Textergänzungsmaschine. Seine Eingabe, der Prompt, ist eine Zeichenkette, die sich typischerweise aus drei Schichten zusammensetzt: einer Rollen- oder Verhaltensanweisung (dem Systemprompt), optionalem Kontext wie Dokumenten, Tooldefinitionen oder bisherigem Gesprächsverlauf und am Ende der aktuellen Frage des Benutzers.
Monoblock-Klimaanlagen kühlen oft nur mäßig. Wir zeigen, wie sich die Leistung mit einer Fensterdurchführung und einer Schlauchisolierung verbessern lässt.
Ob für die Arbeit oder einen produktiven Alltag: Gestalten Sie die iPad-Bedienoberfläche individuell und passen Sie Funktionen an Ihre Bedürfnisse an.
Der Urlaub mit dem Elektroauto in Europa kann teuer werden. Wir zeigen, wie Sie Ladekosten im Ausland senken und teure Überraschungen vermeiden.
Elgatos Stream Deck + XL erleichtert die Mac-Bedienung mit zusätzlichen Tasten und Reglern, nimmt aber auch einiges an Platz weg. Das kann das Werkzeug.
Batteriespeicher ist günstig wie nie und auch manche PV-Bestandsanlage könnte ein wenig mehr davon gebrauchen. Anker verspricht ein Update in fünf Minuten.
Um der Frage auf den Grund zu gehen, haben wir mit Software-Entwicklern aus unterschiedlichen Firmen gesprochen und lassen sie in diesem Artikel zu Wort kommen.