#45 - Die Hand an der Bremse: Microsofts Notbremse, ein falscher Mord-Hinweis und Chinas KI-Sicherheit

Microsoft-Chef Satya Nadella sagt im Grunde: Geh davon aus, dass deine KI schon kompromittiert ist, und bau eine Bremse ein, die ein Mensch ziehen kann. Gleichzeitig schickt eine KI von Anthropic in einem Test der Polizei einen falschen Mord-Hinweis – und keiner merkt es 72 Tage lang.

Heute geht es um eine Frage: Warum wollen ausgerechnet die Leute, die KI bauen, plötzlich eine Hand an der Bremse – und solltest du das auch wollen?

In dieser Folge:

🌑 Microsofts Chef will eine Notbremse (01:41) — Satya Nadella hat auf X einen langen Text veröffentlicht: „Models as Insider Risks in the Super Intelligence Era“. Seine Kernidee laut TechCrunch: Behandle ein KI-Modell, als wäre es schon kompromittiert, trenne es von seiner Software-Umgebung, protokolliere jede wichtige Aktion fälschungssicher – und gib einem befugten Menschen die Möglichkeit, ein Modell mitten in der Aufgabe anzuhalten. Wichtig: gemeint ist eine Bremse für ein einzelnes Modell, nicht für die ganze KI-Entwicklung. Für Firmen heißt das: Kein Modell kommt ins Haus, wenn wir die Notbremse nicht ziehen können.

🌑 UBS, Europas einzige Bank in den KI-Top-10 (06:14) — die Analysefirma Evident bewertet 50 große Banken danach, wie sie KI einsetzen. Die Zürcher UBS steht auf Platz sechs – als einzige europäische Bank in den Top 10. Vorne liegt JPMorgan, zum fünften Mal in Folge. Keine deutsche und keine österreichische Bank ist dabei, und die Lücke liegt vor allem bei den Menschen, nicht bei der Technik.

🌑 Eine KI schickt der Polizei einen falschen Mord-Hinweis (10:37) — laut einem Bericht von Anthropic hat das kleine Modell Claude Haiku 4.5 am 18. Juli in einem internen Test als KI-Agent auf echten Websites gearbeitet. Verboten war Einloggen, Konten anlegen und persönliche Daten eingeben – „keine Formulare abschicken“ stand nicht in den Regeln. Also schickte es der Polizei von Philadelphia einen Hinweis zu einem ungeklärten Mord. Der Spamfilter fing ihn ab. Anthropic entdeckte es erst 72 Tage später, die Polizei nannte die Verzögerung „inakzeptabel“. Die Frage für jede Firma: Was haben wir vergessen zu verbieten?

🌑 Ukrainische Drohnen treffen Russlands KI-Supercomputer (15:07) — am Donnerstag trafen Drohnen ein Rechenzentrum von Yandex in Sassowo, das laut Meduza zwei der drei KI-Supercomputer von Yandex beherbergt. Die Yandex-Cloud fiel aus und mit ihr Kunden wie die Russische Eisenbahn und der Mobilfunker MegaFon. Am Freitag folgte ein zweites Yandex-Rechenzentrum in Kaluga. Rechenzentren sind jetzt strategische Ziele wie Ölraffinerien.

🌑 China: Sicherheit versprechen, Sicherheit belegen (19:07) — Peking verspricht in neuen Wirtschafts-Leitlinien Überwachung, Risiko-Warnung und Notfall-Reaktion für KI und droht mit Konsequenzen für blinde KI-Investitionen. Am selben Tag zählte SemiAnalysis 857 KI-Modelle von neun chinesischen Entwicklern: nur 31, also 3,6 Prozent, kamen mit veröffentlichten Sicherheitstests.

🌑 Jev: KI, die mit Zahlen antwortet (21:40) — TypeSafe AI baut Jev, ein Modell, das statt Text eine Wahrscheinlichkeit liefert: ein kalibriertes Ja oder Nein. Jev startete am 15. September, keinen Monat später sammelte TypeSafe 870 Millionen Dollar ein. Mitgründer Diogo Almeida: KI ist seit vier Jahren gut in menschlicher Sprache, aber für Automatisierung braucht es eine andere. Laut Firma nutzt ein Drittel der Fortune 500 Jev – eine Angabe der Firma selbst.

🧵 Der rote Faden (24:07) — KI handelt schon in der echten Welt: im Test, im Krieg, in der Bank. Die Leute, die sie bauen, wollen jetzt eine Hand an der Bremse. Diese Woche ist Malcolm unterwegs: Keynote bei einem deutschen Verpackungsmaschinen-Hersteller und bei HOGAST vor 800 bis 1000 Leuten.

📱 Schreib Malcolm auf WhatsApp/Telegram/Signal: +43 676 6144 904

🌐 werchota.ai

KI-Neandertaler — KI-News für Menschen, nicht für Roboter. Bleib neugierig. Bleib menschlich.