Andrea Wörrlein ist Geschäftsführerin von VNC in Berlin und Verwaltungsrätin der VNC AG in Zug. (Quelle: VNC)
- Dezentrale LLMs: Üblicherweise laufen Large Language Models (LLMs) auf den proprietären Hyperscaler-Plattformen der Anbieter. Was dort mit den Daten passiert, bleibt im Ungewissen. Daher ist es sinnvoll, die LLMs über entsprechende Toolkits (etwa Intel OpenVINO) auf eigene Plattformen herunterzuladen. Sowohl die Daten als auch die Applikationen bleiben so im eigenen Rechenzentrum und sind vor unbefugtem Zugriff geschützt.
- Local AI für die App-Optimierung: Abgespeckte Modelle dieser LLMs können direkt in Applikationen in dafür ausgelegten Software-Stacks integriert werden. Die Einbindung von KI-Funktionen wie intelligenten Assistenten ist so ohne Umwege und jederzeit transparent möglich. Über modulare Plattformen stehen sie zudem potenziell allen Anwendungen in gleicher Form modulübergreifend zur Verfügung.
- Training der Modelle über lokale Knowledge Base: LLMs werden in der Regel mit Big Data trainiert. Durch die lokale Nutzung von LLMs können sie zusätzlich durch Abfragen auf die eigene Datenbasis schnell, gezielt und praxisnah weiter trainiert und optimiert werden. Dadurch sind sie auch jederzeit transparent und auditierbar.
- Beschleunigung durch Indizierung: Zusätzlich kann der Zugriff auf die lokale Knowledge Base durch die Indizierung der Datenbestände beschleunigt werden. Abfragen erfolgen dann nicht mehr auf die gesamte Datenbasis, sondern nur noch auf die Indizes. Das erhöht die Schnelligkeit, Verfügbarkeit und Treffergenauigkeit – und damit die Produktivität.
- Open Source: Open Source ist der natürliche Feind proprietärer Systeme. Um Abhängigkeiten (Vendor Lock-in) von vornherein auszuschliessen, sollten für Confidential Computing nicht nur chronisch intransparente anbieterspezifische KI-Plattformen (PaaS) gemieden werden, sondern auch auf der Software-Ebene (SaaS) sollte Open Source für KI-Anwendungen die erste Wahl sein.