KI-Implementierung für Unternehmen in Österreich: Ein ehrlicher Leitfaden

43 Prozent der österreichischen Mittelstandsunternehmen setzen heute KI ein — im Vorjahr waren es noch 26 Prozent. Das zeigt die aktuelle EY-Studie zum digitalen Wandel in Österreich (März 2026). Der Anstieg ist real, aber er verschleiert etwas: Viele dieser Unternehmen wissen noch nicht genau, was sie da eigentlich einsetzen, wem ihre Daten gehören und was passiert wenn der Anbieter die Preise ändert oder den Dienst einstellt.

Dieser Artikel ist kein Marketing-Leitfaden. Er erklärt Schritt für Schritt wie eine seriöse KI-Implementierung in einem österreichischen Unternehmen aussieht, was dabei schiefgehen kann, und warum das Wort "lokal" je nach Anbieter etwas völlig anderes bedeutet.

Was "lokal" wirklich bedeutet — und was nicht

Wenn große Softwareanbieter wie SAP von "lokal gehosteter KI" sprechen, meinen sie: Die Daten bleiben in europäischen Rechenzentren von SAP. Das Modell läuft auf SAP-Infrastruktur in deiner Region. Klingt gut. Ist aber nach wie vor vollständig von SAP verwaltet, SAP hat Zugriff, und SAP ist ein US-amerikanisches Unternehmen mit Mutterfirma in Walldorf und Börsennotierung in den USA.

Das bedeutet in der Praxis: SAP unterliegt dem US CLOUD Act. US-Behörden können unter bestimmten Umständen Zugriff auf Daten verlangen, die auf Servern von US-Unternehmen liegen — auch wenn diese Server in Europa stehen. Das Schrems II Urteil des Europäischen Gerichtshofs hat das klargestellt: Standardvertragsklauseln allein reichen nicht als Schutz.

Echte lokale KI bedeutet etwas anderes. Das Modell läuft auf Hardware, die in euren Räumen oder eurem Serverraum steht. Keine externen Verbindungen während des Betriebs, kein Drittanbieter der Zugriff hat, keine monatliche Rechnung für Rechenzeit. Wer das Wort "lokal" verwendet, sollte ehrlich sein über was er damit meint.

Schritt 1: Den richtigen Use Case finden

Die häufigste Ursache für gescheiterte KI-Projekte ist kein technisches Problem, sondern ein inhaltliches: Man startet mit "wir wollen KI einsetzen" statt mit "wir wollen diesen konkreten Prozess verbessern".

Ein guter Use Case hat drei Eigenschaften. Erstens ist er messbar — es gibt einen klaren Vorher-Nachher-Vergleich. Zweitens ist er wiederholbar — nicht ein einmaliges Projekt, sondern ein Prozess der täglich oder wöchentlich läuft. Drittens ist er begrenzt — nicht "alle Kundenkommunikation automatisieren", sondern "Erstantworten auf Standard-Supportanfragen vorschlagen".

Konkrete Use Cases die österreichische Unternehmen heute produktiv einsetzen: Dokumentenanalyse (Verträge, Rechnungen, Angebote), interne Wissensassistenten die auf Firmendokumente zugreifen, automatische Zusammenfassung von Meetings und Protokollen, Vorbereitung von Angeboten aus Kundenanfragen, und Kundensupport-Triagierung bei höherem Aufkommen.

Was nicht funktioniert als Einstieg: Alles auf einmal, kreative Anwendungen ohne klaren Prozess dahinter, und Projekte die stark von der Qualität der Firmendaten abhängen bevor diese Daten überhaupt aufgeräumt sind.

Schritt 2: Die richtige Infrastrukturentscheidung treffen

Bevor man ein Modell wählt oder Hardware kauft, muss die grundlegende Frage beantwortet sein: Welche Daten verarbeitet das System?

Wenn die Antwort "keine personenbezogenen Daten, keine Betriebsgeheimnisse, keine vertraglichen Geheimhaltungspflichten" lautet, kann eine API wie GPT-5.4 von OpenAI ein schneller und günstiger Einstieg sein. Für ein erstes Pilotprojekt über einige Wochen ist das oft der pragmatische Weg.

Wenn die Antwort "Kundendaten, Mitarbeiterdaten, Verträge, medizinische Informationen oder Patente" lautet, ist die Entscheidung klarer. Diese Daten dürfen unter österreichischem und europäischem Recht nicht unkontrolliert an externe US-Dienstleister übertragen werden. Artikel 28 DSGVO verlangt einen Auftragsverarbeitungsvertrag, Artikel 44 ff. regelt Drittlandstransfers, und das Schrems II Urteil macht deutlich, dass US-Clouds kein gleichwertiges Schutzniveau bieten.

Für diese Unternehmen führt die saubere Lösung über eigene Hardware. Das muss nicht sofort ein vollständiges Rechenzentrum sein. Ein einzelner GPU-Server mit einem passenden Open-Source-Modell kann einen klar abgegrenzten Use Case vollständig lokal abdecken — DSGVO-konform, ohne laufende API-Kosten, ohne externen Zugriff.

Schritt 3: Das Modell wählen

Ein häufiger Irrtum: Man denkt, dass man für gute Ergebnisse die neuesten Modelle von OpenAI oder Anthropic braucht. Das stimmt für viele Unternehmensanwendungen nicht.

Open-Source-Modelle wie MiniMax-M2.5, Qwen3.5 oder gpt-oss-120b erreichen bei typischen Büroaufgaben Qualität auf Augenhöhe mit proprietären Diensten. Sie laufen vollständig auf eurer Hardware, sind einmalig zu bezahlen und können auf eure eigenen Daten feinabgestimmt werden.

Die Modellwahl hängt vom Use Case ab, nicht von einem Benchmark-Ergebnis:

Für einen internen Assistenten der Firmendokumente durchsucht und Fragen dazu beantwortet, reicht ein kompaktes Modell mit 120 Milliarden Parametern in Q4-Quantisierung auf einer einzelnen Karte mit 96 GB VRAM. Das kostet in unserer Konfiguration ab rund 15.000 Euro einmalig und läuft danach unbegrenzt für den Strompreis.

Für komplexere Aufgaben wie Vertragsanalyse mit langen Dokumenten, mehrstufige Agenten-Workflows oder parallele Nutzung durch größere Teams skaliert man auf zwei bis vier Karten. Die Modellseite auf inhausi.at/modelle zeigt welche Modelle auf welcher Hardware laufen und welche KV-Cache-Werte für die Planung der gleichzeitigen Nutzerzahl relevant sind.

Schritt 4: Das Setup

Von der Erstberatung bis zur lauffähigen Installation dauert es bei uns typischerweise zwei bis sechs Wochen. Wie das konkret aussieht:

In der Beratungsphase klären wir Use Case, Nutzerzahl, Kontextlänge und Datenschutzanforderungen. Daraus ergibt sich die Hardware-Konfiguration und die Modellauswahl. Dann wird die Hardware geliefert und bei euch vor Ort aufgebaut — oder in euren bestehenden Serverraum integriert.

Das Modell wird installiert, konfiguriert und getestet. Je nach Anforderung richten wir ein Chat-Interface für die Mitarbeiter ein, integrieren bestehende Tools wie euer Ticketsystem oder eure Wissensdatenbank, und bauen wo sinnvoll automatisierte Workflows. Einige Unternehmen wollen einen einfachen Chat, andere wollen einen Agenten der selbstständig Dokumente verarbeitet und kategorisiert.

Nach der Installation kommt das Onboarding der Mitarbeiter. Das ist kein optionaler Schritt. Seit Februar 2025 schreibt Artikel 4 des EU AI Acts vor, dass alle Mitarbeiter die KI-Systeme einsetzen ausreichend geschult sein müssen. Diese KI-Kompetenzpflicht gilt für jedes Unternehmen, unabhängig von Größe oder Branche.

Schritt 5: Laufender Betrieb und Updates

Das Modellfeld entwickelt sich schnell. Was heute State of the Art ist, wird in sechs Monaten überholt sein. Das ist kein Problem wenn man eigene Hardware hat — ein Modell-Update ist eine Sache von Stunden, nicht von Monaten Procurement-Prozess.

Wir übernehmen laufende Updates, remote oder vor Ort in Wien. Wenn ein besseres Modell erscheint das für den jeweiligen Use Case relevant ist, informieren wir unsere Kunden und setzen das Update auf Wunsch um. Die Hardware läuft weiter, nur das Modell wird ausgetauscht.

Fine-Tuning ist ein weiterer Schritt den viele Unternehmen nach einer ersten Betriebsphase in Betracht ziehen. Ein Modell das auf euren eigenen Dokumenten, eurer Fachsprache und euren Prozessen nachtrainiert wurde, liefert bei firmenspezifischen Anfragen deutlich bessere Ergebnisse als ein generisches Basismodell. Wir bieten das als separate Leistung an. Die Trainingsdaten verlassen dabei ebenfalls nicht das Unternehmen.

Was das rechtlich bedeutet — der AI Act im Überblick

Österreichische Unternehmen die KI einsetzen, müssen seit 2025 zwei parallele Regelwerke beachten.

Die DSGVO bleibt vollständig anwendbar sobald personenbezogene Daten verarbeitet werden. Das ändert der AI Act nicht. Wer Kundendaten, Mitarbeiterdaten oder andere personenbezogene Informationen in ein KI-System eingibt, braucht eine Rechtsgrundlage nach Artikel 6 DSGVO und bei externen Anbietern einen Auftragsverarbeitungsvertrag.

Der EU AI Act kommt dazu. Seit Februar 2025 gilt die KI-Kompetenzpflicht für alle Unternehmen. Seit August 2025 gelten Transparenzregeln für generative KI-Modelle. Ab August 2026 gelten alle Bestimmungen vollständig, inklusive strenger Anforderungen für Hochrisiko-KI-Systeme in Bereichen wie Personalwesen, Kreditvergabe und Gesundheit. Verstöße können mit bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes bestraft werden.

Lokale Infrastruktur vereinfacht die Compliance erheblich: Kein externer Auftragsverarbeiter, keine Drittland-Transfers, keine laufende Prüfung ob der Anbieter seine Datenschutzzusagen einhält. Die DSFA und andere Dokumentationspflichten bleiben bestehen, aber der größte Risikoherd — unkontrollierter Datenabfluss — entfällt strukturell.

Was es kostet und wann es sich rechnet

Österreichische Unternehmen die KI erstmals einsetzen, können Förderprogramme nutzen. KMU.DIGITAL des Bundes deckt bis zu 8.000 Euro für Beratung und erste Implementierung ab. Das aws AI-Start Programm fördert bis zu 150.000 Euro bei bis zu 80 Prozent Förderquote. Für Wien gibt es zusätzlich Programme der Wirtschaftsagentur Wien. Alle Anträge müssen vor Projektstart eingereicht werden.

Was die laufenden Kosten betrifft: Eine lokale Installation hat Einmalkosten für Hardware und Setup (ab ca. 15.000 Euro für einen Einzelserver), danach im Wesentlichen nur Stromkosten. Bei mittlerer Nutzung von fünf bis zwanzig Mitarbeitern amortisiert sich das gegenüber einer DSGVO-konformen EU-Cloud-Lösung wie AWS EU in sieben bis dreizehn Monaten. Gegenüber Azure EU in zwei bis vier Monaten.

Wer noch evaluiert ob KI zu den eigenen Prozessen passt, sollte mit einer API starten und die Kosten tracken. Wenn die monatliche Rechnung dauerhaft über 500 bis 800 Euro liegt und sensible Daten im Spiel sind, ist der Zeitpunkt für ein Gespräch über eigene Infrastruktur gekommen.

Der nächste Schritt

Wir beraten österreichische Unternehmen zu KI-Infrastruktur — kostenlos und ohne Verkaufsdruck. Wir klären Use Case, Hardware, Modell und rechtliche Anforderungen gemeinsam und geben eine ehrliche Empfehlung, auch wenn die Antwort "noch nicht" lautet.

Schreib uns unter office@inhausi.at oder nutze den Konfigurator für eine erste Einschätzung. Lieferung und Installation erfolgen vor Ort in Wien und Umgebung.