Deployment Matrix for Critical Infrastructure and Defence: Kolibri-1, Qwen3.6 and Mistral Small 4 on a Deterministic German Rule-Application Benchmark
Abstract
English Three language models (Aleph Alpha Kolibri-1, Qwen3.6-35B-A3B, Mistral Small 4) were compared on one H200 with vLLM 0.29.0 on a synthetic German rule-application benchmark. Each question comes with its source passages plus three distractors, so the test measures reading and rule application, not knowledge stored in the weights. Scoring is deterministic (Stage A); the semantic Stage B was not run. Main findings. With thinking enabled, Qwen3.6 detects 86% of conflicting regulations, Mistral Small 4 46% and Kolibri-1 39%. False statements on conflict and gap questions: Qwen 6.9%, Kolibri 12.5%, Mistral 23.7%. Without thinking, all three fail on conflicts (0–5% correct). Qwen needs the longest wait (26–53 s to first answer) and the most energy; Kolibri-1 is the most economical (143–197 J per correct answer with thinking). The pre-registered hypotheses H3 and H4 were not supported. There is no overall winner. Limits. Synthetic corpus, no real service regulations; Stage A only; unequal active parameters; Kolibri ran with an FP8 KV cache; origin, licence and NIS2/GDPR conformity of the models were not measured. This is decision support on test data, not an approval. Related work: Kolibri-1 Praxistest, Kolibri-1 Audit Report. Raw data, pre-registrations and SHA-256 checksums are included; the test and scoring scripts are withheld and available on request to authorised parties (see section "Evidence" in the report). Deutsch Drei Sprachmodelle (Aleph Alpha Kolibri-1, Qwen3.6-35B-A3B, Mistral Small 4) wurden auf einer H200 mit vLLM 0.29.0 an einem synthetischen deutschen Regelanwendungstest verglichen. Jede Frage enthält ihre Fundstellen plus drei Ablenker; gemessen werden also Lesen und Regelanwendung, nicht Wissen aus den Gewichten. Die Bewertung ist deterministisch (Stufe A); die semantische Stufe B wurde nicht ausgeführt. Hauptbefunde. Mit Nachdenken erkennt Qwen3.6 86 % der Vorschriftenwidersprüche, Mistral Small 4 46 % und Kolibri-1 39 %. Falsche Aussagen bei Widerspruchs- und Lückenfragen: Qwen 6,9 %, Kolibri 12,5 %, Mistral 23,7 %. Ohne Nachdenken scheitern alle drei bei Widersprüchen (0–5 % richtig). Qwen braucht die längste Wartezeit (26–53 s bis zur ersten Antwort) und die meiste Energie; Kolibri-1 ist am sparsamsten (143–197 J je richtiger Antwort mit Nachdenken). Die vorab registrierten Hypothesen H3 und H4 wurden nicht gestützt. Einen Gesamtsieger gibt es nicht. Grenzen. Synthetischer Korpus, keine echten Dienstvorschriften; nur Stufe A; ungleiche Aktivparameter; Kolibri lief mit FP8-KV-Cache; Herkunft, Lizenz und NIS2/DSGVO-Konformität der Modelle wurden nicht gemessen. Es ist eine Entscheidungshilfe auf Testdaten, keine Freigabe. Verwandte Arbeiten: Kolibri-1 Praxistest, Kolibri-1 Audit Report. Rohdaten, Vorab-Registrierungen und SHA-256-Prüfsummen liegen bei; die Test- und Bewertungsskripte werden zurückgehalten und auf Anfrage an autorisierte Personen herausgegeben (siehe Abschnitt „Nachweis“ im Bericht). الملخص (بالعربية) قارنت هذه الدراسة بين ثلاثة نماذج لغوية (Kolibri-1 من Aleph Alpha وQwen3.6-35B-A3B وMistral Small 4) على وحدة معالجة رسومية واحدة من طراز H200 باستخدام vLLM 0.29.0، وذلك في اختبار اصطناعي لتطبيق القواعد باللغة الألمانية. يتضمن كل سؤال المقاطع المصدرية ذات الصلة مع ثلاثة مشتتات، لذا يقيس الاختبار القراءة وتطبيق القواعد، لا المعرفة المخزّنة في الأوزان. التقييم حتمي (المرحلة أ)، ولم تُنفَّذ المرحلة الدلالية (المرحلة ب). عند تفعيل التفكير اكتشف Qwen3.6 نسبة 86% من التعارضات بين اللوائح، مقابل 46% لـ Mistral Small 4 و39% لـ Kolibri-1. وكانت نسبة العبارات الخاطئة في أسئلة التعارض والنقص 6.9% لـ Qwen و12.5% لـ Kolibri و23.7% لـ Mistral. وعند إيقاف التفكير فشلت النماذج الثلاثة جميعها في حالات التعارض (0 إلى 5% إجابات صحيحة). يحتاج Qwen إلى أطول زمن انتظار وأكبر قدر من الطاقة، بينما يتميّز Kolibri-1 بأقل استهلاك للطاقة. لم تُؤيَّد الفرضيتان H3 وH4 المسجّلتان مسبقاً، ولا يوجد فائز واحد شامل. حدود الدراسة: مدوّنة اصطناعية دون لوائح خدمة حقيقية، والمرحلة أ فقط، وتفاوت في عدد المعاملات النشطة، وتشغيل Kolibri بذاكرة KV بصيغة FP8. لم تُقَس جهة المنشأ ولا الترخيص ولا الامتثال لـ NIS2 وGDPR. والدراسة أداة مساعدة للقرار على بيانات اختبار، وليست موافقة أو اعتماداً.