Systems Architect | Mechanistic Interpretability & AI Safety Specialist | High-Throughput Inference Engineering
Independent researcher and systems architect focusing on sovereign runtime resilience, local bare-metal inference, and mechanistic interpretability. My work bridges low-level accelerator telemetry (CUDA/ROCm, virtual memory management, distributed fabrics) with latent activation steering and critical infrastructure AI safety.
- Inference Engine Telemetry & Scaling: Cross-layer root-cause forensics for vLLM, SGLang, and FlashInfer (KV-cache & split-reduction mismatches, CUDA Graph lifecycle & module-eviction bugs, multi-process CUDA driver context taxes, distributed NCCL/MNNVL topologies).
- Mechanistic Interpretability & Latent Control: Neural weight patching (
down_proj,lm_head), activation steering, and deterministic safety override design for sovereign deployment. - Bare-Metal & Accelerated Infrastructure: Custom ROCm builds, NVIDIA Blackwell / MNNVL fabrics, kernel-level dispatch auditing, and memory-bandwidth bounded roofline optimization.
- Adversarial Resilience & Evaluation: White-box safety verification, constraint leakage analysis, and alignment stress-testing.
- inference-fail-lab – Systematic root-cause forensics, bare-metal verification matrices, and cross-layer dispatch audits across vLLM, SGLang, and FlashInfer on NVIDIA Blackwell (
GB10/GB300 NVL, SM103/SM121) and AMD CDNA/RDNA (gfx90a,gfx950/MI355X,gfx1100,gfx1201). Isolates Python scheduler-to-C++/ASM boundary failures and CUDA Graph replay hazards (vllm#67110/ PR#66444,vllm#62697/ PR#63735,sglang#51278,flashinfer#9670,flashinfer#6558/#7883). - BlackSky-Havarie / Venom – Open-source frameworks for mechanistic interpretability, latent control steering, and runtime emergency override.
- mistral-downproj-rlhf-patch – Targeted activation steering and surgical representation patching via projection subgraphs.
- Upstream Inference Telemetry – Root-cause isolation for high-worker VMM initialization bottlenecks on next-gen multi-node architectures (
sglang#45345/ PR#45384).
- Engines & Kernels: vLLM, SGLang, FlashInfer, llama.cpp, Triton, CuTeDSL, PyTorch
- Hardware & Drivers: AMD ROCm (RDNA3 / RDNA4 / CDNA2 / CDNA3.5), NVIDIA CUDA / Blackwell / MNNVL, Linux Bare-Metal, PCIe/Fabric Diagnostics
- Languages: Python, C/C++, Bash
- Locations: Karlsruhe, Germany | Makkah, Saudi Arabia
- ORCID: 0009-0005-8512-3839
- Languages: 🇩🇪 German (Native) | 🇺🇸 English (Fluent) | 🇸🇦 Arabic (Professional)
مهندس معماري للأنظمة | باحث في أمن الذكاء الاصطناعي والتفسير الميكانيكي | متخصص في كفاءة الاستدلال عالي الأداء
مهندس وباحث مستقل يركز على استقلالية تشغيل النماذج الكبيرة (LLMs)، وتحليل الآليات العصبية الداخلية (Mechanistic Interpretability)، والتحقق من موثوقية البنى التحتية الحساسة. يرتكز عملي على تحسين أداء المعالجات ومراقبة بروتوكولات الاتصال (CUDA / ROCm / MNNVL) وتوجيه التنشيط العصبي في النماذج محلياً.
- مختبر تحليل أعطال الاستدلال (inference-fail-lab): تحليل جذري للأعطال عبر طبقات البرمجيات (Python / C++ / CUDA / ROCm) في محركات vLLM و SGLang و FlashInfer على معماريات NVIDIA Blackwell و AMD MI355X.
- تحليل أعطال بيئات الاستدلال: تشخيص مشاكل الذاكرة وجدولة المهام في محركات الاستدلال المتقدمة (vLLM / SGLang).
- التفسير الميكانيكي وتعديل الأوزان: توجيه التنشيط العصبي الداخلي وهندسة بروتوكولات الأمان دون الاعتماد على السحابة.
- البنى التحتية الصلبة (Bare-Metal): بناء بيئات مخصصة لـ ROCm و CUDA، وتحليل كفاءة الذاكرة وعرض النطاق الترددي للشرائح الحوسبية.
