XAEDRO / Forschung

Forschung

Reproduzierbarkeit, Evaluation und effiziente Lernsysteme.

Hakuli / Reproduzierbarkeitsstudie

Ricerca in evidenza / ottobre 2026

Hakuli

Un’implementazione indipendente in clean room e uno studio di riproducibilità di APOLLO per addestrare LLM con memoria efficiente su una singola GPU consumer.

Hakuli segue il metodo APOLLO pubblicato e non rivendica novità algoritmiche. In un confronto black-box a condizioni abbinate, Hakuli e l’implementazione ufficiale mostrano andamenti molto simili in 1.000 passaggi di ottimizzazione.

Bericht / Evaristo Cordoba Ancajima / XAEDRO
Nur PyTorch / Apache License 2.0

Exakte Messreihen
LLaMA-7B / batch 16 / seq 256 / RTX 3090

Trainings- und Validierungsverlust über 1.000 Optimierungsschritte Exakte Trainings- und Validierungsverlustreihen für Hakuli und die offizielle APOLLO-Implementierung über 1.000 Optimierungsschritte. LLaMA-7B / BATCH 16 / SEQ 256 / RTX 3090 ABBILDUNG 01 2.8 2.4 2.0 1.8 0 200 400 600 800 1,000 OPTIMIERUNGSSCHRITT KREUZENTROPIEVERLUST DURCHGEZOGEN / TRAINING GESTRICHELT + PUNKT / VALIDIERUNG ABSCHLIESSENDE VALIDIERUNG / HAKULI 2.2055 APOLLO 2.1660
Diagramm auf Basis der berichteten Trainings- und Validierungsprotokolle

Unternehmen

Unabhängige Forschung
und Entwicklung.

XAEDRO ist ein unabhängiges KI-Forschungs- und Softwareunternehmen mit Sitz in Argentinien. Wir entwickeln kommerzielle Software und erforschen Reasoning-Systeme, Evaluation und effizientes Machine Learning.