XAEDRO / Recherche

Recherche

Reproductibilité, évaluation et systèmes d’apprentissage efficaces.

Hakuli / Étude de reproductibilité

Recherche à la une / octobre 2026

Hakuli

Implémentation indépendante en clean room et étude de reproductibilité d’APOLLO pour entraîner des modèles LLM à moindre coût mémoire sur un GPU grand public unique.

Hakuli suit la méthode APOLLO publiée et ne revendique aucune nouveauté algorithmique. Lors d’une comparaison boîte noire à conditions identiques, Hakuli et l’implémentation officielle suivent des trajectoires proches sur 1 000 étapes d’optimisation.

Rapport technique / Evaristo Cordoba Ancajima / XAEDRO
PyTorch uniquement / licence Apache 2.0

Série exacte des données consignées
LLaMA-7B / batch 16 / séq. 256 / RTX 3090

Perte d’entraînement et de validation sur 1 000 étapes de l’optimiseur Séries exactes de perte d’entraînement et de validation de Hakuli et de l’implémentation officielle d’APOLLO sur 1 000 étapes de l’optimiseur. LLaMA-7B / BATCH 16 / SEQ 256 / RTX 3090 FIGURE 01 2.8 2.4 2.0 1.8 0 200 400 600 800 1,000 ÉTAPE DE L’OPTIMISEUR PERTE D’ENTROPIE CROISÉE CONTINU / ENTRAÎNEMENT TIRETS + POINT / VALIDATION VALIDATION FINALE / HAKULI 2.2055 APOLLO 2.1660
Tracé à partir des journaux d’entraînement et de validation publiés

Entreprise

Recherche indépendante
et ingénierie.

XAEDRO est une société indépendante de recherche en IA et de développement logiciel, basée en Argentine. Nous développons des logiciels commerciaux et étudions les systèmes de raisonnement, l’évaluation et l’apprentissage automatique efficace.