XAEDRO / Ricerca

Ricerca

Riproducibilità, valutazione e sistemi di apprendimento efficienti.

Hakuli / Studio di riproducibilità

Ricerca in evidenza / ottobre 2026

Hakuli

Un’implementazione indipendente in clean room e uno studio di riproducibilità di APOLLO per l’addestramento efficiente in memoria di LLM su una singola GPU consumer.

Hakuli segue il metodo APOLLO pubblicato e non rivendica novità algoritmiche. In un confronto black-box a condizioni abbinate, Hakuli e l’implementazione ufficiale presentano andamenti molto simili per 1.000 passaggi di ottimizzazione.

Rapporto tecnico / Evaristo Cordoba Ancajima / XAEDRO
Solo PyTorch / Licenza Apache 2.0

Serie registrate esatte
LLaMA-7B / batch 16 / seq 256 / RTX 3090

Perdita di addestramento e validazione su 1.000 passi dell’ottimizzatore Serie esatte della perdita di addestramento e validazione di Hakuli e dell’implementazione ufficiale di APOLLO su 1.000 passi dell’ottimizzatore. LLaMA-7B / BATCH 16 / SEQ 256 / RTX 3090 FIGURA 01 2.8 2.4 2.0 1.8 0 200 400 600 800 1,000 PASSO DELL’OTTIMIZZATORE PERDITA DI ENTROPIA INCROCIATA CONTINUA / ADDESTRAMENTO TRATTEGGIATA + PUNTO / VALIDAZIONE VALIDAZIONE FINALE / HAKULI 2.2055 APOLLO 2.1660
Grafico basato sui log di training e validazione riportati

Azienda

Ricerca indipendente
e sviluppo.

XAEDRO è un’azienda indipendente di ricerca sull’IA e sviluppo software con sede in Argentina. Sviluppiamo software commerciale e studiamo sistemi di ragionamento, valutazione e machine learning efficiente.