XAEDRO / Badania

Badania

Odtwarzalność, ewaluacja i wydajne systemy uczenia.

Hakuli / Badanie odtwarzalności

Wyróżnione badanie / październik 2026

Hakuli

Niezależna implementacja typu clean-room i badanie odtwarzalności APOLLO do pamięciooszczędnego trenowania modeli LLM na pojedynczym konsumenckim GPU.

Hakuli realizuje opublikowaną metodę APOLLO i nie przypisuje sobie nowości algorytmicznej. W dopasowanym porównaniu black-box wyniki Hakuli i oficjalnej implementacji przebiegają podobnie przez 1 000 kroków optymalizatora.

Raport techniczny / Evaristo Cordoba Ancajima / XAEDRO
Tylko PyTorch / Apache License 2.0

Dokładna seria z logów
LLaMA-7B / batch 16 / seq 256 / RTX 3090

Strata treningowa i walidacyjna w ciągu 1000 kroków optymalizatora Dokładne szeregi strat treningowych i walidacyjnych Hakuli oraz oficjalnej implementacji APOLLO w ciągu 1000 kroków optymalizatora. LLaMA-7B / BATCH 16 / SEQ 256 / RTX 3090 RYSUNEK 01 2.8 2.4 2.0 1.8 0 200 400 600 800 1,000 KROK OPTYMALIZATORA STRATA ENTROPII KRZYŻOWEJ CIĄGŁA / TRENING PRZERYWANA + PUNKT / WALIDACJA WALIDACJA KOŃCOWA / HAKULI 2.2055 APOLLO 2.1660
Wykres na podstawie udostępnionych logów treningowych i walidacyjnych

Firma

Niezależne badania
i inżynieria.

XAEDRO to niezależna firma badawcza i programistyczna AI z siedzibą w Argentynie. Tworzymy oprogramowanie komercyjne i badamy systemy wnioskowania, ewaluację oraz wydajne uczenie maszynowe.