XAEDRO / 研究

研究

再現性、評価、効率的な学習システム。

Hakuli / 再現性研究

注目の研究 / 2026年10月

Hakuli

単一の市販GPUでLLMを省メモリ学習するAPOLLOの、独立したクリーンルーム実装と再現性研究。

Hakuliは公開されたAPOLLOの手法に従っており、アルゴリズム上の新規性を主張しません。条件をそろえたブラックボックス比較では、Hakuliと公式実装は1,000回の最適化ステップにわたり近い推移を示しました。

技術レポート / Evaristo Cordoba Ancajima / XAEDRO
PyTorchのみ / Apache License 2.0

ログの正確な系列
LLaMA-7B / batch 16 / seq 256 / RTX 3090

最適化1,000ステップにおける学習損失と検証損失 最適化1,000ステップにおけるHakuliとAPOLLO公式実装の学習損失・検証損失の正確な系列。 LLaMA-7B / BATCH 16 / SEQ 256 / RTX 3090 図01 2.8 2.4 2.0 1.8 0 200 400 600 800 1,000 最適化ステップ 交差エントロピー損失 実線 / 学習 破線+点 / 検証 最終検証 / HAKULI 2.2055 APOLLO 2.1660
報告された学習・検証ログから作成したグラフ

会社情報

独立した研究
とエンジニアリング.

XAEDROはアルゼンチンを拠点とする独立系AI研究・ソフトウェア企業です。商用ソフトウェアを開発し、推論システム、評価手法、効率的な機械学習を研究しています。