XAEDRO / रिसर्च

रिसर्च

पुनरुत्पादन, मूल्यांकन और कुशल लर्निंग सिस्टम।

Hakuli / पुनरुत्पादन अध्ययन

विशेष रिसर्च / अक्टूबर 2026

Hakuli

एक उपभोक्ता GPU पर मेमोरी-कुशल LLM प्रशिक्षण के लिए APOLLO का स्वतंत्र क्लीन-रूम कार्यान्वयन और पुनरुत्पादन अध्ययन।

Hakuli प्रकाशित APOLLO विधि का अनुसरण करता है और एल्गोरिदम में नवीनता का दावा नहीं करता। समान परिस्थितियों वाली ब्लैक-बॉक्स तुलना में 1,000 ऑप्टिमाइज़र चरणों पर Hakuli और आधिकारिक कार्यान्वयन क़रीब चलते हैं।

तकनीकी रिपोर्ट / Evaristo Cordoba Ancajima / XAEDRO
केवल PyTorch / Apache License 2.0

लॉग की सटीक श्रृंखला
LLaMA-7B / batch 16 / seq 256 / RTX 3090

ऑप्टिमाइज़र के 1,000 चरणों में प्रशिक्षण और सत्यापन हानि ऑप्टिमाइज़र के 1,000 चरणों में Hakuli और APOLLO के आधिकारिक कार्यान्वयन की सटीक प्रशिक्षण और सत्यापन हानि शृंखलाएँ। LLaMA-7B / BATCH 16 / SEQ 256 / RTX 3090 चित्र 01 2.8 2.4 2.0 1.8 0 200 400 600 800 1,000 ऑप्टिमाइज़र चरण क्रॉस-एंट्रॉपी हानि ठोस रेखा / प्रशिक्षण टूटी रेखा + बिंदु / सत्यापन अंतिम सत्यापन / HAKULI 2.2055 APOLLO 2.1660
रिपोर्ट किए गए प्रशिक्षण और वैलिडेशन लॉग से ग्राफ़

कंपनी

स्वतंत्र रिसर्च
और इंजीनियरिंग.

XAEDRO अर्जेंटीना की स्वतंत्र AI रिसर्च और सॉफ़्टवेयर कंपनी है। हम व्यावसायिक सॉफ़्टवेयर बनाते हैं और रीज़निंग सिस्टम, मूल्यांकन तथा कुशल मशीन लर्निंग पर शोध करते हैं।