बाईडू यांनी सोमवारी ओपन-सोर्समध्ये आर्टिफिशियल इंटेलिजेंस (एआय) मॉडेल्सची एर्नी 4.5 मालिका रिलीज केली. चिनी टेक जायंटने यापूर्वी असे म्हटले होते की ते 31 जुलै रोजी ओपन समुदायासाठी मालकीचे मोठ्या भाषेचे मॉडेल (एलएलएम) उपलब्ध करेल. आता या मालिकेचे 10 वेगवेगळे रूपे जारी केल्या आहेत, ज्यात प्रत्येक मॉडेलचे मिश्रण (एमओई) आर्किटेक्चरवर तयार केले गेले आहे. मॉडेल्ससह, कंपनीने ओपन सोर्समध्ये एर्नी 4.5 साठी मल्टी-हार्डवेअर डेव्हलपमेंट टूलकिट देखील जारी केले आहेत.
बाईडू ओपन सोर्समध्ये एर्नी 4.5 एआय मॉडेलचे 10 रूपे रिलीझ करते
मध्ये मध्ये पोस्ट एक्स वर (पूर्वी ट्विटर म्हणून ओळखले जाते), चिनी टेक जायंटने 10 ओपन-सोर्स एर्नी 4.5 एआय मॉडेल्सच्या रिलीझची घोषणा केली. त्यापैकी चार मल्टीमोडल व्हिजन-लँग्वेज मॉडेल आहेत, आठ एमओई मॉडेल आहेत आणि दोन विचार किंवा तर्क मॉडेल आहेत. याव्यतिरिक्त, या यादीमध्ये पाच-प्रशिक्षित मॉडेल देखील समाविष्ट आहेत, तर इतर पूर्व-प्रशिक्षित आहेत. ही मॉडेल्स आता कंपनीच्या मिठीच्या चेहर्यावरून डाउनलोड केली जाऊ शकतात सूची किंवा त्याच्या गिटहब पासून सूची?
मध्ये मध्ये ब्लॉग पोस्टबाडू म्हणाले की एमओई मॉडेलमध्ये एकूण 47 अब्ज मापदंड आहेत, त्यापैकी तीन अब्ज एकावेळी सक्रिय आहेत. 10 प्रकारांमधील सर्वात मोठ्या मॉडेल्समध्ये 424 अब्ज पॅरामीटर्स आहेत. त्या सर्वांना पॅडलपॅडल डीप लर्निंग फ्रेमवर्कचा वापर करून प्रशिक्षण दिले जाते.
अंतर्गत चाचणीच्या आधारे, कंपनीने दावा केला की एर्नी -4.5-300 बी-ए 47 बी-बेस मॉडेल 28 पैकी 22 बेंचमार्कवर दीपसीक-व्ही 3-671 बी-ए 37 बी-बेसला मागे टाकतो. त्याचप्रमाणे, असा दावा केला आहे की एर्नी -4.5-21 बी-ए 3 बी-बेसने 30 टक्के कमी पॅरामीटर्स असूनही एकाधिक गणित आणि तर्क बेंचमार्कवर क्वेन 3-30 बी-ए 3 बी-बेस आउटफॉर्म केले आहेत.
बाईडू यांनी मॉडेल पृष्ठांवर त्याच्या प्रशिक्षण पद्धती देखील उघड केल्या. कंपनीने प्री-ट्रेनिंग प्रक्रियेमध्ये एक विषम एमओई स्ट्रक्चर वापरली आणि इंट्रा-नोड तज्ञ समांतरता, मेमरी-कार्यक्षम पाइपलाइन शेड्यूलिंग, एफपी 8 मिश्रित-प्रशिक्षण प्रशिक्षण आणि एक दंड-दाणेदार रीकॉम्पुटेशन पद्धत वापरुन मॉडेल्स मोजली.
मॉडेल्स व्यतिरिक्त, बाईडू यांनी एर्नीकीटला मुक्त समुदायाला उपलब्ध करुन दिले आहे. हे एर्नी 4.5 मालिका मॉडेल्ससाठी डेव्हलपमेंट टूलकिट आहे. यासह, विकसक प्री-ट्रेनिंग, पर्यवेक्षी फाइन-ट्यूनिंग (एसएफटी), लो-रँक अॅडॉप्टेशन (एलओआरए) आणि इतर सानुकूलन तंत्र करू शकतात. उल्लेखनीय म्हणजे, सर्व मॉडेल्स परमिसिव्ह अपाचे 2.0 परवान्याअंतर्गत उपलब्ध आहेत, जे शैक्षणिक आणि व्यावसायिक दोन्ही वापरास अनुमती देते.
