تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى ثورة تقنية التعاون اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى في عتبة التكنولوجيا، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلي. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا من قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعله "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.

يعتبر التدريب المركزي الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة محلية عالية الأداء، بدءًا من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعة، وصولاً إلى جميع مكونات إطار التدريب التي تنسقها نظام تحكم موحد. تجعل هذه البنية التحتية المتعمقة التعاون كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآلية التحمل في مواجهة الأخطاء تصل إلى أقصى قدر من الكفاءة، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT و Gemini، حيث تتمتع بمزايا الكفاءة العالية، ومراقبة الموارد، لكنها تواجه في نفس الوقت مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، مما يتجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أن لديها خصائص "موزعة" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية تتحكم في الجدولة والتزامن، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق جميع المهام الفرعية. تشمل الطرق السائدة:

• التوازي في البيانات: تدريب كل عقدة على معلمات بيانات مختلفة مع مشاركة المعلمات، ويجب مطابقة أوزان النموذج.
• التوازي في النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع القوية
• تنفيذ متسلسل على مراحل: زيادة السعة من خلال تنفيذ متوازٍ
• التوازي بالموتر: تقسيم دقيق لحسابات المصفوفة، لتعزيز دقة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو يشبه توجيه نفس المدير عن بُعد لموظفي "المكاتب" المتعددين للعمل معًا لإكمال المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.

اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. وتتمثل سماته الأساسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب دون وجود منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتساعد آليات التحفيز المشفرة على ضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:

• صعوبة تباين الأجهزة وتقسيم المهام: صعوبة تنسيق الأجهزة غير المتجانسة، وانخفاض كفاءة تقسيم المهام
• اختناق كفاءة الاتصال: الاتصال الشبكي غير مستقر، واختناق مزامنة التدرج واضح
• نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب
• نقص التنسيق الموحد: لا يوجد جهاز مركزي للتوجيه، توزيع المهام، وآلية التراجع عن الأخطاء معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل منهم بقوة الحوسبة لتدريب النموذج بشكل تعاوني، ولكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بمستويات متعددة مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، آليات الاقتصاد، والتحقق من النموذج، لكن إمكانية "التعاون الفعال + تحفيز النزاهة + صحة النتائج" لا تزال في مرحلة الاستكشاف الأولي للنموذج.

تعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا، وتجميع معلمات النموذج مركزيًا، مما يجعله مناسبًا للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرات التعاون المحلي، وفي نفس الوقت يتمتع بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث يكون في مهام التدريب، وهيكل الثقة وآلية الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من حيث نمط التدريب، لا يناسب التدريب اللامركزي جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، والاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه ليس من المناسب بطبيعته إنجازه بكفاءة بين العقد غير المتجانسة و غير الموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وزمن استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة تكون مقيدة بالقوانين والامتثال الأخلاقي، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود مجتمعة القيود الواقعية الحالية للتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فرضية زائفة. في الواقع، في أنواع المهام الخفيفة الهيكلية، السهلة التوازي، والمحفزة، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA الدقيق، مهام التدريب اللاحقة المعنية بمحاذاة السلوك، تدريب وتسمية البيانات بواسطة الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتمتع عمومًا بخصائص عالية التوازي، وانخفاض التداخل، وتحمل القدرة الحسابية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.

اللامركزية تدريب المشاريع الكلاسيكية تحليل

في الوقت الحالي، تشمل المشاريع البارزة في مجالات التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة في البحث النظري الحالي؛ بينما تكون مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن ملاحظة تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة تباعًا، وستستكشف أيضًا الفروق والعلاقات التكميلية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.

Prime Intellect: رائد الشبكة التعاونية للتعلم المعزز القابل للتحقق من مسار التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب على الذكاء الاصطناعي لا تحتاج إلى الثقة، مما يسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في إنشاء نظام تدريب على الذكاء الاصطناعي اللامركزي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة من خلال ثلاثة وحدات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.

أولاً، هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية

ثانياً، شرح آلية التدريب الرئيسية لـ Prime Intellect

PRIME-RL: هيكل مهمة التعلم المعزز اللامركزي غير المتزامن

PRIME-RL هو إطار نمذجة المهام والتنفيذ المخصص من Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف أولوي، حيث يفصل هيكليًا بين عمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنةً بعمليات التعلم تحت الإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن

TOPLOC هو آلية مركزية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كانت العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنها تحول لأول مرة المسارات السلوكية أثناء عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة، مما يوفر مسارًا قابلًا للتنفيذ لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع ونقل الوزن غير المتزامن

SHARDCAST هو بروتوكول نشر وتجميع الوزن المصمم بواسطة Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، والقيود على عرض النطاق، وتغير حالة العقد. يجمع بين آلية نشر القيل والقال واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل ملحوظ قابلية التوسع وقدرة التحمل للتعلم اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتدريب المستمر.

OpenDiLoCo: إطار الاتصال غير المتزامن النادر

OpenDiLoCo هو إطار تحسين الاتصالات الذي أنجزه فريق Prime Intellect بناءً على مفهوم DiLoCo المقدم من DeepMind، وهو مفتوح المصدر ومستقل، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية متفرقة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصال الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. من خلال الجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo وحدات GPU الاستهلاكية والأجهزة الطرفية قادرة على المشاركة المستقرة في مهام التدريب، مما يعزز بشكل كبير قابلية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الاتصالية الأساسية لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف الذي تعاني منه مكتبات الاتصالات التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، ضغط التدرج، المزامنة ذات الدقة المنخفضة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ من تحمل النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.

ثالثاً، شبكة Prime Intellect والحوافز وأدوار العمل

بني Prime Intellect شبكة تدريب قابلة للتحقق بدون إذن، مزودة بآلية تحفيز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:

• مُبَادِر المهام: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب ، والمشاركة في حساب المكافآت وتجمع الاستراتيجيات

تتضمن العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

رابعاً، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزي

أصدر Prime Intellect INTELLECT-2 في مايو 2025، وهو النموذج الكبير للتعلم المعزز الأول في العالم الذي تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، حيث يصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون مع أكثر من 100 عقدة GPU هرمية منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستمر التدريب لأكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق من حيث الأداء، بل هو أيضًا أول تطبيق منظم لنموذج "التدريب هو توافق" الذي اقترحه Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يمثل تحقيقًا لأول مرة لشبكة تدريب لامركزية.