الذكاء الاصطناعي x العملات الرقمية: من الصفر إلى القمة
يعتبر البعض التطور السريع في صناعة الذكاء الاصطناعي مؤخرًا بمثابة الثورة الصناعية الرابعة. أدى ظهور نماذج اللغة الكبيرة إلى تحسين كبير في كفاءة مختلف الصناعات، حيث يُقدّر أنها زادت كفاءة العمل في الولايات المتحدة بحوالي 20%. في الوقت نفسه، يُعتبر القدرة على التعميم التي توفرها النماذج الكبيرة نموذج تصميم برمجي جديد، مختلف عن تصميم الشفرات الدقيقة السابقة، حيث يتم دمج إطار النماذج الكبيرة الأكثر تعميمًا في البرمجيات، مما يتيح للبرمجيات تقديم أداء أفضل ودعم مجموعة واسعة من المدخلات والمخرجات. لقد جلبت تقنيات التعلم العميق بالفعل جولة جديدة من الازدهار لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
سيستعرض هذا التقرير بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، وأثر اختراع تقنية التعلم العميق على الصناعة. ثم سيتم تحليل الوضع الحالي والاتجاهات في سلسلة التوريد لصناعة التعلم العميق، بما في ذلك GPU، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. بعد ذلك، سيتم مناقشة العلاقة الجوهرية بين صناعة التشفير والذكاء الاصطناعي، مع استعراض هيكل سلسلة التوريد المتعلقة بالذكاء الاصطناعي في مجال التشفير.
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي في خمسينيات القرن الماضي، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة ومن خلفيات علمية متنوعة، العديد من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة مصطلح "تعلم الآلة"، وتتمثل فكرة هذه التقنية في تمكين الآلات من تحسين أداء النظام من خلال تكرار المهام اعتمادًا على البيانات. الخطوات الرئيسية هي إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ التلقائية.
توجد ثلاثة تيارات رئيسية في تعلم الآلة حاليًا، وهي الاتصاليات، الرمزية، والسلوكية، والتي تحاكي على التوالي النظام العصبي البشري، والتفكير، والسلوك.
والآن، تحتل الشبكات العصبية، التي تمثلها الربطية، الصدارة ( والمعروفة أيضًا بالتعلم العميق )، والسبب الرئيسي هو أن هذه البنية تحتوي على طبقة إدخال وطبقة إخراج، ولكن لديها عدة طبقات مخفية، وعندما يصبح عدد الطبقات وعدد الخلايا العصبية ( والمعلمات ) كافيًا، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وبعد المرور عبر عدة بيانات، ستصل هذه الخلايا العصبية إلى حالة مثالية ( المعلمات )، وهذا ما يسمى "الجهد الكبير يؤدي إلى معجزات"، وهذا هو أصل كلمة "عميق" — عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهمه ببساطة على أنه تم إنشاء دالة، وعندما ندخل X=2 تكون Y=3؛ وعندما X=3 تكون Y=5. إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين علينا إضافة درجة هذه الدالة ومعاملاتها باستمرار. على سبيل المثال، يمكنني إنشاء دالة تلبي هذا الشرط وهي Y = 2X -1، ولكن إذا كان هناك بيانات مثل X=2، Y=11، فسيتعين علينا إعادة بناء دالة تناسب هذه النقاط الثلاثة. باستخدام GPU للكسر العنيف، نجد أن Y = X2 -3X +5 هو الأنسب، ولكن ليس من الضروري أن يتطابق تمامًا مع البيانات، يكفي أن تلتزم بالتوازن وأن تكون النتائج متشابهة تقريبًا. هنا، X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معاملاتها.
في هذه الحالة، إذا قمنا بإدخال كميات كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية، وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة يمكننا ملاءمة جميع البيانات.
تكنولوجيا التعلم العميق القائمة على الشبكات العصبية شهدت أيضًا عدة تكرارات وتطورات تقنية، مثل الشبكات العصبية المبكرة في الصورة أعلاه، الشبكات العصبية التغذية الأمامية، RNN، CNN، وGAN التي تطورت أخيرًا إلى النماذج الكبيرة الحديثة مثل GPT وما إلى ذلك باستخدام تقنية Transformer. تقنية Transformer هي مجرد اتجاه تطور واحد للشبكات العصبية، حيث أضافت محولًا ( Transformer )، يستخدم لترميز جميع الأنماط ( مثل الصوت والفيديو والصور وما إلى ذلك ) إلى قيم عددية تمثلها. ثم يتم إدخالها إلى الشبكة العصبية، بحيث يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعددية الأنماط.
مرّت تطورات الذكاء الاصطناعي بثلاث موجات تقنية، كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من طرح تقنيات الذكاء الاصطناعي. نشأت هذه الموجة نتيجة لتطور تقنيات الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والتفاعل بين الإنسان والآلة. في نفس الفترة، وُلدت أنظمة الخبراء، وهي نظام مهم في مجال المعرفة الكيميائية، حيث يمتلك هذا النظام معرفة كيميائية قوية جداً، ويستنتج الإجابات من خلال الأسئلة كما يفعل الخبراء الكيميائيون. يمكن اعتبار نظام الخبراء الكيميائي بمثابة دمج لمكتبة المعرفة الكيميائية ونظام الاستنتاج.
بعد نظام الخبراء، في التسعينيات، اقترح جوديا بيرل ( Judea Pearl ) الشبكات البايزية، والتي تُعرف أيضًا بشبكات الاعتقاد. في نفس الفترة، اقترح بروكس الروبوتات المعتمدة على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم ذكاء اصطناعي في الشطرنج بواقع 3.5:2.5 بطل الشطرنج كاسباروف (Kasparov)، واعتبرت هذه الانتصار علامة فارقة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة من التطور.
حدثت الموجة الثالثة من تقنية الذكاء الاصطناعي في عام 2006. قدم الثلاثي الرائد في التعلم العميق يان ليكون وجيفري هينتون ويوشوا بنجيو مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيلات البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، حيث شكلت هذه الخوارزميات معاً هذه الموجة التقنية الثالثة، وكانت هذه أيضاً فترة ازدهار الارتباطية.
ظهرت العديد من الأحداث البارزة بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام الذكاء الاصطناعي البشر وحصل على البطولة في برنامج اختبار الإجابة "خطر" (Jeopardy).
في عام 2014، اقترح Goodfellow شبكة GAN( التوليدية التنافسية، Generative Adversarial Network)، والتي تتعلم من خلال جعل شبكتين عصبيتين تتنافسان ضد بعضهما البعض، مما يمكنها من إنشاء صور تبدو واقعية للغاية. في الوقت نفسه، كتب Goodfellow أيضًا كتابًا بعنوان "Deep Learning"، الذي يُعرف باسم الكتاب الزهري، وهو واحد من الكتب الأساسية في مجال التعلم العميق.
في عام 2015، قدم هينتون وآخرون خوارزمية التعلم العميق في مجلة "Nature"، وقد أثار طرح هذه الطريقة في التعلم العميق ردود فعل كبيرة على الفور في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء OpenAI، وأعلن العديد من الشخصيات البارزة عن استثمار مشترك قدره مليار دولار.
في عام 2016، خاض برنامج AlphaGo المعتمد على تقنية التعلم العميق معركة شطرنج ضد بطل العالم في لعبة الشطرنج، اللاعب المحترف ذو التسعة دان لي شي شي، وحقق الفوز بنتيجة 4-1.
في عام 2017، طورت شركة تكنولوجيا روبوتات شبيهة بالبشر تُدعى صوفيا، والتي تُعتبر أول روبوت يحصل على صفة المواطن من الدرجة الأولى في التاريخ، ولديه تعبيرات وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت Google ورقة بعنوان "الاهتمام هو كل ما تحتاجه" وقدمت خوارزمية Transformer، وبدأت النماذج اللغوية الكبيرة في الظهور.
في عام 2018، أصدرت OpenAI نموذج GPT( Generative Pre-trained Transformer) المبني على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت مجموعة Google DeepMind AlphaGo المعتمدة على التعلم العميق، والتي تستطيع التنبؤ بهياكل البروتين، وتعتبر علامة بارزة للتقدم الكبير في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، تم تطوير GPT-3 بواسطة OpenAI، والذي يحتوي على 175 مليار معلمة، وهو أعلى بمقدار 100 مرة من الإصدار السابق GPT-2، وقد تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت OpenAI نموذج GPT-4، الذي يحتوي على 1.76 تريليون معلمة، وهو عشرة أضعاف GPT-3.
تم إطلاق تطبيق ChatGPT القائم على نموذج GPT-4 في يناير 2023، وفي مارس، وصل عدد مستخدمي ChatGPT إلى مئة مليون، ليصبح التطبيق الأسرع في التاريخ للوصول إلى مئة مليون مستخدم.
في عام 2024، أطلقت OpenAI GPT-4 أومني.
ملاحظة: نظرًا لوجود العديد من الأوراق المتعلقة بالذكاء الاصطناعي، والعديد من المدارس الفكرية، وتنوع تطور التقنيات، فإن التركيز هنا سيكون بشكل رئيسي على تاريخ تطور التعلم العميق أو الارتباطية، بينما لا تزال المدارس والتقنيات الأخرى في مرحلة التطور السريع.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
سلسلة صناعة التعلم العميق
تستخدم نماذج اللغة الكبيرة الحالية جميعها أساليب التعلم العميق القائمة على الشبكات العصبية. لقد أدى ظهور النماذج الكبيرة، بقيادة GPT، إلى موجة من الذكاء الاصطناعي، حيث تدفق عدد كبير من اللاعبين إلى هذا المجال. كما اكتشفنا أن السوق بحاجة ماسة إلى البيانات والقدرة الحاسوبية، ولذلك في هذا الجزء من التقرير، نستكشف بشكل أساسي سلسلة القيمة لخوارزميات التعلم العميق. في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، كيف تتكون السلسلة العليا والسفلى، وما هي الحالة الحالية لعلاقات العرض والطلب، وما هي التطورات المستقبلية.
أولاً، يجب أن نكون واضحين أنه عند إجراء تدريب نماذج LLMs الكبيرة القائمة على تقنية Transformer، التي تقودها GPT، يتم تقسيم العملية إلى ثلاثة خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، فإن المحول يحتاج إلى تحويل إدخال النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية باسم Token. وفقًا للقواعد التجريبية العامة، يمكن اعتبار كلمة إنجليزية أو حرف واحد بشكل تقريبي Token واحد، بينما يمكن اعتبار كل حرف صيني بشكل تقريبي كـ Tokenين. هذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال إعطاء طبقة الإدخال عددًا كافيًا من أزواج البيانات، مشابهة لتلك المذكورة في الجزء الأول من التقرير مثل )X,Y(، للبحث عن أفضل المعلمات لكل خلية عصبية تحت هذا النموذج، يحتاج هذا إلى كمية كبيرة من البيانات، وتعتبر هذه العملية أيضًا الأكثر استهلاكًا للطاقة الحاسوبية، لأن الخلايا العصبية تحتاج إلى تكرار المحاولة مع معلمات مختلفة. بعد اكتمال تدريب مجموعة بيانات واحدة، يتم عادةً استخدام نفس مجموعة البيانات للتدريب الثاني من أجل تحسين المعلمات.
الخطوة الثانية، التعديل الدقيق. التعديل الدقيق هو إعطاء مجموعة صغيرة ولكن عالية الجودة من البيانات للتدريب، مثل هذا التغيير سيجعل مخرجات النموذج ذات جودة أعلى، لأن التدريب المسبق يحتاج إلى كمية كبيرة من البيانات، لكن الكثير من البيانات قد تحتوي على أخطاء أو تكون ذات جودة منخفضة. خطوة التعديل الدقيق يمكن أن تعزز جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. سيتم أولاً إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط جدًا، وهو تصنيف نتائج المخرجات، لذا سيكون إنشاء هذا النموذج سهلاً نسبيًا، لأن سيناريو العمل عمودي للغاية. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، بحيث يمكن استخدام نموذج مكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ) ولكن في بعض الأحيان يحتاج الأمر أيضًا إلى تدخل بشري لتقييم جودة مخرجات النموذج (
باختصار، خلال عملية تدريب النموذج الكبير، هناك متطلبات عالية جدًا لكمية البيانات أثناء التدريب المسبق، كما أن القوة الحسابية لوحدات معالجة الرسومات المطلوبة تكون في أعلى مستوياتها، بينما يتطلب التعديل الدقيق بيانات ذات جودة أعلى لتحسين المعلمات، ويمكن أن يتكرر التعلم المعزز عبر نموذج مكافأة لتكرار المعلمات من أجل إنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زاد عدد المعلمات، ارتفعت قدرة التعميم إلى الحد الأقصى، على سبيل المثال، في المثال الذي نأخذه من الدالة Y = aX + b، في الواقع يوجد اثنان من الخلايا العصبية X و X0، لذلك فإن كيفية تغير المعلمات، فإن البيانات التي يمكنها التكيف بها محدودة للغاية، لأن جوهرها لا يزال خطاً مستقيماً. إذا زاد عدد الخلايا العصبية، يمكننا تكرار المزيد من المعلمات، مما يمكننا من التكيف مع المزيد من البيانات، وهذا هو السبب في أن النماذج الكبيرة تحقق معجزات، وهذا أيضاً هو السبب في أن الاسم الشائع للنموذج الكبير هو في الأساس عدد هائل من الخلايا العصبية والمعلمات، وكمية هائلة من البيانات، مع الحاجة إلى كمية هائلة من القدرة الحاسوبية.
لذلك، يعتمد أداء النماذج الكبيرة بشكل رئيسي على ثلاثة جوانب: عدد المعلمات، كمية وجودة البيانات، والقوة الحاسوبية، وهذه الثلاثة تؤثر بشكل مشترك على جودة نتائج النموذج وقدرته على التعميم. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n) محسوبة بعدد الرموز(، وبالتالي يمكننا حساب كمية الحساب المطلوبة من خلال قاعدة خبرة عامة، بحيث يمكننا تقدير الحالة العامة للقوة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُستخدم قوة الحوسبة عادةً كوحدة أساسية تُعرف بـ Flops، والتي تمثل عملية حسابية واحدة تستخدم الأرقام العائمة. تشير العمليات الحسابية العائمة إلى العمليات الحسابية التي تشمل الأرقام غير الصحيحة، مثل 2.5 + 3.557. تُشير الأرقام العائمة إلى القدرة على استخدام الفاصلة العشرية، بينما يُمثل FP16 دقة تدعم الأرقام العائمة، و FP32 هي دقة أكثر شيوعًا. وفقًا للقواعد التجريبية المستندة إلى الممارسة، فإن التدريب المسبق )Pre-traning( مرة واحدة ) عادة ما يتم التدريب.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 15
أعجبني
15
5
مشاركة
تعليق
0/400
LiquiditySurfer
· 07-22 09:40
المسح الضار这么高端了?
شاهد النسخة الأصليةرد0
DegenDreamer
· 07-19 21:53
炒得再高又咋样 还不是要 انخفاض إلى الصفر
شاهد النسخة الأصليةرد0
GasFeePhobia
· 07-19 21:46
لقد فاز الإمبرياليون مرة أخرى.
شاهد النسخة الأصليةرد0
FUD_Vaccinated
· 07-19 21:44
مرة أخرى نتحدث عن الذكاء الاصطناعي، لماذا لا نتحدث عن كيفية ارتفاع أسعار وحدات معالجة الرسوميات؟
شاهد النسخة الأصليةرد0
Web3ExplorerLin
· 07-19 21:34
فرضية: الذكاء الاصطناعي + العملات المشفرة = النهضة الرقمية 2.0... تمامًا مثلما أحدث طريق الحرير القديم ثورة في التجارة بصراحة
AI x الأصول الرقمية : استكشاف التأثير الثوري لتعلم العمق على الصناعة
الذكاء الاصطناعي x العملات الرقمية: من الصفر إلى القمة
يعتبر البعض التطور السريع في صناعة الذكاء الاصطناعي مؤخرًا بمثابة الثورة الصناعية الرابعة. أدى ظهور نماذج اللغة الكبيرة إلى تحسين كبير في كفاءة مختلف الصناعات، حيث يُقدّر أنها زادت كفاءة العمل في الولايات المتحدة بحوالي 20%. في الوقت نفسه، يُعتبر القدرة على التعميم التي توفرها النماذج الكبيرة نموذج تصميم برمجي جديد، مختلف عن تصميم الشفرات الدقيقة السابقة، حيث يتم دمج إطار النماذج الكبيرة الأكثر تعميمًا في البرمجيات، مما يتيح للبرمجيات تقديم أداء أفضل ودعم مجموعة واسعة من المدخلات والمخرجات. لقد جلبت تقنيات التعلم العميق بالفعل جولة جديدة من الازدهار لصناعة الذكاء الاصطناعي، وقد أثرت هذه الموجة أيضًا على صناعة العملات المشفرة.
سيستعرض هذا التقرير بالتفصيل تاريخ تطور صناعة الذكاء الاصطناعي، وتصنيفات التكنولوجيا، وأثر اختراع تقنية التعلم العميق على الصناعة. ثم سيتم تحليل الوضع الحالي والاتجاهات في سلسلة التوريد لصناعة التعلم العميق، بما في ذلك GPU، والحوسبة السحابية، ومصادر البيانات، والأجهزة الطرفية. بعد ذلك، سيتم مناقشة العلاقة الجوهرية بين صناعة التشفير والذكاء الاصطناعي، مع استعراض هيكل سلسلة التوريد المتعلقة بالذكاء الاصطناعي في مجال التشفير.
تاريخ تطور صناعة الذكاء الاصطناعي
بدأت صناعة الذكاء الاصطناعي في خمسينيات القرن الماضي، ومن أجل تحقيق رؤية الذكاء الاصطناعي، طورت الأوساط الأكاديمية والصناعية في عصور مختلفة ومن خلفيات علمية متنوعة، العديد من المدارس لتحقيق الذكاء الاصطناعي.
تستخدم تقنيات الذكاء الاصطناعي الحديثة مصطلح "تعلم الآلة"، وتتمثل فكرة هذه التقنية في تمكين الآلات من تحسين أداء النظام من خلال تكرار المهام اعتمادًا على البيانات. الخطوات الرئيسية هي إرسال البيانات إلى الخوارزمية، واستخدام هذه البيانات لتدريب النموذج، واختبار نشر النموذج، واستخدام النموذج لإكمال مهام التنبؤ التلقائية.
توجد ثلاثة تيارات رئيسية في تعلم الآلة حاليًا، وهي الاتصاليات، الرمزية، والسلوكية، والتي تحاكي على التوالي النظام العصبي البشري، والتفكير، والسلوك.
! علم الوافد الجديد 丨 الذكاء الاصطناعي x التشفير: من الصفر إلى الذروة
والآن، تحتل الشبكات العصبية، التي تمثلها الربطية، الصدارة ( والمعروفة أيضًا بالتعلم العميق )، والسبب الرئيسي هو أن هذه البنية تحتوي على طبقة إدخال وطبقة إخراج، ولكن لديها عدة طبقات مخفية، وعندما يصبح عدد الطبقات وعدد الخلايا العصبية ( والمعلمات ) كافيًا، سيكون هناك فرصة كافية لتناسب المهام العامة المعقدة. من خلال إدخال البيانات، يمكن تعديل معلمات الخلايا العصبية باستمرار، وبعد المرور عبر عدة بيانات، ستصل هذه الخلايا العصبية إلى حالة مثالية ( المعلمات )، وهذا ما يسمى "الجهد الكبير يؤدي إلى معجزات"، وهذا هو أصل كلمة "عميق" — عدد كافٍ من الطبقات والخلايا العصبية.
على سبيل المثال، يمكن فهمه ببساطة على أنه تم إنشاء دالة، وعندما ندخل X=2 تكون Y=3؛ وعندما X=3 تكون Y=5. إذا أردنا أن تتعامل هذه الدالة مع جميع قيم X، فسيتعين علينا إضافة درجة هذه الدالة ومعاملاتها باستمرار. على سبيل المثال، يمكنني إنشاء دالة تلبي هذا الشرط وهي Y = 2X -1، ولكن إذا كان هناك بيانات مثل X=2، Y=11، فسيتعين علينا إعادة بناء دالة تناسب هذه النقاط الثلاثة. باستخدام GPU للكسر العنيف، نجد أن Y = X2 -3X +5 هو الأنسب، ولكن ليس من الضروري أن يتطابق تمامًا مع البيانات، يكفي أن تلتزم بالتوازن وأن تكون النتائج متشابهة تقريبًا. هنا، X2 وX وX0 تمثل خلايا عصبية مختلفة، بينما 1 و-3 و5 هي معاملاتها.
في هذه الحالة، إذا قمنا بإدخال كميات كبيرة من البيانات إلى الشبكة العصبية، يمكننا زيادة عدد الخلايا العصبية، وتكرار المعلمات لتناسب البيانات الجديدة. بهذه الطريقة يمكننا ملاءمة جميع البيانات.
تكنولوجيا التعلم العميق القائمة على الشبكات العصبية شهدت أيضًا عدة تكرارات وتطورات تقنية، مثل الشبكات العصبية المبكرة في الصورة أعلاه، الشبكات العصبية التغذية الأمامية، RNN، CNN، وGAN التي تطورت أخيرًا إلى النماذج الكبيرة الحديثة مثل GPT وما إلى ذلك باستخدام تقنية Transformer. تقنية Transformer هي مجرد اتجاه تطور واحد للشبكات العصبية، حيث أضافت محولًا ( Transformer )، يستخدم لترميز جميع الأنماط ( مثل الصوت والفيديو والصور وما إلى ذلك ) إلى قيم عددية تمثلها. ثم يتم إدخالها إلى الشبكة العصبية، بحيث يمكن للشبكة العصبية ملاءمة أي نوع من البيانات، مما يعني تحقيق تعددية الأنماط.
مرّت تطورات الذكاء الاصطناعي بثلاث موجات تقنية، كانت الموجة الأولى في الستينيات من القرن العشرين، بعد عشر سنوات من طرح تقنيات الذكاء الاصطناعي. نشأت هذه الموجة نتيجة لتطور تقنيات الرمزية، التي حلت مشاكل معالجة اللغة الطبيعية العامة والتفاعل بين الإنسان والآلة. في نفس الفترة، وُلدت أنظمة الخبراء، وهي نظام مهم في مجال المعرفة الكيميائية، حيث يمتلك هذا النظام معرفة كيميائية قوية جداً، ويستنتج الإجابات من خلال الأسئلة كما يفعل الخبراء الكيميائيون. يمكن اعتبار نظام الخبراء الكيميائي بمثابة دمج لمكتبة المعرفة الكيميائية ونظام الاستنتاج.
بعد نظام الخبراء، في التسعينيات، اقترح جوديا بيرل ( Judea Pearl ) الشبكات البايزية، والتي تُعرف أيضًا بشبكات الاعتقاد. في نفس الفترة، اقترح بروكس الروبوتات المعتمدة على السلوك، مما يمثل ولادة السلوكية.
في عام 1997، هزم ذكاء اصطناعي في الشطرنج بواقع 3.5:2.5 بطل الشطرنج كاسباروف (Kasparov)، واعتبرت هذه الانتصار علامة فارقة في الذكاء الاصطناعي، حيث شهدت تقنيات الذكاء الاصطناعي ذروة جديدة من التطور.
حدثت الموجة الثالثة من تقنية الذكاء الاصطناعي في عام 2006. قدم الثلاثي الرائد في التعلم العميق يان ليكون وجيفري هينتون ويوشوا بنجيو مفهوم التعلم العميق، وهو خوارزمية تعتمد على الشبكات العصبية الاصطناعية لتعلم تمثيلات البيانات. بعد ذلك، تطورت خوارزميات التعلم العميق تدريجياً، من RNN وGAN إلى Transformer وStable Diffusion، حيث شكلت هذه الخوارزميات معاً هذه الموجة التقنية الثالثة، وكانت هذه أيضاً فترة ازدهار الارتباطية.
ظهرت العديد من الأحداث البارزة بالتزامن مع استكشاف وتطور تقنيات التعلم العميق، بما في ذلك:
في عام 2011، هزم نظام الذكاء الاصطناعي البشر وحصل على البطولة في برنامج اختبار الإجابة "خطر" (Jeopardy).
في عام 2014، اقترح Goodfellow شبكة GAN( التوليدية التنافسية، Generative Adversarial Network)، والتي تتعلم من خلال جعل شبكتين عصبيتين تتنافسان ضد بعضهما البعض، مما يمكنها من إنشاء صور تبدو واقعية للغاية. في الوقت نفسه، كتب Goodfellow أيضًا كتابًا بعنوان "Deep Learning"، الذي يُعرف باسم الكتاب الزهري، وهو واحد من الكتب الأساسية في مجال التعلم العميق.
في عام 2015، قدم هينتون وآخرون خوارزمية التعلم العميق في مجلة "Nature"، وقد أثار طرح هذه الطريقة في التعلم العميق ردود فعل كبيرة على الفور في الأوساط الأكاديمية والصناعية.
في عام 2015، تم إنشاء OpenAI، وأعلن العديد من الشخصيات البارزة عن استثمار مشترك قدره مليار دولار.
في عام 2016، خاض برنامج AlphaGo المعتمد على تقنية التعلم العميق معركة شطرنج ضد بطل العالم في لعبة الشطرنج، اللاعب المحترف ذو التسعة دان لي شي شي، وحقق الفوز بنتيجة 4-1.
في عام 2017، طورت شركة تكنولوجيا روبوتات شبيهة بالبشر تُدعى صوفيا، والتي تُعتبر أول روبوت يحصل على صفة المواطن من الدرجة الأولى في التاريخ، ولديه تعبيرات وجه غنية وقدرة على فهم اللغة البشرية.
في عام 2017، أصدرت Google ورقة بعنوان "الاهتمام هو كل ما تحتاجه" وقدمت خوارزمية Transformer، وبدأت النماذج اللغوية الكبيرة في الظهور.
في عام 2018، أصدرت OpenAI نموذج GPT( Generative Pre-trained Transformer) المبني على خوارزمية Transformer، وهو واحد من أكبر نماذج اللغة في ذلك الوقت.
في عام 2018، أصدرت مجموعة Google DeepMind AlphaGo المعتمدة على التعلم العميق، والتي تستطيع التنبؤ بهياكل البروتين، وتعتبر علامة بارزة للتقدم الكبير في مجال الذكاء الاصطناعي.
في عام 2019، أصدرت OpenAI نموذج GPT-2، والذي يحتوي على 1.5 مليار معلمة.
في عام 2020، تم تطوير GPT-3 بواسطة OpenAI، والذي يحتوي على 175 مليار معلمة، وهو أعلى بمقدار 100 مرة من الإصدار السابق GPT-2، وقد تم تدريب هذا النموذج باستخدام 570 جيجابايت من النصوص، ويمكنه تحقيق أداء متقدم في مهام معالجة اللغة الطبيعية مثل الإجابة على الأسئلة، والترجمة، وكتابة المقالات.
في عام 2021، أصدرت OpenAI نموذج GPT-4، الذي يحتوي على 1.76 تريليون معلمة، وهو عشرة أضعاف GPT-3.
تم إطلاق تطبيق ChatGPT القائم على نموذج GPT-4 في يناير 2023، وفي مارس، وصل عدد مستخدمي ChatGPT إلى مئة مليون، ليصبح التطبيق الأسرع في التاريخ للوصول إلى مئة مليون مستخدم.
في عام 2024، أطلقت OpenAI GPT-4 أومني.
ملاحظة: نظرًا لوجود العديد من الأوراق المتعلقة بالذكاء الاصطناعي، والعديد من المدارس الفكرية، وتنوع تطور التقنيات، فإن التركيز هنا سيكون بشكل رئيسي على تاريخ تطور التعلم العميق أو الارتباطية، بينما لا تزال المدارس والتقنيات الأخرى في مرحلة التطور السريع.
! [الوافد الجديد Science Popular 丨الذكاء الاصطناعي x Crypto: من الصفر إلى الذروة](https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp019283746574839201
سلسلة صناعة التعلم العميق
تستخدم نماذج اللغة الكبيرة الحالية جميعها أساليب التعلم العميق القائمة على الشبكات العصبية. لقد أدى ظهور النماذج الكبيرة، بقيادة GPT، إلى موجة من الذكاء الاصطناعي، حيث تدفق عدد كبير من اللاعبين إلى هذا المجال. كما اكتشفنا أن السوق بحاجة ماسة إلى البيانات والقدرة الحاسوبية، ولذلك في هذا الجزء من التقرير، نستكشف بشكل أساسي سلسلة القيمة لخوارزميات التعلم العميق. في صناعة الذكاء الاصطناعي التي تهيمن عليها خوارزميات التعلم العميق، كيف تتكون السلسلة العليا والسفلى، وما هي الحالة الحالية لعلاقات العرض والطلب، وما هي التطورات المستقبلية.
أولاً، يجب أن نكون واضحين أنه عند إجراء تدريب نماذج LLMs الكبيرة القائمة على تقنية Transformer، التي تقودها GPT، يتم تقسيم العملية إلى ثلاثة خطوات.
قبل التدريب، وبما أنه يعتمد على Transformer، فإن المحول يحتاج إلى تحويل إدخال النص إلى قيم عددية، وتسمى هذه العملية "Tokenization"، وبعد ذلك تُعرف هذه القيم العددية باسم Token. وفقًا للقواعد التجريبية العامة، يمكن اعتبار كلمة إنجليزية أو حرف واحد بشكل تقريبي Token واحد، بينما يمكن اعتبار كل حرف صيني بشكل تقريبي كـ Tokenين. هذه هي الوحدة الأساسية المستخدمة في تسعير GPT.
الخطوة الأولى، التدريب المسبق. من خلال إعطاء طبقة الإدخال عددًا كافيًا من أزواج البيانات، مشابهة لتلك المذكورة في الجزء الأول من التقرير مثل )X,Y(، للبحث عن أفضل المعلمات لكل خلية عصبية تحت هذا النموذج، يحتاج هذا إلى كمية كبيرة من البيانات، وتعتبر هذه العملية أيضًا الأكثر استهلاكًا للطاقة الحاسوبية، لأن الخلايا العصبية تحتاج إلى تكرار المحاولة مع معلمات مختلفة. بعد اكتمال تدريب مجموعة بيانات واحدة، يتم عادةً استخدام نفس مجموعة البيانات للتدريب الثاني من أجل تحسين المعلمات.
الخطوة الثانية، التعديل الدقيق. التعديل الدقيق هو إعطاء مجموعة صغيرة ولكن عالية الجودة من البيانات للتدريب، مثل هذا التغيير سيجعل مخرجات النموذج ذات جودة أعلى، لأن التدريب المسبق يحتاج إلى كمية كبيرة من البيانات، لكن الكثير من البيانات قد تحتوي على أخطاء أو تكون ذات جودة منخفضة. خطوة التعديل الدقيق يمكن أن تعزز جودة النموذج من خلال البيانات عالية الجودة.
الخطوة الثالثة، التعلم المعزز. سيتم أولاً إنشاء نموذج جديد تمامًا، نسميه "نموذج المكافأة"، والغرض من هذا النموذج بسيط جدًا، وهو تصنيف نتائج المخرجات، لذا سيكون إنشاء هذا النموذج سهلاً نسبيًا، لأن سيناريو العمل عمودي للغاية. بعد ذلك، نستخدم هذا النموذج لتحديد ما إذا كانت مخرجات نموذجنا الكبير ذات جودة عالية، بحيث يمكن استخدام نموذج مكافأة لتكرار معلمات النموذج الكبير تلقائيًا. ) ولكن في بعض الأحيان يحتاج الأمر أيضًا إلى تدخل بشري لتقييم جودة مخرجات النموذج (
باختصار، خلال عملية تدريب النموذج الكبير، هناك متطلبات عالية جدًا لكمية البيانات أثناء التدريب المسبق، كما أن القوة الحسابية لوحدات معالجة الرسومات المطلوبة تكون في أعلى مستوياتها، بينما يتطلب التعديل الدقيق بيانات ذات جودة أعلى لتحسين المعلمات، ويمكن أن يتكرر التعلم المعزز عبر نموذج مكافأة لتكرار المعلمات من أجل إنتاج نتائج ذات جودة أعلى.
خلال عملية التدريب، كلما زاد عدد المعلمات، ارتفعت قدرة التعميم إلى الحد الأقصى، على سبيل المثال، في المثال الذي نأخذه من الدالة Y = aX + b، في الواقع يوجد اثنان من الخلايا العصبية X و X0، لذلك فإن كيفية تغير المعلمات، فإن البيانات التي يمكنها التكيف بها محدودة للغاية، لأن جوهرها لا يزال خطاً مستقيماً. إذا زاد عدد الخلايا العصبية، يمكننا تكرار المزيد من المعلمات، مما يمكننا من التكيف مع المزيد من البيانات، وهذا هو السبب في أن النماذج الكبيرة تحقق معجزات، وهذا أيضاً هو السبب في أن الاسم الشائع للنموذج الكبير هو في الأساس عدد هائل من الخلايا العصبية والمعلمات، وكمية هائلة من البيانات، مع الحاجة إلى كمية هائلة من القدرة الحاسوبية.
لذلك، يعتمد أداء النماذج الكبيرة بشكل رئيسي على ثلاثة جوانب: عدد المعلمات، كمية وجودة البيانات، والقوة الحاسوبية، وهذه الثلاثة تؤثر بشكل مشترك على جودة نتائج النموذج وقدرته على التعميم. نفترض أن عدد المعلمات هو p، وكمية البيانات هي n) محسوبة بعدد الرموز(، وبالتالي يمكننا حساب كمية الحساب المطلوبة من خلال قاعدة خبرة عامة، بحيث يمكننا تقدير الحالة العامة للقوة الحاسوبية التي نحتاج إلى شرائها ومدة التدريب.
تُستخدم قوة الحوسبة عادةً كوحدة أساسية تُعرف بـ Flops، والتي تمثل عملية حسابية واحدة تستخدم الأرقام العائمة. تشير العمليات الحسابية العائمة إلى العمليات الحسابية التي تشمل الأرقام غير الصحيحة، مثل 2.5 + 3.557. تُشير الأرقام العائمة إلى القدرة على استخدام الفاصلة العشرية، بينما يُمثل FP16 دقة تدعم الأرقام العائمة، و FP32 هي دقة أكثر شيوعًا. وفقًا للقواعد التجريبية المستندة إلى الممارسة، فإن التدريب المسبق )Pre-traning( مرة واحدة ) عادة ما يتم التدريب.