AI x Crypto: Từ số không đến đỉnh cao

Sự phát triển nhanh chóng của ngành trí tuệ nhân tạo gần đây được một số người coi là cuộc cách mạng công nghiệp lần thứ tư. Sự xuất hiện của các mô hình ngôn ngữ lớn đã nâng cao hiệu suất của nhiều ngành nghề, ước tính đã cải thiện khoảng 20% hiệu suất lao động tại Mỹ. Đồng thời, khả năng tổng quát mà các mô hình lớn mang lại được coi là một kiểu thiết kế phần mềm mới, khác với thiết kế mã chính xác trong quá khứ, thiết kế phần mềm hiện nay là việc nhúng khuôn khổ mô hình lớn có khả năng tổng quát vào phần mềm, giúp phần mềm có hiệu suất tốt hơn và hỗ trợ nhiều đầu vào và đầu ra đa dạng hơn. Công nghệ học sâu thực sự đã mang lại một làn sóng thịnh vượng mới cho ngành AI, và cơn sốt này cũng đã ảnh hưởng đến ngành công nghiệp tiền điện tử.

Báo cáo này sẽ khám phá chi tiết hành trình phát triển của ngành AI, phân loại công nghệ, cũng như ảnh hưởng của việc phát minh công nghệ học sâu đến ngành. Sau đó, sẽ phân tích sâu về tình trạng và xu hướng phát triển của chuỗi công nghiệp liên quan đến GPU, điện toán đám mây, nguồn dữ liệu, thiết bị biên trong học sâu. Tiếp theo, sẽ thảo luận về mối quan hệ giữa Crypto và ngành AI, tổ chức lại cấu trúc chuỗi công nghiệp AI liên quan đến Crypto.

Quá trình phát triển của ngành AI

Ngành AI bắt đầu từ những năm 1950, để hiện thực hóa tầm nhìn trí tuệ nhân tạo, giới học thuật và công nghiệp đã phát triển nhiều trường phái khác nhau trong bối cảnh các thời đại và môn học khác nhau.

Công nghệ trí tuệ nhân tạo hiện đại chủ yếu sử dụng thuật ngữ "học máy", ý tưởng của công nghệ này là để máy móc dựa vào dữ liệu lặp đi lặp lại trong các nhiệm vụ nhằm cải thiện hiệu suất của hệ thống. Các bước chính là gửi dữ liệu vào thuật toán, sử dụng dữ liệu này để đào tạo mô hình, kiểm tra triển khai mô hình, và sử dụng mô hình để hoàn thành các nhiệm vụ dự đoán tự động.

Hiện nay, máy học có ba trường phái chính, đó là Liên kết chủ nghĩa, Biểu tượng chủ nghĩa và Hành vi chủ nghĩa, tương ứng mô phỏng hệ thống thần kinh, tư duy và hành vi của con người.

Hiện nay, chủ nghĩa kết nối đại diện cho mạng nơ-ron đang chiếm ưu thế ( còn được gọi là học sâu ), nguyên nhân chính là vì kiến trúc này có một lớp đầu vào, một lớp đầu ra, nhưng có nhiều lớp ẩn. Khi số lượng lớp và số lượng nơ-ron ( tham số ) trở nên đủ lớn, thì sẽ có đủ cơ hội để phù hợp với các nhiệm vụ phức tạp. Thông qua việc nhập dữ liệu, có thể liên tục điều chỉnh các tham số của nơ-ron, cuối cùng trải qua nhiều dữ liệu, nơ-ron này sẽ đạt được một trạng thái tối ưu ( tham số ), đó chính là điều được gọi là "làm việc chăm chỉ sẽ thành công", và đây cũng là nguồn gốc của từ "sâu" - đủ số lượng lớp và nơ-ron.

Ví dụ, có thể hiểu đơn giản là xây dựng một hàm, hàm này chúng ta nhập X=2 thì Y=3; X=3 thì Y=5, nếu muốn hàm này đáp ứng cho tất cả các X, thì cần phải liên tục thêm bậc của hàm này và các tham số của nó, chẳng hạn ở đây tôi có thể xây dựng một hàm thỏa mãn điều kiện này là Y = 2X -1, nhưng nếu có một dữ liệu là X=2, Y=11 thì cần phải xây dựng lại một hàm phù hợp với ba điểm dữ liệu này, sử dụng GPU để bẻ khóa một cách mạnh mẽ tìm ra Y = X2 -3X +5, khá phù hợp, nhưng không cần hoàn toàn trùng khớp với dữ liệu, chỉ cần tuân theo sự cân bằng, đầu ra tương tự là đủ. Trong đây, X2 cũng như X, X0 đều đại diện cho các nơ-ron khác nhau, còn 1, -3, 5 là các tham số của nó.

Trong trường hợp này, nếu chúng ta nhập một lượng lớn dữ liệu vào mạng nơ-ron, chúng ta có thể tăng số lượng nơ-ron và điều chỉnh các tham số để phù hợp với dữ liệu mới. Như vậy, chúng ta có thể phù hợp với tất cả dữ liệu.

Công nghệ học sâu dựa trên mạng nơ-ron cũng đã trải qua nhiều lần lặp và tiến hóa, bao gồm như mạng nơ-ron sớm nhất trong hình trên, mạng nơ-ron hồi tiếp (RNN), mạng nơ-ron tích chập (CNN), GAN cuối cùng tiến hóa đến các mô hình lớn hiện đại như công nghệ Transformer được sử dụng trong GPT, công nghệ Transformer chỉ là một hướng tiến hóa của mạng nơ-ron, thêm một bộ chuyển đổi ( Transformer ), để mã hóa dữ liệu của tất cả các dạng như âm thanh, video, hình ảnh, v.v. ( thành các giá trị tương ứng để biểu diễn. Sau đó, dữ liệu này được đưa vào mạng nơ-ron, như vậy mạng nơ-ron có thể khớp với bất kỳ loại dữ liệu nào, tức là thực hiện đa mô thức.

Sự phát triển của AI đã trải qua ba làn sóng công nghệ, làn sóng đầu tiên là vào những năm 60 của thế kỷ 20, sau một thập kỷ kể từ khi công nghệ AI được đề xuất, làn sóng này được kích thích bởi sự phát triển của công nghệ biểu tượng, công nghệ này giải quyết các vấn đề về xử lý ngôn ngữ tự nhiên và đối thoại giữa người và máy. Cùng thời điểm đó, hệ thống chuyên gia đã ra đời, đây là một hệ thống chuyên gia về kiến thức hóa học quan trọng, hệ thống này sở hữu kiến thức hóa học rất mạnh, thông qua các câu hỏi để suy diễn nhằm tạo ra các câu trả lời giống như một chuyên gia hóa học, hệ thống chuyên gia hóa học này có thể được coi là sự kết hợp giữa kho kiến thức hóa học và hệ thống suy diễn.

Sau hệ thống chuyên gia, vào những năm 90, Judea Pearl ) đã đề xuất mạng Bayes, mạng này còn được gọi là mạng niềm tin. Trong cùng thời kỳ, Brooks đã đưa ra robot học dựa trên hành vi, đánh dấu sự ra đời của hành vi học.

Năm 1997, một AI cờ vua đã đánh bại nhà vô địch cờ vua Kasparov với tỷ số 3.5:2.5, chiến thắng này được coi là một cột mốc trong trí tuệ nhân tạo, công nghệ AI đã bước vào đỉnh cao phát triển lần thứ hai.

Làn sóng công nghệ AI thứ ba xảy ra vào năm 2006. Ba ông lớn của học sâu là Yann LeCun, Geoffrey Hinton và Yoshua Bengio đã đưa ra khái niệm học sâu, một thuật toán sử dụng mạng nơ-ron nhân tạo làm cấu trúc để học biểu diễn dữ liệu. Sau đó, các thuật toán học sâu dần tiến hóa, từ RNN, GAN đến Transformer và Stable Diffusion, hai thuật toán này đã cùng nhau định hình nên làn sóng công nghệ thứ ba, và đây cũng là thời kỳ hưng thịnh của chủ nghĩa liên kết.

Nhiều sự kiện mang tính biểu tượng cũng đã xuất hiện dần dần cùng với việc khám phá và tiến bộ của công nghệ học sâu, bao gồm:

• Năm 2011, một hệ thống AI đã chiến thắng con người và giành giải vô địch trong chương trình quiz "Jeopardy" (.

• Năm 2014, Goodfellow đã đề xuất GAN) Mạng đối kháng sinh, Generative Adversarial Network(, thông qua việc cho hai mạng nơ-ron thi đấu với nhau để học, có thể tạo ra những bức ảnh giống thật đến mức khó phân biệt. Đồng thời, Goodfellow cũng đã viết một cuốn sách có tên "Deep Learning", được gọi là sách hoa, là một trong những cuốn sách quan trọng cho người mới bắt đầu trong lĩnh vực học sâu.

• Năm 2015, Hinton và các cộng sự đã đề xuất thuật toán học sâu trong tạp chí "Nature", sự xuất hiện của phương pháp học sâu này đã ngay lập tức gây ra tiếng vang lớn trong giới học thuật cũng như ngành công nghiệp.

• Năm 2015, OpenAI được thành lập, nhiều người nổi tiếng đã công bố đầu tư chung 1 tỷ đô la.

• Năm 2016, AlphaGo dựa trên công nghệ học sâu đã thi đấu cờ vây với nhà vô địch thế giới, kỳ thủ chuyên nghiệp 9 dan Lee Sedol, và giành chiến thắng với tỷ số tổng cộng 4-1.

• Năm 2017, một công ty công nghệ đã phát triển robot hình người Sophia, được coi là robot đầu tiên trong lịch sử nhận được tư cách công dân hạng nhất, sở hữu biểu cảm khuôn mặt phong phú và khả năng hiểu ngôn ngữ của con người.

• Năm 2017, Google công bố bài báo "Attention is all you need" đề xuất thuật toán Transformer, các mô hình ngôn ngữ quy mô lớn bắt đầu xuất hiện.

• Năm 2018, OpenAI đã phát hành GPT) Generative Pre-trained Transformer( được xây dựng dựa trên thuật toán Transformer, đây là một trong những mô hình ngôn ngữ lớn nhất vào thời điểm đó.

• Năm 2018, đội ngũ Google Deepmind đã phát hành AlphaGo dựa trên học sâu, có khả năng dự đoán cấu trúc protein, được coi là một dấu hiệu tiến bộ lớn trong lĩnh vực trí tuệ nhân tạo.

• Năm 2019, OpenAI phát hành GPT-2, mô hình này có 1,5 tỷ tham số.

• Năm 2020, GPT-3 do OpenAI phát triển, có 175 tỷ tham số, gấp 100 lần phiên bản trước đó là GPT-2, mô hình này sử dụng 570GB văn bản để đào tạo, có thể đạt được hiệu suất tiên tiến nhất trong nhiều nhiệm vụ NLP) như trả lời câu hỏi, dịch thuật, viết bài(.

• Năm 2021, OpenAI phát hành GPT-4, mô hình này có 1.76 triệu tỷ tham số, gấp 10 lần GPT-3.

• Ứng dụng ChatGPT dựa trên mô hình GPT-4 được ra mắt vào tháng 1 năm 2023, và vào tháng 3, ChatGPT đạt 100 triệu người dùng, trở thành ứng dụng đạt 100 triệu người dùng nhanh nhất trong lịch sử.

• Năm 2024, OpenAI ra mắt GPT-4 omni.

Chú thích: Do có rất nhiều tài liệu về trí tuệ nhân tạo, nhiều trường phái khác nhau và sự phát triển công nghệ không đồng nhất, nên ở đây chủ yếu theo dõi lịch sử phát triển của học sâu hoặc chủ nghĩa liên kết, các trường phái và công nghệ khác vẫn đang trong quá trình phát triển nhanh.

![Người mới phổ cập丨AI x Crypto: Từ không đến đỉnh cao])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(

Chuỗi công nghiệp học sâu

Các mô hình ngôn ngữ lớn hiện tại đều sử dụng phương pháp học sâu dựa trên mạng nơ-ron. Với sự dẫn đầu của GPT, các mô hình lớn đã tạo ra một làn sóng cơn sốt trí tuệ nhân tạo, nhiều người chơi đã đổ xô vào lĩnh vực này. Chúng tôi cũng nhận thấy nhu cầu về dữ liệu và sức mạnh tính toán trên thị trường bùng nổ, vì vậy trong phần báo cáo này, chúng tôi chủ yếu khám phá chuỗi công nghiệp của các thuật toán học sâu. Trong ngành AI do các thuật toán học sâu chi phối, cấu trúc của chuỗi cung ứng và nhu cầu là như thế nào, và tình hình hiện tại của chuỗi cung ứng và mối quan hệ cung cầu, cũng như sự phát triển trong tương lai sẽ ra sao.

Đầu tiên, chúng ta cần làm rõ rằng, khi thực hiện việc đào tạo mô hình LLMs dựa trên công nghệ Transformer với GPT là chính, sẽ có tổng cộng ba bước.

Trước khi đào tạo, vì dựa trên Transformer, do đó bộ chuyển đổi cần chuyển đổi đầu vào văn bản thành giá trị số, quá trình này được gọi là "Tokenization", sau đó những giá trị số này được gọi là Token. Theo quy tắc kinh nghiệm chung, một từ hoặc ký tự tiếng Anh có thể được coi là một Token, trong khi mỗi chữ Hán có thể được coi là hai Token. Đây cũng là đơn vị cơ bản được sử dụng để định giá GPT.

Bước đầu tiên, tiền huấn luyện. Bằng cách cung cấp cho lớp đầu vào đủ nhiều cặp dữ liệu, tương tự như ví dụ được nêu trong phần đầu báo cáo )X,Y(, để tìm kiếm các tham số tốt nhất của từng nơ-ron trong mô hình này, lúc này cần một lượng lớn dữ liệu, và quá trình này cũng là quá trình tiêu tốn nhiều sức mạnh tính toán nhất, vì phải lặp đi lặp lại để các nơ-ron thử nghiệm các tham số khác nhau. Sau khi một lô cặp dữ liệu được huấn luyện xong, thường sẽ sử dụng cùng một lô dữ liệu để huấn luyện lần thứ hai nhằm lặp lại các tham số.

Bước thứ hai, tinh chỉnh. Tinh chỉnh là việc sử dụng một lượng dữ liệu nhỏ nhưng chất lượng rất cao để đào tạo, sự thay đổi này sẽ khiến đầu ra của mô hình có chất lượng cao hơn, vì việc tiền đào tạo cần rất nhiều dữ liệu, nhưng nhiều dữ liệu có thể có lỗi hoặc chất lượng thấp. Bước tinh chỉnh có thể nâng cao chất lượng của mô hình thông qua dữ liệu chất lượng cao.

Bước thứ ba, học tăng cường. Đầu tiên sẽ xây dựng một mô hình hoàn toàn mới, chúng tôi gọi nó là "mô hình thưởng", mục đích của mô hình này rất đơn giản, đó là để sắp xếp kết quả đầu ra, vì vậy việc thực hiện mô hình này sẽ khá đơn giản, vì bối cảnh kinh doanh khá chuyên biệt. Sau đó, sử dụng mô hình này để xác định xem đầu ra của mô hình lớn của chúng tôi có chất lượng cao hay không, như vậy chúng tôi có thể sử dụng một mô hình thưởng để tự động lặp lại các tham số của mô hình lớn. ) nhưng đôi khi cũng cần sự tham gia của con người để đánh giá chất lượng đầu ra của mô hình (

Nói ngắn gọn, trong quá trình huấn luyện mô hình lớn, việc tiền huấn luyện có yêu cầu rất cao về lượng dữ liệu, và GPU cần thiết cũng là nhiều nhất, trong khi tinh chỉnh cần dữ liệu chất lượng cao hơn để cải thiện tham số, học tăng cường có thể thông qua một mô hình thưởng để lặp lại các tham số nhằm tạo ra kết quả chất lượng cao hơn.

Trong quá trình huấn luyện, số lượng tham số càng nhiều thì khả năng tổng quát của nó càng cao, ví dụ trong trường hợp chúng ta lấy hàm Y = aX + b, thì thực tế có hai nơ-ron X và X0, do đó sự thay đổi của các tham số chỉ có thể phù hợp với một lượng dữ liệu rất hạn chế, vì bản chất của nó vẫn là một đường thẳng. Nếu số nơ-ron càng nhiều, thì có thể lặp đi lặp lại nhiều tham số hơn, và do đó có thể phù hợp với nhiều dữ liệu hơn, đây là lý do tại sao các mô hình lớn lại tạo ra những điều kỳ diệu, và cũng là lý do tại sao có tên gọi đơn giản là mô hình lớn, bản chất là một lượng lớn nơ-ron và tham số, một lượng lớn dữ liệu, đồng thời cần một lượng lớn sức mạnh tính toán.

Do đó, hiệu suất của mô hình lớn chủ yếu được xác định bởi ba yếu tố: số lượng tham số, lượng và chất lượng dữ liệu, và sức mạnh tính toán. Chúng cùng ảnh hưởng đến chất lượng kết quả và khả năng tổng quát của mô hình lớn. Chúng ta giả định số lượng tham số là p, lượng dữ liệu là n) được tính bằng số lượng Token(, thì chúng ta có thể tính toán lượng tính toán cần thiết thông qua quy tắc kinh nghiệm thông thường, từ đó ước tính được sức mạnh tính toán cần mua và thời gian huấn luyện.

Công suất tính toán thường được đo bằng đơn vị Flops, đại diện cho một phép toán số thực, phép toán số thực là thuật ngữ chung cho việc cộng, trừ, nhân, chia các giá trị không phải số nguyên, chẳng hạn như 2.5 + 3.557, số thực có nghĩa là có thể có dấu thập phân, trong khi FP16 đại diện cho độ chính xác hỗ trợ số thập phân, FP32 là độ chính xác thường gặp hơn. Theo quy tắc thực tiễn, tiền huấn luyện )Pre-traning( một lần ) thường sẽ huấn luyện.