AI x Crypto: Sıfırdan Zirveye

Yapay zeka endüstrisinin son dönemdeki hızlı gelişimi bazıları tarafından Dördüncü Sanayi Devrimi olarak görülüyor. Büyük dil modellerinin ortaya çıkması, çeşitli sektörlerde verimliliği önemli ölçüde artırdı; ABD için iş verimliliğinin yaklaşık %20 oranında arttığı tahmin ediliyor. Aynı zamanda, büyük modellerin sağladığı genelleme yeteneği, geçmişteki tam kod tasarımından farklı olarak yeni bir yazılım tasarım paradigması olarak kabul ediliyor. Artık yazılım tasarımı, daha fazla genelleme yeteneğine sahip büyük model çerçevelerinin yazılıma entegre edilmesiyle, yazılımın daha iyi performans göstermesini ve daha geniş modlar girdi ve çıktısını desteklemesini sağlıyor. Derin öğrenme teknolojisi gerçekten de AI endüstrisine yeni bir refah dönemi getirdi; bu dalga, kripto para endüstrisini de etkiledi.

Bu rapor, AI endüstrisinin gelişim sürecini, teknoloji sınıflandırmalarını ve derin öğrenme teknolojisinin icadının sektöre olan etkisini ayrıntılı olarak inceleyecektir. Ardından, derin öğrenmedeki GPU, bulut bilişim, veri kaynakları, kenar cihazları gibi endüstri zincirinin üst ve alt akışındaki gelişim durumu ve eğilimlerini derinlemesine analiz edecektir. Daha sonra, Crypto ve AI endüstrisi arasındaki ilişkiyi temelde inceleyecek ve Crypto ile ilgili AI endüstri zincirinin yapısını gözden geçirecektir.

AI sektörünün gelişim süreci

AI sektörü 1950'lerden itibaren başladı, yapay zekanın vizyonunu gerçekleştirmek için akademik ve endüstriyel alanlar, farklı dönemlerde farklı disiplin arka planlarında yapay zekayı gerçekleştirmek için çeşitli akımlar geliştirdi.

Modern yapay zeka teknolojisi esas olarak "makine öğrenimi" terimini kullanmaktadır, bu teknolojinin temel fikri makinelerin veriler aracılığıyla görevlerde tekrar tekrar döngü kurarak sistemin performansını iyileştirmesidir. Ana adımlar, verilerin algoritmaya gönderilmesi, bu verilerle modelin eğitilmesi, modelin test edilmesi ve dağıtılması, modelin otomatik tahmin görevlerini yerine getirmek için kullanılmasıdır.

Şu anda makine öğreniminin üç ana akımı vardır: bağlantıcı yaklaşım, sembolist yaklaşım ve davranışsal yaklaşım. Bu yaklaşımlar sırasıyla insan sinir sistemini, düşüncesini ve davranışını taklit eder.

Ve şu anda sinir ağları ile temsil edilen bağlanıcılık, derin öğrenme olarak da bilinir, (, bu mimarinin bir girdi katmanı, bir çıktı katmanı ve birden fazla gizli katmana sahip olmasından kaynaklanmaktadır. Katman sayısı ve nöron ) parametre ( sayısı yeterince fazla olduğunda, karmaşık genel görevleri modelleme şansı yeterince artar. Veriler girdi olarak alındıkça, nöronun parametreleri sürekli olarak ayarlanabilir ve sonunda birden fazla veri sürecinden geçtikten sonra, bu nöron en iyi duruma ulaşır ) parametre (, bu da "güçlü bir şekilde mucizeler yaratma" olarak adlandırılır ve bu, onun "derinlik" kelimesinin kökenidir - yeterince fazla katman ve nöron.

Bir örnek vermek gerekirse, basitçe bir fonksiyon oluşturduğumuzu anlayabiliriz; bu fonksiyona X=2 iken Y=3, X=3 iken Y=5 değerlerini girdiğimizde, bu fonksiyonun tüm X değerlerine karşılık gelmesini istiyorsak, sürekli olarak bu fonksiyonun derecesini ve parametrelerini eklememiz gerekir. Örneğin, bu koşulu sağlayan bir fonksiyon oluşturabilirim: Y = 2X -1, ancak eğer bir veri X=2, Y=11 ise, bu üç veri noktasına uygun yeni bir fonksiyon yeniden yapılandırmam gerekir. GPU kullanarak kaba kuvvet çözümlemesi yaptığımızda Y = X² -3X +5 daha uygun gözüküyor, fakat verilerle tam olarak örtüşmesi gerekmiyor, yalnızca dengeyi koruması ve benzer bir çıktı vermesi yeterlidir. Burada X², X ve X₀ farklı sinir hücrelerini temsil ederken, 1, -3 ve 5 bunların parametreleridir.

Bu noktada, eğer büyük miktarda veriyi sinir ağına girersek, yeni verileri uyumlu hale getirmek için nöronları ve parametreleri yineleyebiliriz. Böylece tüm verileri uyumlu hale getirebiliriz.

Derin öğrenme teknolojisi, sinir ağına dayalı olarak birçok teknik iterasyon ve evrim geçirmiştir. Bunlar arasında, yukarıdaki gibi en erken sinir ağları, ileri beslemeli sinir ağları, RNN, CNN ve GAN bulunmaktadır. Son olarak, modern büyük modellerin, örneğin GPT gibi, Transformer teknolojisini kullanarak evrimleşmiştir. Transformer teknolojisi, sinir ağlarının bir evrim yönüdür ve bir dönüştürücü ekleyerek ) Transformer (, tüm modları ) (ses, video, resim vb.) verilerini karşılık gelen sayısal değerlere kodlamak için kullanılır. Ardından, bu veriler sinir ağına beslenir, böylece sinir ağı her tür veriye uyum sağlayabilir, yani çok modlu hale gelir.

Yapay zeka gelişimi üç teknik dalgadan geçti. İlk dalga, 20. yüzyılın 60'lı yıllarıdır ve yapay zeka teknolojisinin ortaya çıkmasından on yıl sonrasını kapsamaktadır. Bu dalga, sembolist tekniklerin gelişimi ile ilgili olup, genel doğal dil işleme ve insan-bilgisayar diyalogu sorunlarını çözmüştür. Aynı dönemde, uzman sistemler doğdu; bu, önemli bir kimya bilgi uzman sistemidir. Bu sistem, çok güçlü bir kimya bilgisine sahiptir ve sorular üzerinden çıkarım yaparak kimya uzmanıyla aynı cevapları üretir. Bu kimya uzman sistemi, kimya bilgi havuzu ve çıkarım sisteminin bir birleşimi olarak görülebilir.

Uzman sistemlerin ardından, 1990'larda Judea Pearl( Judea Pearl) Bayes ağını önerdi, bu ağ aynı zamanda inanç ağı olarak da bilinir. Aynı dönemde, Brooks davranış temelli robotik önerdi ve davranışçılığın doğuşunu simgeledi.

1997'de, bir satranç AI'sı, satranç şampiyonu Kasparov'u 3.5:2.5 yenerek bu zafer, yapay zekanın bir dönüm noktası olarak kabul edildi ve AI teknolojisi ikinci gelişim aşamasının zirvesine ulaştı.

Üçüncü AI teknolojisi dalgası 2006 yılında ortaya çıktı. Derin öğrenmenin üç büyük ismi Yann LeCun, Geoffrey Hinton ve Yoshua Bengio, yapay sinir ağlarını temel alan ve verileri temsil öğrenimi için kullanılan bir algoritma olan derin öğrenme kavramını ortaya attılar. Ardından, derin öğrenme algoritmaları RNN, GAN'dan Transformer ve Stable Diffusion'a kadar evrim geçirdi; bu iki algoritma, bu üçüncü teknolojik dalgayı şekillendirdi ve bu, bağlantıcılığın altın çağıdır.

Derin öğrenme teknolojisinin araştırılması ve evrimi ile birlikte birçok ikonik olay da ortaya çıkmaya başladı, bunlar arasında:

• 2011 yılında, bir AI sistemi "Tehlikeli Sınır" (Jeopardy) bilgi yarışmasında insanları yenerek şampiyon oldu.

• 2014 yılında, Goodfellow GAN( Üretken Karşıt Ağ, Generative Adversarial Network)'yi önerdi. İki sinir ağının birbirleriyle rekabet ederek öğrenmesini sağlayarak, gerçekçi sahte fotoğraflar üretebiliyor. Aynı zamanda Goodfellow, derin öğrenme alanında önemli bir giriş kitabı olarak bilinen "Deep Learning" adlı bir kitap da yazdı.

• 2015 yılında, Hinton ve arkadaşları "Nature" dergisinde derin öğrenme algoritmasını önerdi; bu derin öğrenme yönteminin önerilmesi, akademik çevrelerde ve sanayi alanında büyük bir yankı uyandırdı.

• 2015 yılında, OpenAI kuruldu, birçok tanınmış kişi 1 milyar dolar ortak yatırımı duyurdu.

• 2016 yılında, derin öğrenme teknolojisine dayanan AlphaGo, Go dünya şampiyonu ve profesyonel dokuzuncu dan oyuncusu Lee Se-dol ile Go insan-makine savaşına girdi ve toplamda 4-1 galip geldi.

• 2017 yılında, bir teknoloji şirketi tarafından geliştirilen insansı robot Sophia, tarihin ilk birinci sınıf vatandaşlık statüsü kazanan robotu olarak kabul edilmektedir ve zengin yüz ifadeleri ile insan dilini anlama yeteneğine sahiptir.

• 2017 yılında, Google "Attention is all you need" başlıklı bir makale yayımlayarak Transformer algoritmasını tanıttı, büyük ölçekli dil modelleri ortaya çıkmaya başladı.

• 2018 yılında, OpenAI, Transformer algoritması temelinde inşa edilen GPT( Generative Pre-trained Transformer)'i yayınladı, bu o dönemdeki en büyük dil modellerinden biriydi.

• 2018 yılında, Google ekibi Deepmind, derin öğrenmeye dayalı AlphaGo'yu piyasaya sürdü ve protein yapısı tahminleri yapabilme yeteneğine sahip olup, yapay zeka alanında büyük bir ilerleme işareti olarak görülmektedir.

• 2019'da OpenAI, 1.5 milyar parametreye sahip GPT-2 modelini yayımladı.

• 2020 yılında, OpenAI tarafından geliştirilen GPT-3, 175 milyar parametreye sahip olup, önceki versiyon GPT-2'ye göre 100 kat daha fazladır. Bu model, 570GB metin kullanarak eğitilmiştir ve çoklu NLP( doğal dil işleme) görevlerinde( soru yanıtlama, çeviri ve makale yazma) gibi alanlarda en ileri düzey performansa ulaşabilmektedir.

• 2021 yılında, OpenAI GPT-4'ü yayımladı, bu model 1.76 trilyon parametreye sahip olup, GPT-3'ün 10 katıdır.

• 2023 yılının Ocak ayında GPT-4 modeline dayanan ChatGPT uygulaması piyasaya sürüldü, Mart ayında ChatGPT bir milyar kullanıcıya ulaştı ve tarihsel olarak bir milyar kullanıcıya en hızlı ulaşan uygulama oldu.

• 2024'te, OpenAI GPT-4 omni'yi piyasaya sürecek.

Not: Yapay zeka ile ilgili çok sayıda makale, birçok akım ve farklı teknik evrimler mevcut olduğundan, burada esasen derin öğrenme veya bağlantıcıcılık (connectionism) tarihini takip edeceğiz; diğer akımlar ve teknikler hala hızlı bir gelişim sürecindedir.

Derin Öğrenme Endüstri Zinciri

Mevcut büyük model dillerinin hepsi, sinir ağına dayalı derin öğrenme yöntemlerine dayanmaktadır. GPT öncülüğündeki büyük modeller, yapay zeka alanında bir dalga yarattı; birçok oyuncu bu alana akın etti ve ayrıca veriye ve hesaplama gücüne olan talebin büyük ölçüde patladığını keşfettik. Bu raporun bu bölümünde, derin öğrenme algoritmalarının endüstri zincirini keşfetmeye odaklanıyoruz. Derin öğrenme algoritmalarının hakim olduğu AI endüstrisinde, yukarı ve aşağı akış nasıl oluşmaktadır ve yukarı ve aşağı akışın durumu ile arz-talep ilişkisi ve gelecekteki gelişmeler nasıldır.

Öncelikle netleştirmemiz gereken, Transformer teknolojisine dayalı GPT öncülüğündeki LLM'lerin ( büyük modelinin ) eğitimi sırasında toplam üç adımda gerçekleştirileceğidir.

Eğitimden önce, Transformer tabanlı olduğu için dönüştürücünün metin girdisini sayılara dönüştürmesi gerekir, bu işleme "Tokenization" denir, ardından bu sayılara Token denir. Genel bir kural olarak, bir İngilizce kelime veya karakter kabaca bir Token olarak kabul edilebilirken, her bir Çince karakter kabaca iki Token olarak değerlendirilebilir. Bu da GPT'nin fiyatlandırma için kullandığı temel birimdir.

İlk adım, ön eğitim. Giriş katmanına yeterince veri çiftleri vererek, raporun ilk bölümünde örneği verilen (X,Y) gibi, bu model altında her bir nöronun en iyi parametrelerini bulmak için çalışılır. Bu aşamada büyük miktarda veriye ihtiyaç vardır ve bu süreç, nöronları çeşitli parametreleri denemek için tekrar tekrar yinelemek gerektiğinden, en fazla hesaplama gücü tüketen süreçtir. Bir veri çiftinin eğitimi tamamlandıktan sonra, genellikle aynı veri seti ile parametreleri yinelemek için ikinci bir eğitim yapılır.

İkinci adım, ince ayar. İnce ayar, daha az ancak çok yüksek kaliteli bir veri kümesi ile eğitim vermektir; bu tür bir değişiklik, modelin çıktısının daha yüksek kalitede olmasını sağlar, çünkü ön eğitim büyük miktarda veriye ihtiyaç duyar, ancak birçok veri hata veya düşük kalitede olabilir. İnce ayar adımı, kaliteli verilerle modelin kalitesini artırabilir.

Üçüncü adım, pekiştirmeli öğrenme. Öncelikle tamamen yeni bir model oluşturulacak, buna "ödül modeli" diyoruz, bu modelin amacı oldukça basit, yani çıktının sonuçlarını sıralamak. Bu nedenle bu modelin uygulanması oldukça kolaydır, çünkü iş senaryosu oldukça dikeydir. Daha sonra bu modeli, büyük modelimizin çıktısının yüksek kaliteli olup olmadığını belirlemek için kullanacağız, böylece bir ödül modeli kullanarak büyük modelin parametrelerini otomatik olarak yineleyebiliriz. ( Ancak bazen modelin çıktı kalitesini değerlendirmek için insan katılımı da gereklidir. )

Kısacası, büyük modellerin eğitim sürecinde, ön eğitim verinin miktarı için çok yüksek gereksinimlere sahiptir, harcanması gereken GPU hesap gücü de en fazla olandır, ve ince ayar, parametreleri iyileştirmek için daha yüksek kaliteli veriler gerektirir. Pekiştirmeli öğrenme, daha yüksek kaliteli sonuçlar elde etmek için bir ödül modeli aracılığıyla parametreleri tekrar tekrar yineleyebilir.

Eğitim sürecinde, parametre sayısı arttıkça genelleme yeteneğinin üst sınırı da yükselir. Örneğin, bir fonksiyon örneği olarak Y = aX + b alırsak, aslında iki nöron X ve X0 vardır, bu nedenle parametrelerin nasıl değiştiği, uyum sağlayabileceği veri oldukça sınırlıdır, çünkü özünde bu hâlâ bir doğrudur. Eğer nöron sayısı artarsa, daha fazla parametreyi yineleyebiliriz, bu da daha fazla veriyi uyumlayabilmemizi sağlar. İşte bu nedenle büyük modeller büyük mucizeler yaratır ve bu, halk arasında büyük model olarak adlandırılmasının nedenidir; özü, devasa nöronlar ve parametreler ile devasa verilerdir ve aynı zamanda büyük bir hesaplama gücü gerektirir.

Bu nedenle, büyük modelin performansını etkileyen başlıca üç faktör vardır: parametre sayısı, veri miktarı ve kalitesi, hesaplama gücü. Bu üçü, büyük modelin sonuç kalitesini ve genelleme yeteneğini ortaklaşa etkiler. Parametre sayısını p, veri miktarını n( Token sayısına göre hesaplayalım), böylece gereken hesaplama miktarını genel bir deneysel kural ile hesaplayabiliriz; bu da bize yaklaşık olarak satın almamız gereken hesaplama gücünü ve eğitim süresini tahmin etme imkanı verir.

Hesaplama gücü genellikle Flops ile temel birim olarak ifade edilir ve bu, bir kez yapılan kayan nokta işlemini temsil eder. Kayan nokta işlemleri, tam sayı olmayan sayıların toplama, çıkarma, çarpma ve bölme işlemlerinin genel adıdır, örneğin 2.5 + 3.557. Kayan nokta, ondalık içerebiliyor olmayı temsil ederken, FP16 ondalık desteği olan bir hassasiyeti ifade eder. FP32 ise genellikle daha yaygın bir hassasiyettir. Uygulamalardaki deneyim kurallarına göre, önceden eğitim ( Ön Eğitim ) bir kez ( genellikle eğitilir.