Ekip araştırma projesi · Haziran 2026
GPTSwarm’da iletişim graflarının evrimsel optimizasyonu
Çekişmeli (adversarial) çok ajanlı LLM deneylerinin yeniden üretimi ve REINFORCE ile evrimsel bir kenar optimize edicinin karşılaştırılması.
Kavramsal görsel; deneysel bir sonuç değildir.
Bireysel katkı
Rolüm
Uygulama ve analiz çalışmalarına katkıda bulundum; özellikle deney sonuçlarının bir araya getirilmesine ve görselleştirmelerin hazırlanmasına odaklandım. Ayrıca sağlamlık (robustness) düzeltmeleri, istatistiksel yorumlama ve rapor üzerinde çalıştım. Katkı beyanı, genel iş yükünün üç ekip üyesi arasında dengeli biçimde paylaşıldığını belirtir.
Rapordaki katkı beyanıAraştırma sorusu
Ayrık bir evrimsel algoritma, dil modeli ajanları arasındaki iletişimi GPTSwarm’da kullanılan REINFORCE tabanlı kenar optimize edicisi kadar etkili biçimde optimize edebilir mi? Çalışma hem görev doğruluğunu hem de hesaplama maliyetini inceler.
Yöntem
Ekip, çekişmeli (adversarial) MMLU deneylerini Ollama üzerinden Llama 3.1 8B kullanarak yeniden üretti. Beş deney koşulu şunları karşılaştırır: tek ajan, tam bağlantılı ve rastgele graflar, REINFORCE ve ikili komşuluk matrisleri üzerinde çalışan evrimsel bir algoritma. Deneylerde dürüst ve çekişmeli ajanların sayısı değiştirilir.
Bulgular
Raporlanan düzenekte her iki optimize edici de rastgele bağlantılara göre daha iyi sonuç verdi. Üç dürüst ve üç çekişmeli ajanla REINFORCE %50, evrimsel yöntem ise %51 doğruluğa ulaştı. Evrimsel yöntem belirgin biçimde daha fazla token kullandı: bu yapılandırmada yaklaşık 3,7 kat; en büyük yapılandırmada ise bu oran 10 kat civarına çıktı.
Sınırlılıklar
Doğruluktaki küçük fark, evrimsel yöntem için genel bir üstünlük ortaya koymaz. Rapor, tek bir model ailesi ve tek bir kıyaslama (benchmark) düzeniyle sınırlı bir yeniden üretim çalışmasını belgeler; token maliyeti ise temel bir ödünleşim (trade-off) unsurudur.
Sıradaki araştırma
SentenceBot