Seyahat acenteleri, iş insanları, tatilciler ve aralarındaki herkes için ulaşım, konaklama, yemek ve konaklama gibi uçtan uca lojistik sağlamaya yardımcı olur. Kendi düzenlemelerini yapmak isteyenler için, büyük dil modelleri (LLM'ler), doğal dili kullanarak yinelemeli olarak etkileşim kurma, biraz sağduyulu akıl yürütme sağlama, bilgi toplama ve eldeki göreve yardımcı olmak için diğer araçları çağırma yetenekleri nedeniyle bu görev için kullanılabilecek güçlü bir araç gibi görünüyor. Ancak, son çalışmalar, son teknoloji LLM'lerin karmaşık lojistik ve matematiksel akıl yürütmeyle ve seyahat planlama gibi birden fazla kısıtlamaya sahip sorunlarla mücadele ettiğini ve ek araçlar ve uygulama programlama arayüzleri (API'ler) ile bile zamanın yüzde 4'ü veya daha azında uygulanabilir çözümler sağladıkları bulunmuştur.
Daha sonra, MIT ve MIT-IBM Watson AI Lab'den bir araştırma ekibi, karmaşık sorunlar için LLM çözümlerinin başarı oranını artırıp artıramayacaklarını görmek için sorunu yeniden çerçevelendirdi. MIT Havacılık ve Uzay Bilimleri Bölümü (AeroAstro) ve Bilgi ve Karar Sistemleri Laboratuvarı (LIDS) doçenti Chuchu Fan, "Bu planlama problemlerinin çoğunun doğal olarak bir kombinatoryal optimizasyon problemi olduğuna inanıyoruz" diyor ve burada birkaç kısıtlamayı sertifikalı bir şekilde karşılamanız gerekiyor. Ayrıca MIT-IBM Watson AI Lab'da araştırmacıdır. Ekibi, robotik, otonom sistemler, kontrolörler ve insan-makine etkileşimleri için güvenli ve doğrulanabilir kontrol sistemleri geliştirmek amacıyla makine öğrenimi, kontrol teorisi ve resmi yöntemler uyguluyor.
Seyahat planlaması için çalışmalarının aktarılabilir doğasını fark eden grup, gerçekçi, mantıklı ve eksiksiz seyahat planları geliştirmeye yardımcı olmak için bir AI seyahat acentesi gibi davranabilen kullanıcı dostu bir çerçeve oluşturmaya çalıştı. Bunu başarmak için araştırmacılar, ortak LLM'leri algoritmalar ve eksiksiz bir tatmin edici çözücü ile birleştirdiler. Çözücüler, kriterlerin karşılanıp karşılanamayacağını ve nasıl karşılanacağını titizlikle kontrol eden matematiksel araçlardır, ancak kullanım için karmaşık bilgisayar programlaması gerektirirler. Bu, kullanıcıların programlama bilgisi veya seyahat seçenekleri hakkında araştırma ihtiyacı olmadan zamanında planlama konusunda yardım istediği bu tür sorunlar için onları LLM'lerin doğal yoldaşları haline getirir. Ayrıca, bir kullanıcının kısıtlaması karşılanamıyorsa, yeni teknik sorunun nerede yattığını belirleyip ifade edebilir ve kullanıcıya alternatif önlemler önerebilir, böylece kullanıcı geçerli bir plan formüle edilene kadar bunları kabul etmeyi, reddetmeyi veya değiştirmeyi seçebilir, eğer varsa.
"Seyahat planlamasının farklı karmaşıklıkları, herkesin bir noktada uğraşması gereken bir şeydir. Toplayabileceğiniz farklı ihtiyaçlar, gereksinimler, kısıtlamalar ve gerçek dünya bilgileri vardır," diyor Fan. "Fikrimiz LLM'lerden bir seyahat planı önermelerini istemek değil. Bunun yerine, burada bir LLM, sorunun bu doğal dil tanımını bir çözücünün halledebileceği bir soruna çevirmek için bir çevirmen görevi görüyor [ve ardından bunu kullanıcıya sağlıyor]," diyor Fan.
Fan ile birlikte çalışma hakkında bir makalenin ortak yazarları arasında MIT-IBM Watson AI Lab'dan Yang Zhang, AeroAstro lisansüstü öğrencisi Yilun Hao ve MIT LIDS ve Harvard Üniversitesi'nden lisansüstü öğrencisi Yongchao Chen yer alıyor. Bu çalışma yakın zamanda Association for Computational Linguistics'in Amerika Milletleri Konferansı'nda sunuldu.
Çözücüyü parçalamak
Matematik genellikle alan-spesifiktir. Örneğin, doğal dil işlemede, LLM'ler bir dizi belgeyi analiz etmek veya oluşturmak için bir sonraki belirteci, diğer adıyla "kelimeyi" tahmin etmek için regresyonlar gerçekleştirir. Bu, çeşitli insan girdilerini genelleştirmek için iyi çalışır. Ancak LLM'ler tek başına, devre bağlantıları ve kısıtlama görevlerinin eksiksiz ve kanıtlanmış olması gereken havacılık veya siber güvenlik gibi resmi doğrulama uygulamaları için işe yaramaz, aksi takdirde boşluklar ve güvenlik açıkları gizlice girebilir ve kritik güvenlik sorunlarına neden olabilir. Burada, çözücüler mükemmeldir, ancak sabit biçimlendirme girdilerine ihtiyaç duyarlar ve tatmin edilemeyen sorgularla mücadele ederler. Ancak, hibrit bir teknik, günlük insanlar için sezgisel bir şekilde seyahat planlama gibi karmaşık problemler için çözümler geliştirme fırsatı sunar.
Fan, "Çözücü burada gerçekten anahtardır, çünkü bu algoritmaları geliştirdiğimizde, problemin bir optimizasyon problemi olarak nasıl çözüldüğünü tam olarak biliyoruz" diyor. Özellikle araştırma grubu, bir formülün karşılanıp karşılanamayacağını belirleyen satisfiability modulo theories (SMT) adlı bir çözücü kullandı. Fan, "Bu özel çözücüyle, sadece optimizasyon yapmıyor. Planlama probleminin çözülebilir olup olmadığını anlamak için oradaki birçok farklı algoritma üzerinde muhakeme yapıyor. Bu, seyahat planlamasında oldukça önemli bir şey. Çok geleneksel bir matematiksel optimizasyon problemi değil çünkü insanlar tüm bu sınırlamaları, kısıtlamaları, kısıtlamaları ortaya koyuyor," diye belirtiyor.
Eylemde çeviri
"Seyahat acentesi", ihtiyaç duyulduğunda tekrarlanabilen dört adımda çalışır. Araştırmacılar, yöntemin LLM'si olarak GPT-4, Claude-3 veya Mistral-Large'ı kullandılar. LLM, öncelikle bir kullanıcının talep ettiği seyahat planı istemini planlama adımlarına ayırır ve bütçe, oteller, ulaşım, varış noktaları, ilgi çekici yerler, restoranlar ve gün cinsinden seyahat süresi tercihlerinin yanı sıra diğer kullanıcı reçetelerini de not eder. Bu adımlar daha sonra yürütülebilir Python koduna (her kısıtlama için doğal dil açıklamasıyla) dönüştürülür ve bu kod, veri toplamak için CitySearch, FlightSearch vb. gibi API'leri çağırır ve SMT çözücüsü kısıtlama tatmin probleminde belirtilen adımları yürütmeye başlar. Sağlam ve eksiksiz bir çözüm bulunabilirse, çözücü sonucu LLM'ye çıktı olarak verir ve LLM de kullanıcıya tutarlı bir güzergah sağlar.
Bir veya daha fazla kısıtlama karşılanamazsa, çerçeve bir alternatif aramaya başlar. Çözücü, LLM'nin kullanıcıya olası bir çözümle birlikte sağladığı çakışan kısıtlamaları (karşılık gelen açıklamasıyla) tanımlayan kodu çıktı olarak verir. Kullanıcı daha sonra bir çözüme (veya maksimum yineleme sayısına) ulaşılana kadar nasıl devam edeceğine karar verebilir.
Genelleştirilebilir ve sağlam planlama
Araştırmacılar, yukarıda belirtilen LLM'leri kullanarak yöntemlerini diğer temel çizgilere karşı test ettiler: GPT-4 tek başına, OpenAI o1-preview tek başına, bilgi toplamak için bir araçla GPT-4 ve toplam maliyeti optimize eden bir arama algoritması. Uygulanabilir planlar için veri içeren TravelPlanner veri setini kullanarak ekip, birden fazla performans ölçütüne baktı: bir yöntemin ne sıklıkla bir çözüm sunabileceği, çözümün bir günde iki şehri ziyaret etmemek gibi sağduyulu kriterleri karşılayıp karşılamadığı, yöntemin bir veya daha fazla kısıtlamayı karşılama yeteneği ve tüm kısıtlamaları karşılayabileceğini gösteren nihai bir geçiş oranı. Yeni teknik, temel çizgiler için %10 veya daha düşük bir oranla karşılaştırıldığında genellikle %90'ın üzerinde bir geçiş oranı elde etti. Ekip ayrıca, sorgu adımına bir JSON gösteriminin eklenmesini araştırdı ve bu, yöntemin %84,4-98,9 geçiş oranlarına sahip çözümler sunmasını daha da kolaylaştırdı.
MIT-IBM ekibi, yöntemleri için ek zorluklar ortaya koydu. Çözümlerinin her bir bileşeninin ne kadar önemli olduğunu incelediler — insan geri bildirimini veya çözücüyü kaldırmak gibi — ve bunun, UnsatChristmas adlı yeni bir veri kümesi kullanarak 10 veya 20 yineleme içinde karşılanamayan sorgulara yönelik plan ayarlamalarını nasıl etkilediğini incelediler. Bu veri kümesi, görülmemiş kısıtlamaları ve TravelPlanner'ın değiştirilmiş bir sürümünü içeriyordu. Ortalama olarak, MIT-IBM grubunun çerçevesi %78,6 ve %85 başarı elde etti ve bu, ek plan değişikliği turlarıyla %81,6 ve %91,7'ye yükseldi. Araştırmacılar, yeni, görülmemiş kısıtlamaları ve parafraze edilmiş sorgu adımlarını ve adım kodu istemlerini ne kadar iyi ele aldığını analiz ettiler. Her iki durumda da, özellikle parafraze etme denemesi için %86,7'lik bir geçiş oranıyla çok iyi performans gösterdi.
Son olarak, MIT-IBM araştırmacıları çerçevelerini blok seçme, görev tahsisi, seyyar satıcı problemi ve depo gibi görevlerle diğer alanlara uyguladılar. Burada, yöntem numaralı, renkli blokları seçmeli ve puanını en üst düzeye çıkarmalıdır; farklı senaryolar için robot görev atamasını optimize edin; seyahatleri kat edilen mesafeyi en aza indirerek planlayın; ve robot görev tamamlama ve optimizasyonu.
"Bunun insanlar için çok fazla zaman kazandırabilecek çok güçlü ve yenilikçi bir çerçeve olduğunu düşünüyorum ve ayrıca LLM ve çözücünün çok yeni bir kombinasyonu," diyor Hao.
Bu çalışma kısmen Deniz Araştırmaları Ofisi ve MIT-IBM Watson AI Lab tarafından finanse edildi.
Comments
Post a Comment