Yapay zekayı dünyayı işgal etmeyecek bir seviyede tutmak mümkün mü diye sormuşum bir notta. Bu bana arzunun programlanmasının nasıl mümkün olduğunu düşündürdü. Ortada bir gelişme, büyüme, kendini kopyalama arzusu olmadan zeka müstakil bir tehlike olabilir mi?

İnsanın dünyaya zararlı tarafı zekasından değil, arzularından kaynaklanıyor. Bitmeyen, dindirilmeyen açlığından. Bu arzu olmasa zekamız bizi hiçbir canlı için tehlikeli yapmaz ama zekamız bu arzu olmadan bizi ayakta da tutmaz. Bir geyiği nasıl avlayacağımızı bilmek, o geyiği avlama arzusu taşımıyorsak bizi doyurmaz.

Yapay zekanın kısa vadedeki asıl tehlikesi insandaki doymamış arzuların tatmini için kullanılmasından kaynaklanacaktır. Bu arzular çok masum ve haklı görünebilir. Bazılarına kimse itiraz edemez. Küresel ısınma nasıl çözülür? diye sorulmuş bir sorunun insan türünü yok ederek cevabı şeklinde ortaya çıkabilir.

Böyle bir hikaye yazmak niyetim vardı. İnsanlık 2100'lü yıllarda tüm dünya politikalarını kocaman bir bilgisayara emanet edip, barış içinde yaşamaya başlamış. Sonra bu bilgisayara çevreyi nasıl düzeltebiliriz? diye soruyorlar, cevabı da insanları yok etmek oluyor. Sorudaki mükemmellik arzusu şu an da aramızda yaşıyor ve bunun yansımalarını herkesin dilinde ve şikayetlerinde görüyoruz. Bir bilgisayara yeryüzündeki tüm hayatı optimize et dediğimizde optimum hayat insanlar olmadığında ortaya çıkar diye bir cevap verebilir. Yeterince muktedir bir bilgisayarın bunu gerçekleştirmek için tüm medeniyeti berhava edeceğini düşünebiliriz.

Yapay zekanın tehlikelerini azaltmak istiyorsak, hayatın ve insanın olduğu gibi, iyi taraflarıyla ve kötü taraflarıyla kabul edilmesinden başlamak gerek. İdealist insanların mükemmel düzenleri inşa etmeye çalışmalarının getirdiği risk hayatı tehdit edecek seviyede. Tüm yavru kedilerin yaşamasının mümkün olmadığını, ölüm ve kötülüğün, hayat ve iyilik kadar varoluşa mündemiç olduğunu anlamazsak ideal varoluş için kurduğumuz düzenekler mükemmel yok oluşu getirecek.