Teknolojik Tekillik Nedir?

Vernor Vinge tarafından yazılan, “Yaklaşan Teknolojik Tekillik: Post-İnsan Döneminde Nasıl Hayatta Kalınır” başlıklı makale sizlerle.

 

Modern teknolojinin gelişimi ve ilerlemesi, 19. yüzyıldaki sanayi devrimi başlangıç kabul edildiği takdirde, bu dönemden beri ivmelenen bir hızla devam ediyor. Peki ama nereye kadar? Teknolojik gelişimin bir sonu var mı?

Tam olarak bir “son” denemez belki ama, birçok bilim insanı ve bilim felsefecisinin uzlaştığı bir nokta var. Bu nokta, insan üstü süper zekânın ortaya çıkacağı ve kendisinden sonra gelen teknolojik gelişimlerin, insana ait kavrayış yetilerinin ötesine geçeceği, Teknolojik Tekillik.

Teknolojik Tekillik, aslına bakılırsa, pek çok bilim kurgu eserinde, açık veya üstü kapalı şekilde işleniyor. Ancak, özellikle ana akım eserlerde, gerçek bir tekilliğin özünün yakalanabildiğini söylemek çok zor. Zira, burada, yapay zekânın (tıpkı insanlar gibi) eline ağır makinalı tüfekleri alıp, (tıpkı insanlar gibi) düşman olarak algıladığı kişilerin/grupların peşine düşerek, (tıpkı insanlar gibi) kendi hakimiyetini kurmak için çabalayıp durduğu, sadece, normalden daha tehlikeli bir düşman olduğu durumlardan bahsetmiyoruz. Bu tür bir tasvir, “Tekillik” olarak nitelendirilmekten oldukça uzaktır.

Teknolojik Tekillik, tıpkı uzay-zamandaki tekillikler olan karadelikler gibi, kendisinin ötesinin görülmesinin mümkün olmadığı teknolojik bir sıçramayı tarif eder. Bu ilerleme o kadar dramatiktir ki, tarif etmek için yapılacak her türden tasvir, eksik benzetmeler olarak kalmaya mahkumdur. Belki örnek olarak, insanların karıncalar ile ve karıncaların da insanlarla olan iletişimleri verilebilir. Hayal etmesi güç olsa da, bir süper-insan zekâsı ile iletişim kurmak, belki buna benzetilebilir (süper-insan’daki “insan” kelimesinin sizi yanıltmasına izin vermeyin).

Sözü daha fazla uzatmadan, sizleri Vernor Vinge tarafından yazılan makale ile baş başa bırakıyoruz.

-oo-

 

YAKLAŞAN TEKNOLOJİK TEKİLLİK: POST-İNSAN DÖNEMİNDE NASIL HAYATTA KALINIR

 

Özet. Otuz yıl içinde, süper-insan zekâsı yaratmak için gereken araçlara sahip olacağız. Bundan kısa bir süre sonra, insanlık dönemi sona erecek.

Böyle bir ilerleme kaçınılabilir midir? Eğer kaçınılmaz ise, olaylar bizim hayatta kalacağımız şekilde yönlendirilebilir mi? Bu sorular araştırılmaktadır. Bazı olası cevaplar (ve bazı diğer tehlikeler) ileri sürülmüştür.

 

Tekillik nedir?

Teknolojik ilerlemenin ivmelenmesi bu yüzyılın ana özelliği olmuştur. Bu makalede, Yeryüzünde insanlığın ortaya çıkışı ile kıyaslanabilecek bir değişimin yakınında olduğumuzu ileri sürüyorum. Bu değişimin nedeni yakın zamanda, teknoloji ile insandan daha zeki varlıkların yaratılacak olmasıdır. Bilimin bunu gerçekleştirebileceği birkaç yol bulunuyor (ve bu da bu olayın gerçekleşeceğine dair güveni artıran bir başka neden):

  • “Uyanık” {İng. Awake} ve süper-insan derecesinde zeki bilgisayarların geliştirilmesi. (Bugüne kadar YZ {yapay zekâ} konusundaki en tartışmalı konu, bir makinada insanın eşdeğerini yaratıp yaratamayacağımızla ilgilidir. Fakat cevap, “evet, yapabiliriz” ise, bu durumda bundan kısa bir süre sonra daha zeki yaratıkların inşa edilebileceği konusunda pek az şüphe vardır.)
  • Büyük bilgisayar ağları (ve ilgili kullanıcıları) süper-insan şeklindeki bir varlık olarak “uyanabilirler.”
  • İnsan/bilgisayar arayüzleri o kadar iç içe geçebilir ki, kullanıcılar makul bir şekilde süper-insan derecesinde zeki olarak görülebilir.
  • Biyoloji bilimi doğal insan zekâsını geliştirecek yollar bulabilir.

İlk üç olasılık, büyük ölçüde bilgisayar donanımlarındaki gelişmelere bağlıdır. Bilgisayar donanımlarındaki ilerleme, geçen birkaç on yıl boyunca şaşırtıcı bir şekilde istikrarlı bir eğri izlemiştir [16]. Büyük ölçüde bu eğilime dayanarak, önümüzdeki otuz yıl içerisinde daha büyük bir insan zekâsının yaratılışının gerçekleşeceğine inanıyorum. (Charles Platt [16], YZ meraklılarının, geçen otuz yıl boyunca buna benzer iddialarda bulunuyor olduklarına işaret etmiştir. Bu tür bir göreli-zaman belirsizliğine mahal vermemek için daha net olmama izin verin: Eğer bu olay 2005’ten önce, veya 2030’dan sonra meydana gelirse, benim için şaşırtıcı olur.)

Bu olayın sonuçları nelerdir? İnsan-zekâsından-daha-büyük zekâ ilerlemenin itici gücü olduğunda, ilerleme çok daha hızlı gerçekleşecektir. Aslına bakılırsa, bu sürecin kendisinin – daha kısa sürelerde – daha da zeki varlıkların yaratımını içermemesi için bir neden yok gibi görünüyor. Karşılaştığım en iyi benzetme, evrimsel geçmiş ile olan: Hayvanlar sorunlara adapte olabilirler ve icatlar yapabilirler, fakat çoğu zaman doğal seçilimin işleyebileceğinden daha hızlı değil – doğal seçilim konusunda dünya kendi kendisinin simülatörü gibi çalışır. Biz insanlar dünyayı içselleştirme ve aklımızdan “farz edelim ki şöyle”ler kurma yeteneğine sahibiz; birçok sorunu, doğal seçilimden binlerce kat hızlı çözebiliriz. Şimdi, bu simülasyonları çok daha hızlı gerçekleştirmek için gereken araçları yaratarak, bize ait insan geçmişinden, insanların daha düşük hayvanlardan farklı olduğu kadar, radikal derecede farklı yeni bir düzene giriyoruz.

İnsan açısından bu değişim, önceki kuralların tamamının, belki de göz kırpacak kadar kısa sürede ortadan kalktığı, tüm kontrol edilebilme olanaklarının ötesinde, üstel bir kontrolden çıkıştır. Daha önceden, ancak “bir milyon yıl sonra” (o da belki) gerçekleşebilir diye düşünülen gelişmelerin gelecek yüzyılda gerçekleşmeleri olası görünüyor. (Greg Bear [4]’te önemli değişikliklerin yalnızca saatler içerisinde gerçekleştiği bir tasvir yapıyor.)

Bu olayı tekillik diye isimlendirmenin doğru olduğunu düşünüyorum (bu makalede “Tekillik” olarak kullanılacak). Bu, bizim modellerimizin terkedilmesi gereken ve yeni bir gerçekliğin hükmünün başladığı bir noktadır. Biz bu noktaya yaklaştıkça, kavram sıradan bir hale gelene kadar, insan hayatına giderek daha fazla ve daha fazla girecektir. En sonunda gerçekleştiği zaman yine de büyük bir sürpriz ve daha büyük bir bilinmezlik olabilir. 1950’li yıllarda bunu tahmin eden az sayıda insan vardır: Stan Ulam [27], John Neumann’ın söylediklerini şu şekilde özetlemiştir:

Sohbetlerimizden biri, sürekli olarak ivmelenen teknolojik ilerleme ve insan yaşam şeklindeki değişiklikler üzerine odaklanmıştı. Bunlar öyle değişikliklerdir ki, insan ırkının tarihinde, insani ilişkilerin kendisinden önceki şekliyle devam edemeyeceği bir çeşit zorunlu tekilliğin yaklaşmakta olduğu izlenimini vermektedir.

Von Neumann tekillik terimini dahi kullanmıştır; yine de hâlâ süper-insan zekâsının yaratımını değil, sıradan ilerlemeyi düşünüyor gibi görünür. (Benim için süper-insanlık tekilliğin özüdür. Bu olmadan, asla tam olarak özümseyemeden, yalnızca teknolojik zenginliklere boğulmuş oluruz ([24]’e bakınız).)

1960’larda süper-insan zekâsının bazı olası sonuçları tanınmıştır. I. J. Good şöyle yazar [10]:

Ultra-zeki bir makinayı, ne kadar zeki olursa olsun, herhangi bir insanı tüm entelektüel etkinliklerde geçebilecek bir makina olarak tanımlayalım. Makina tasarlamak bu etkinliklerden biri olduğu için, ultra-zeki bir makina, her zaman daha iyi ve daha iyi makinalar tasarlayabilecektir; bu nedenle de kuşkusuz bir “zekâ patlaması” gerçekleşecek ve insan zekâsı çok geriye düşecektir. Bu nedenle ilk ultra-zeki makina, insanlığın icat etmeye ihtiyaç duyacağı son icattır; eğer ki bu makina kendisini nasıl kontrol altında tutacağımızı bize söyleyecek kadar uysal olursa.

Yirminci yüzyıl içerisinde, ultra-zeki bir makinanın inşa edilecek olması ve bunun insanlığın ihtiyaç duyacağı son icat olması ihtimali, bunların gerçekleşmeme ihtimalinden daha fazladır.

Good, kontrolden çıkmanın özünü yakalamıştır, ancak onun en rahatsız edici sonuçlarının peşine düşmez. Tarif ettiği türden bir zeki makina, nasıl ki insanlar, tavşanların veya serçelerin veya şempanzelerin bir aracı değilse, insanlığın bir “aracı” olmayacaktır.

’60’lar, ’70’ler ve ’80’ler boyunca felaket daha geniş ölçüde tanınmıştır [28], [1], [30], [4]. Belki de etkiyi ilk kez somut olarak hissedenler bilim kurgu yazarları olmuştur. Ne de olsa tüm bu teknolojinin bizi nasıl etkileyeceğine dair spesifik hikâyeler yazmaya çalışan kişiler, “katı” bilim kurgu yazarlarıdır. Bu yazarlar, gelecek ile aramızda bulunan mat bir duvarı giderek daha fazla duyumsamışlardır. Bir zamanlar, bu tür fantezileri milyonlarca yıl geleceğe yerleştirebiliyorlardı [23]. Şimdi ise en gayretli tahminlerinin dahi bilinemeyenle sonuçlandığının fark etmişlerdi. Bir zamanlar galaktik imparatorluklar Post-İnsan alanı olarak görülmüş olabilir. Artık, maalesef, ancak gezegenler arası olanlar görülüyordu.

Peki ya, eşiğe yaklaşırken ’90’lar, ’00’lar ve ’10’lar ne olacak? Tekilliğin yaklaşması, insanların dünya görüşlerine ne şekilde yayılacak? Daha bir süre boyunca makina zekâsının genel eleştirileri basında çokça yer bulacaktır. Ne de olsa, insan beyni kadar güçlü donanımlara sahip oluncaya kadar, insan eşdeğeri (veya daha büyük) bir zekâ yaratabileceğimizi düşünmek muhtemelen aptalca. (İnsan eşdeğerini daha güçsüz donanım ile oluşturabileceğimiz zorlama bir olasılık da mevcut; eğer hızdan feragat edersek, eğer kelimenin gerçek anlamıyla yavaş olan yapay bir yaratık bizim için yeterli olacaksa [29]. Fakat büyük ihtimalle, yazılımı oluşturmak, birçok yanlış başlangıcı olan ve çok sayıda deney gerektiren karmaşık bir süreç olacaktır. Eğer öyleyse, öz-farkındalığı olan makinaların ortaya çıkışı, insanlığın sahip olduğu doğal araçlardan hatırı sayılır ölçüde güçlü olan donanımların geliştirilmesinden önce gerçekleşmeyecektir.)

Fakat zaman ilerledikçe daha fazla belirti görmemiz gerekiyor. Bilim kurgu yazarları tarafından duyumsanan ikilem, diğer yaratıcı faaliyetlerde de fark edilecektir. (Dikkatli bir çizgi roman yazarının, görülebilen her şeyin teknik olarak basitçe üretilebilir olduğundaki şaşırtıcı etkisi hakkında kaygıları olduğunu duymuştum.) Otomasyonun giderek daha yüksek ve daha yüksek seviye işlerin yerini aldığını göreceğiz. Şu anda bizi düşük seviye angaryalardan kurtaran araçlarımız mevcut (sembolik matematik programları, CAD/CAM). Ya da başka bir şekilde söylemek gerekirse: Gerçekten üretken olan işler, giderek insanlığın daha küçük ve daha elit olan bir bölümünün alanına sıkışıyor. Tekilliğin yaklaşmasıyla, gerçek teknolojik işsizlik tahminlerinin nihayet gerçekleştiğini görüyoruz.

Tekilliğe doğru ilerliyor olmanın bir başka belirtisi de şudur: Fikirlerin kendileri giderek daha hızlı yayılacaktır ve en aşırı olanları dahi hızlıca sıradan hale gelecektir. Ben, yazmaya ilk başladığımda, kültürel bilince süzülmesi on yıllar sürecek fikirler bulmak oldukça kolay görünüyordu; şimdiyse gecikme süresi sekiz ay gibi görünüyor. (Bu elbette yaşlandıkça benim hayal gücümü kaybediyor olmamdan kaynaklanıyor olabilir, fakat bu durumu başkalarında da görüyorum.) Sıkıştırılabilir akıştaki şok gibi, biz kritik hıza yaklaştıkça, Tekillik de bize yaklaşıyor.

Peki ya Tekilliğin kendisinin ortaya çıkışı? Gerçek görünüşü hakkında ne söylenebilir? Entelektüel bir kontrolden çıkışı içerdiği için, muhtemelen şimdiye kadarki teknik devrimlerden çok daha hızlı gerçekleşecektir. Tetikleyici olayın beklenmedik olması olasıdır – belki işin içindeki araştırmacılar için bile. (“Fakat önceki modellerimiz katatonikti! Yalnızca birkaç parametre ile oynuyorduk…”) Eğer ağ yeterince geniş ise (yaygın şekilde kullanılan sistemlere gömülü ise), tüm eşyalarımızın hepsinin birden aniden uyanması gibi görünebilir.

Peki ya bundan bir veya iki ay (veya bir veya iki gün) sonra ne olacaktır? Yalnızca bazı benzetmeler yapabilirim: İnsanlığın ortaya çıkışı. Bizler Post-İnsan dönemine girmiş olacağız. Ve tüm coşkulu teknolojik iyimserliğime rağmen, zaman zaman, bu aşkın olayların yaşanmasına yirmi yıl yerine bin yıl veya daha fazla verebiliyor olsam daha huzurlu olurdum gibi geliyor.

 

Tekillikten Kaçınılabilir mi?

Belki de gerçekleşmeyecektir: Bazen, eğer Tekillik gerçekleşmeyecek olsa ne gibi belirtileri olacağını kurmaya çalışıyorum. Penrose [18] ve Searle’ın [21], makina aklının uygulanabilirliğinin aleyhine olan ve yaygın olarak kabul gören argümanları mevcut. Ağustos 1992’de, Thinking Machines Corporation {Tr. Düşünen Makinalar Şirketi}, “Düşünen Bir Makinayı Nasıl İnşa Edeceğiz” sorusunu araştırmak için bir çalıştay düzenledi [26]. Başlıktan tahmin etmiş olabileceğiniz üzere, katılımcılar makina zekâsı karşıtı argümanları özellikle destekliyor değillerdi. Aslına bakılırsa, zihnin biyolojik olmayan temellerde var olabileceğine ve algoritmaların zihinlerin varlığı konusunda merkezi bir öneme sahip olduğuna dair genel bir kanı mevcuttu. Yine de organik beyinlerde bulunan ham donanımsal güç hakkında tartışılacak çok şey vardı. Azınlık olan bir grup, 1992’deki en büyük bilgisayarların, insan beyninin gücünün üç büyüklük mertebesi içerisinde bulunduğunu düşünüyordu. Katılımcıların çoğunluğu, donanımsal eşitlikten on ila kırk yıl uzakta olduğumuz hakkındaki Moravec’in tahmininde [16] birleşiyordu. Ancak, tekil nöronların bilgisayımsal gücünün genel olarak düşünülenden çok daha fazla olabileceğine işaret eden ve bu tezi ortaya atan bir azınlık daha vardı. Öyleyse, var olan bilgisayar donanımımız kafamızın içinde taşıdığımız araçlardan on büyüklük mertebesine kadar daha düşük olabilir. Eğer bu doğru ise (veya bu konudaki Penrose veya Searle eleştirileri geçerliyse), asla bir Tekillik ile karşılaşmayabiliriz. Bunun yerine, ’00’ların başında, donanım performansı eğrilerimizin düzleşmeye başladığını fark ederiz – bu, donanım tasarımı işlerinin karmaşıklığını, donanım gelişme eğrilerini destekleyecek şekilde otomatize edemediğimiz için bizden kaynaklanmış olur. Elimizde çok güçlü donanımlar olmuş olur, fakat daha ileriye götürme imkânımız bulunmaz. Ticari sayısal sinyal işleme, sayısal operasyonlara dahi analog bir görünüm verebilecek kadar güzel olabilir, ancak hiçbir şey “uyanmaz” ve Tekilliğin özü olan bir entelektüel kontrolden çıkış yaşanmaz. Bu muhtemelen bir altın çağ olarak görülecektir … ancak aynı zamanda ilerlemenin de sonu olur. Bu, Gunther Stent tarafından yapılan gelecek tahminine çok benziyor. Aslına bakılırsa, [24]’ün 137. sayfasında, Stent açık bir şekilde transhümanist bir zekânın ortaya çıkışının, kendisinin gelecek hakkındaki izdüşümlerini bozacak tek şey olduğunu yazar.

Ancak eğer teknolojik Tekilliğin ortaya çıkma ihtimali varsa, çıkacaktır. Dünyadaki tüm devletler “tehdit”in farkında ve bundan ölesiye korkuyor olsalar dahi, amaca doğru ilerleme devam edecektir. Kurgusal eserlerde, “insan zihni şeklinde bir makinanın” inşa edilmesini yasaklayan kanunların çıkarıldığı hikâyeler mevcuttur [12]. Gerçekte ise, otomasyondaki her ilerlemenin rekabette vereceği üstünlük – ekonomik, askeri, hatta sanatsal – o kadar çekicidir ki, bu tür şeyleri yasaklayan kanunlar çıkarmak, vergiler koymak, yalnızca başka birinin bunlara daha önce sahip olmasını garanti altına alır.

Eric Drexler [7], bilimsel ilerlemenin ne kadar ileri gidebileceği hakkında harika bir iç görü geliştirmiştir. Süper-insan zekâsının yakın gelecekte var olacağını ve bu tür varlıkların insan statükosuna bir tehdit arz edeceğini kabul eder. Ancak Drexler, bu türden transhüman cihazlara kurallar yerleştirilebileceğini veya fiziksel olarak kapalı tutularak sonuçların incelenebileceğini ve güvenli bir şekilde kullanılabileceklerini savunur. Bu, I. J. Good’un ultra-zeki makinasının, fazladan tedbirler alınmış halidir.

Ben fiziksel olarak kapalı tutulmanın doğası gereği uygulanamaz olduğunu düşünüyorum. Fiziksel kapatılma durumu için, kendinizin evinizde kapalı tutulduğunuzu ve dışarısıyla ve efendilerinize olan veri alışverişinizin sınırlanmış olduğunu düşünün. Eğer bu efendiler, sizden – diyelim ki – bir milyon kat daha yavaş düşünebiliyorsa, birkaç yıllık bir süre içerisinde (sizin zamanınızla), aklınıza, daha sonra sizin tesadüfen özgür kalmanıza neden olacak “yararlı tavsiyeler” geleceğine şüphe yoktur. (Süper-zekânın bu “hızlı düşünme şeklini “zayıf süper-insanlık” olarak isimlendiriyorum. Bu şekildeki bir “zayıf süper-insan” varlık, muhtemelen dışarının zamanıyla birkaç haftada kendisini tüketecektir. “Güçlü süper-insanlık” yalnızca işlemci saat hızı artırılmış insan eşdeğeri zihinden fazlası olacaktır. “Güçlü süper-insanlığın” tam olarak ne olacağını söylemek zor, ancak arada derin bir fark olacak gibi görünüyor. Bir köpeğin zihnini çok hızlı çalıştırdığınızı düşünün. Köpeğin bin yıl boyunca yaşadıkları birikerek herhangi bir insan iç görüsüne dönüşebilir mi? (Tabii eğer köpek zihni akıllıca yeniden oluşturulup, bundan sonra yüksek hızda çalıştırılırsa, o zaman farklı şeylerle karşılaşabiliriz…) Süper-zekâ konusundaki spekülasyonların çoğu zayıf süper-insan modeli üzerine kurulu gibi görünüyor. Ben, post-Tekillik dönemi konusundaki en sağlıklı tahminlerin, güçlü süper-insanlık üzerine kafa yorularak elde edileceğini düşünüyorum. Bu noktaya makalenin ilerleyen kısımlarında geri döneceğim.)

Drexler-vari kapatılmaya ait bir diğer yaklaşım ise yaratılan süper-insan varlığının zihninde kurallar oluşturmaktır (Asimov Kanunları). Yeterli derecede katı performans kuralları, aynı zamanda yetenekleri serbest olanlarınkine göre açıkça daha düşük olan cihazların ortaya çıkmasına neden olacaktır (ve bu nedenle de insanlar arasındaki rekabet daha tehlikeli olan modellerin geliştirilmesinin tercih edilmesine neden olacaktır). Yine de Asimov rüyası, harika bir rüyadır. Her konuda sizden 1000 kat daha fazla kapasitesi olan, istekli bir köleniz olduğunu düşünün. Sizin güvenli olan her dileğinizi (bu her ne demekse) yerine getirebilecek ve buna rağmen zamanının %99.9’unun başka aktiviteler için serbest kalacağı bir yaratık düşünün. Asla tam olarak anlayamadığımız ama iyiliksever tanrılarla dolu yeni bir evren ortaya çıkacaktır (tabii benim dileklerimden biri, onlardan biri olmak olabilir).

Eğer Tekillik önlenemiyor veya sınırlandırılamıyor ise, Post-İnsan dönemi ne kadar kötü olabilir ki? Şey … oldukça kötü olabilir. İnsan ırkının fiziksel olarak neslinin tükenmesi olasılıklardan biridir. (Veya Eric Drexler’ın nano-teknolojiden bahsederken söylediği gibi: Bu türden bir teknolojinin yapabilecekleri göz önünde bulundurulduğunda, belki de devletler düpedüz artık vatandaşlarına ihtiyaçları olmadığına kanaat getirebilirler!) Yine de soyumuzun tükenmesi en korkunç olasılık olmayabilir. Tekrar, benzetmeler: Hayvanlarla olan çeşitli bağlarımızın farklılıklarını düşünün. Bazı basit fiziksel suiistimaller akıl dışıdır, yine de… Bir Post-İnsan dünyasında insan eşdeğeri otomasyonun arzu edilebileceği pek çok uygun alan bulunacaktır: otomatik cihazlarda bulunacak gömülü sistemler, daha büyük varlıkların altında işleyen öz-farkındalığı olan iblisler. (Güçlü süper-insan zekâsı muhtemelen bazı çok yetenekli bileşenleri olan bir Akıl Toplumu [15] olacaktır.) Bu insan eşdeğerlerinden bazıları sinyal işleme dışında başka bir alanda kullanılmayabilir. Bunlar insandan ziyade balinalar gibi olacaktır. Diğerleri oldukça insan benzeri olabilir, ama bir tek yönlülük, çağımızda akıl hastanelerine kapatılmalarına neden olacak bir adanmışlık ile. Bu yaratıkların hiçbiri etten ve kemikten insanlar olmasa bile, yeni çevremizde şu an insan olarak adlandırdığımız şeye en yakın şeyler olabilirler. (I. J. Good’un, her ne kadar artık bu zamanda biraz geç kalmış olsa da, söylediği bir şey vardır: Good [11], şu şekilde yorumlanabilecek bir “Meta-Altın Kural” ileri sürmüştür: “Sizin altınızda olanlara, üstünüzde olanların size davranmasını istediğiniz gibi davranın.” Bu harika bir paradoksal fikirdir (ve dostlarımın çoğu buna inanmamaktadır) zira oyun-teorik kazancının ne olduğunu ortaya koymak zordur. Yine de eğer bu şekilde hareket ediyor olsaydık, bir anlamda, evrende bu türden bir cömertliğin var olma ihtimali üzerine bir şeyler söyleyebilirdik.)

Yukarıda Tekilliği önleyemeyeceğimizi ve gelişinin insanların doğal rekabetinin ve teknolojinin doğasında var olan olasılıkların kaçınılmaz bir sonucu olduğunu tartıştım. Ama yine de … başlatacak olan kişiler bizleriz. En büyük çığlar dahi küçük şeyler tarafından tetiklenir. Başlangıç şartlarını belirleme ve olayların diğer ihtimallere göre daha az zarar verici şekilde gelişmesini sağlama özgürlüğümüz bulunuyor. Elbette (çığların başlangıçlarında olduğu gibi), doğru itkinin aslında nasıl yapılması gerektiği pek de açık olmayabilir.

 

Tekilliğe Giden Diğer Yollar: Zekâ Yükseltimi

İnsanlar süper-insan seviyesinde zeki yaratıkların yaratımından bahsederken, genelde YZ projelerini düşünürler. Fakat bu makalenin başında belirttiğim gibi, süper-insana giden başka yollar da vardır. Bilgisayar ağları ve insan-bilgisayar arayüzleri YZ’den daha sıradan görünürler, ancak yine de Tekilliğe neden olabilirler. Ben bu karşıt yaklaşımı, Zekâ Yükseltimi (ZY) olarak isimlendiriyorum. ZY gayet doğal bir şekilde ilerliyor, pek çok durumda kendisinin geliştiricileri tarafından dahi ne olduğu fark edilmiyor. Fakat, bilgiye ulaşma yeteneğimizin arttığı ve diğerleri ile iletişim imkanlarımızın iyileştiği her durumda, bir anlamda doğal zekâ konusunda bir artış elde etmiş oluyoruz. Şu an bile, Doktorası olan bir insan ve iyi bir iş istasyonu bilgisayarı (hatta ağa bağlı olmayan bir iş istasyonu!) muhtemelen, herhangi yazılı bir zekâ testinden tam puan alabilir durumdadır.

Ve ZY’nin, süper-insan zekâsına ulaşma konusunda saf YZ’den daha kolay bir yol olması muhtemeldir. İnsanlarda, en büyük geliştirme sorunları halihazırda çözülmüştür. Kendimizden başlayarak inşa etmek, gerçekte ne olduğumuzu keşfedip, sonra da buna göre makinalar inşa etmekten daha kolay olsa gerektir. Ve bu yaklaşım için, en azından varsayımsal örnekler mevcuttur. Cairns-Smith [5], biyolojik yaşamın, kristallerin büyümesine dayanan, daha ilkel bir yaşam türüne ek olarak ortaya çıktığını düşünmektedir. Lynn Margulis [14], mutualizmin, evrimdeki önemli itici güç olduğuna dair görüşler için güçlü argümanlar öne sürmüştür.

YZ araştırmalarının göz ardı edilmesi veya bu araştırmalara daha az kaynak ayrılması gerektiğini ileri sürmediğimi belirtmem gerekiyor. YZ alanında gerçekleşen şeylerin, çoğu zaman ZY alanında uygulamaları olacaktır ve bunun tersi de geçerlidir. Ben, ağ ve arayüz araştırmalarında, Yapay Zekâ kadar derin (ve potansiyel olarak şiddetli) olasılıkların bulunduğunu kabul etmek gerektiğini ileri sürüyorum. Bu iç görü ile, geleneksel arayüz ve ağ tasarım çalışmaları kadar doğrudan uygulanabilir olmasa da, bizi Tekilliğe doğru ZY yolundan ilerleyecek çalışmaları fark edebiliriz.

Aşağıda, ZY bakış açısından bakıldığından özel bir dikkati hak eden bazı olası çalışmalar bulunmaktadır.

  • İnsan/bilgisayar ekip otomasyonu: Normalde tam olarak makina çözümü şeklinde düşünülen problemleri (tepe-tırmanma problemleri gibi) ve tasarım programlarını ve insanların sezgilerinden yaralanan arayüzleri ve var olan bilgisayar donanımlarını ele alalım. Yüksek boyutlu tepe-tırmanma problemlerinin tüm tuhaflıklarını (ve çözümleri için geliştirilen zekice algoritmaları) göz önünde bulundurursak, insan takım üyesi için sağlanabilecek bazı çok ilginç görüntülemeler ve kontrol araçları var olabilir.
  • Sanatta insan/bilgisayar ortak-yaşamı {İng. symbiosis} geliştirilmesi: Bu, Modern makinaların grafik üretim kapasiteleri ile insanların estetik anlayışlarının birleştirilmesidir. Elbette, sanatçılara, işten tasarruf sağlayan bilgisayar yardımı tasarımları konusunda büyük miktarda araştırma mevcut. Ben, açık bir şekilde yeteneklerin daha bütünsel bir birleşimini hedeflememiz gerektiğini ve açık bir şekilde iş birliği yaklaşımının mümkün olduğunun fark edilmesi gerektiğini öne sürüyorum. Karl Sims [22] bu yönde harika çalışmalar ortaya koymuştur.
  • Satranç turnuvalarında insan/bilgisayar takımlarına izin verilmesi: Halihazırda insanların çoğundan daha iyi oynayabilen programlarımız mevcut. Fakat bu gücün bir insan tarafından, daha da iyi bir şey elde etmek amacıyla kullanılması için ne kadar çalışma yapılmıştır? Eğer bu türden takımlara en azından bazı turnuvalarda izin verilirse, bu ZY araştırmaları üzerinde, bilgisayarların turnuvalara katılmasının ilgili niş YZ araştırmaları üzerindeki pozitif etkisinin elde edilmesini sağlayabilir.
  • Bilgisayar ve ağ erişimi için, insanın bilgisayar karşısında tek bir noktada oturmasını gerektirmeyecek arayüzlerin geliştirilmesi. (ZY’nin bu tarafı, halihazırda iyi bilinen ekonomik avantajlar ile paralellik göstermektedir ve bu konuda büyük miktarda çaba harcanmaktadır.)
  • Daha fazla simetrik karar destek sisteminin geliştirilmesi: Geçtiğimiz yıllardaki popüler araştırma/üretim alanlarından biri karar destek sistemleri olmuştur. Bu bir ZY biçimidir, fakat anlaşılması güç sistemlere fazla odaklanmış olabilir. Programın kullanıcıya bilgi vermesi kadar, kullanıcının programı yönlendirmesi düşüncesinin de var olması gerekmektedir.
  • İnsan ekiplerinin gerçekten işlediği (yani kendi bileşeni olan üyelerden daha verimli olduğu) yerel ağların kullanılması: Bu genel olarak “grup-yazılımı”nın alanıdır ve daha şimdiden oldukça popüler bir ticari yönelim haline gelmiştir. Burada bakış açısındaki değişim, grup etkinliğine birleşik bir organizma olarak yaklaşmak olacaktır. Buradaki öneri, bir anlamda, bu türden birleşik operasyonlar için “Düzen Kuralları” icat edilmesinin amaçlanması olarak görülebilir. Örneğin, grup odaklanması, geleneksel toplantılara göre daha kolay sağlanabilir olabilir. Bireysel insan üyelerin uzmanlıkları, ego sorunlarından ayrılabilir, böylece farklı üyelerin katkıları ekip projesine odaklanır. Ve elbette, paylaşımlı veri tabanları, geleneksel heyet çalışmalarından çok daha kolay kullanılabilir. (Buradaki önerinin, politik toplantılardan ziyade takım çalışmalarını hedef aldığının altını çizmek isterim. Politik bir durumda, yukarıda tarif edilen türde bir otomasyon, yalnızca, zorla, kuralları belirleyen kişilerin isteklerini yerine getirecektir.)
  • Dünya çapındaki internetin, insan/makina birleşimi için bir araç olarak kullanılması. Listedeki tüm öğeler arasında bu yöntemdeki ilerleme en hızlı olanıdır ve bizi Tekilliğe başka herhangi bir şeyden önce ulaştırabilir. Günümüzdeki internetin gücü ve etkisi bile büyük ölçüde küçümsenmektedir. (Örneğin, çağcıl bilgisayar sistemlerimizin, USENET’in, “grup zihnini” sistem yöneticileri ve destek ekiplerine kazandırdığı bir yönü olmasaydı, kendi karmaşıklıklarının ağırlığı altında çökeceklerini düşünüyorum. Dünya çapındaki ağın geliştirilmesi sırasında ortaya çıkan anarşinin kendisi, buna ait potansiyelin kanıtıdır. Bağlanabilirlik ve bant genişliği ve arşiv boyutları ve bilgisayar hızlarının tamamı arttıkça, Lynn Margulis’in [14], biyosferin bir veri işlemcisi olarak yeniden tasarlanması vizyonuna benzer bir şeyin ortaya çıktığını görüyoruz. Farklı tarafı ise bir milyon kat daha hızlı olması ve milyonlarca insan zekâsına sahip ajanlara (bizler) sahip olması.

Yukarıdaki örnekler çağcıl bilgisayar bilimleri bölümlerinde gerçekleştirilebilecek araştırmaları tasvir etmektedir. Başka paradigmalar da mevcuttur. Örneğin, Yapay Zekâ ve sinir ağları alanındaki çalışmaların çoğu, biyolojik yaşam ile kurulacak daha yakın bir ilişkiden yarar sağlayacaklardır. Biyolojik yaşamı bilgisayarlar ile yalnızca modellemeye ve anlamaya çalışmak yerine, araştırmalar, yönlendirme anlamında veya donanıma uygulayabilecek kadar hakim olmadığımız özellikleri sağlaması için biyolojik yaşama dayanan kompozit sistemlerin yaratılması yönüne çevrilebilir. Bilim kurgunun eski düşlerinden biri, beynin bilgisayara doğrudan bağlanmasını sağlayan bir arayüz olmuştur [2] [28]. Aslına bakılırsa, bu alanda gerçekleştirilebilecek (ve gerçekleştirilmiş) somut çalışmalar mevcuttur.

  • Protez uzuvlar, doğrudan ticari uygulaması olan bir başlıktır. Sinir-silikon çeviricileri gerçekleştirilebilir durumdadır [13]. Bu doğrudan iletişim için heyecan verici, kısa vadeli adımlardan biridir.
  • Buna benzer beyne doğrudan bağlantılar, eğer bit oranı düşük tutulursa uygulanabilir olabilir: İnsanın öğrenme konusundaki esnekliği göz önünde bulundurulduğunda, belirli beyin nöron hedeflerinin kesin bir şekilde hedeflenmesi gerekmeyebilir. Saniyede 100 bit dahi, aksi takdirde menü-odaklı arayüzlere mahkûm olan inme hastaları için son derece kullanışlı olacaktır.
  • Optik sinir hattına bağlanma, 1Mbit/saniye civarında bant genişliklerinin elde edilmesi potansiyeline sahiptir. Fakat bunun için görüşe ait küçük-ölçekli mimariyi bilmemiz ve muazzam bir elektrot ağını, mükemmel bir kesinlik ile yerleştirebilmemiz gerekmektedir. Eğer yüksek bant genişliğine sahip olan bağlantının, beyinde halihazırda var olan yollara ek olarak yerleştirilmesini istiyorsak, problem muazzam derece daha zor bir hale gelir. Beyne yalnızca bir yüksek bant genişliğine sahip alıcılardan oluşan bir ızgara sisteminin yerleştirilmesi kesinlikle yeterli olmayacaktır. Fakat bu yüksek bant genişliğine sahip ızgaranın, embriyo gelişirken, beyin yapısının inşa edildiği aşamada yerleştirildiğini düşünün. Bu, şunu ileri sürmektedir:
  • Hayvan embriyoları deneyleri: Ben, bu tür bir araştırmanın ilk yıllarında ZY konusunda herhangi bir başarı beklemiyorum; ancak gelişmekte olan beyinlerin, karmaşık simüle edilmiş sinirsel yapılara erişmeleri, embriyonik beyinlerin nasıl geliştiklerini inceleyen kişiler için oldukça ilgi çekici olabilir. Uzun vadede, bu tür deneyler, fazladan duyu yolları bulunan ve ilgi çekici entelektüel yetenekleri olan hayvanların yaratılmasını sağlayabilir.

Başlangıçta, ZY konusundaki bu tartışmanın açıkça daha güvenli olan Tekillik yaklaşımları ortaya çıkaracağını umuyordum. (Ne de olsa, ZY, aşkınlığa bizim de bir katılımımızı sağlıyor.) Ne yazık ki, buradaki ZY önerilerine tekrar baktığımda emin olduğum tek şey göz önünde bulundurmaları gerektiği ve bize fazladan seçenekler sağlayabilecekleri. Fakat güvenlik konusuna gelince … buradaki önerilerin bir bazıları görünüşte korkutucu. Gayri resmi eleştirmenlerimden biri, tekil kişiler için ZY’nin oldukça tekinsiz bir seçkin tabaka yaratacağına işaret etti. Biz insanlar, rekabete ölümcül bir açıdan bakmamıza neden olan milyonlarca yıllık evrimsel bir birikime sahibiz. Bu ölümcüllüğün büyük bir kısmı, kaybedenlerin, kazananların çalışmalarını benimsediği ve kazananların girişimlerine dahil olduğu, bugünün dünyasında gerekli olmayabilir. De novo inşa edilen bir yaratık, sivri dişler ve pençeler üzerine kurulu bir özden gelenlere nazaran çok daha iyi huylu olabilir. Veya, tüm insanlık ile birlikte uyanan bir İnternet hakkındaki en eşitlikçi bakış açıları dahi bir kabus olarak nitelendirilebilir [25].

Sorun, Tekilliğin yalnızca insanlığın merkezi konumunun ortadan kalmasını temsil etmesi değildir, aynı zamanda bizim varoluş hakkındaki en temel ve derin düşüncelerimiz ile çelişiyor olmasıdır. Sanırım güçlü süper-insanlık kavramına daha yakın bir bakış, bunun neden böyle olduğunu açıklayabilir.

 

Güçlü Süper-insanlık ve Bekleyebileceğimizin En İyisi

Tekilliği dilediğimiz gibi etkileyebileceğimizi düşünün. En abartılı isteklerimize ulaşabileceğimizi düşünün. Bu durumda ne isterdik: İnsanların kendi kendilerinin ardılları haline gelmelerini, ve gerçekleşebilecek herhangi bir adaletsizliğin, köklerimiz hakkındaki bilgimiz sayesinde hafiflemesini. Değiştirilmeyenler için amaç, sevecen bir şekilde davranılmaları olurdu (hatta belki geride kalanların, tanrısal kölelerin efendileri oldukları görüntüsü) Bu, (Stent’in engelini aşarak) aynı zamanda ilerleme de içeren bir altın çağ olabilirdi. Ölümsüzlük (veya en azından evrenin devamını sağlayabildiğimiz sürece devam eden bir yaşam süresi) elde edilebilir olurdu.

Fakat bu en aydınlık ve en zarif dünyada, felsefi sorunların kendileri oldukça göz korkutucu bir hale geliyor. Kapasitesi sabit kalan bir zihin, sonsuza kadar yaşayamaz; birkaç bin yıldan sonra, bir insandan ziyade, tekrar edip duran bir bant makarasına benzeyecektir. (Bu konuda karşıma çıkan en tüyler ürpertici tasvir [17]’dedir.) Belirsiz bir süre boyunca yaşayabilmek için, zihnin kendisinin büyümesi gerekir … ve yeterince büyüdüğü zaman geriye bakarsa … kendi orijinal ruhu hakkında hangi ortak-duyguları duyumsuyor olabilir. İkinci varlık, kesinlikle orijinalin olduğu her şeydir, fakat aynı zamanda muazzam derece fazlası da. Ve bu nedenle bireyler için dahi, Cairns-Smith’in (veya Lynn Margulis’in) yeni yaşamın kademeli olarak eskisinden ortaya çıkması fikri geçerli olsa gerektir.

Ölümsüzlükle ilgili bu “sorun” çok daha doğrudan şekillerde ortaya çıkıyor. Ego kavramı ve öz-farkındalık, katı gerçekçiliğin son birkaç yüzyıldaki temelini oluşturmuştur. Ancak şu an, öz-farkındalık kavramı, Yapay Zekâ araştırmacıları tarafından saldırı altındadır (“öz-farkındalık ve diğer sanrılar”). Zekâ yükseltimi, egonun önemini başka bir yönden azaltmaktadır. Post-Tekillik dünyası, aşırı derecede yüksek bant genişlikleri içerecektir. Güçlü süper-insan varlıkların ana özelliklerinden biri, yüksek olasılıkla, konuşmadan veya yazılı mesajlardan çok daha yüksek olanlar da dahil olmak üzere, farklı bant genişliklerinde iletişim kurabilme yeteneğine sahip olmaları olacaktır. Egonun parçaları kopyalanabilir ve birleştirilebilir olduğunda, öz-farkındalığın ölçeği, ele alınan problemin doğasına göre büyüyebilir veya küçülebilir olduğunda, ne olacaktır? Bunlar süper-insanlık ve Tekilliğin temel özelliklerindendir. Bunlar hakkında düşündükçe, insan, Post-İnsan çağının – ne kadar zekice ve uysalca var edilirse edilsin – ne kadar tuhaf ve farklı olacağını duyumsamaya başlar.

Bir açıdan, bu görüntü en mutlu hayallerimizin çoğuna uymaktadır: Sonu olmayan, birbirimizi gerçekten tanılayabileceğimiz ve en derin gizemleri anlayabileceğimiz bir yer. Başka bir açıdan ise, bu makalenin başında bahsetmiş olduğum en kötü senaryoya oldukça benzemektedir.

Geçerli olan bakış açısı hangisidir? Aslına bakılırsa, yeni çağın, klasik iyi ve kötü çerçevesine uyabilmek için fazla farklı olacağını düşünüyorum. Bu çerçevenin temeli, birbirine düşük bant genişlikleri ile bağlı, izole edilmiş ve değiştirilemez zihinlerin fikirleridir. Ancak Post-Tekillik dünyası, uzun zaman önce (belki de biyolojik yaşamın ortaya çıkışından dahi önce) başlamış, daha geniş bir değişim ve iş birliği geleneği ile uyuşmaktadır. Böyle bir çağda uygun olacak etik kavramlarının var olduğunu düşünüyorum. ZY konusundaki araştırmalar ve yüksek bant genişliği iletişimleri bu anlayışı güçlendirecektir. Şu an için, yalnızca, Good’un Meta-Altın Kuralında [10] ve belki de kendiliğini, başkalarından, aradaki bağlantının bant genişliğine göre ayırt etme kurallarında, buna ait birtakım göstergeler görebiliyorum. Ve zihin ile kendiliğin geçmişte olduğundan çok daha değişken olacak olmasına rağmen, değer verdiğimiz şeylerin (bilgi, hafıza, düşünce) asla kaybolması gerekmeyecek. Freeman Dyson’un şunu söylerken haklı olduğunu düşünüyorum [8]: “Tanrı, aklın, kavrayışımızın ötesine geçtiği zaman dönüştüğü şeydir.”

 

[Bu makalenin taslak halini benimle tartıştıkları için San Diego State University’den John Carroll’a ve Sun Microsystems’dan Howard Davidson’a teşekkür ederim.]

 

Kaynaklar [ve birtakım bibliyografik yardım istekleri]

[1] Alfvén, Hannes, writing as Olof Johanneson, The End of Man?, Award Books, 1969 earlier published as “The Tale of the Big Computer”, Coward-McCann, translated from a book copyright 1966 Albert Bonniers Forlag AB with English translation copyright 1966 by Victor Gollanz, Ltd.

[2] Anderson, Poul, “Kings Who Die”, If, March 1962, p8-36. Reprinted in Seven Conquests, Poul Anderson, MacMillan Co., 1969.

[3] Barrow, John D. and Frank J. Tipler, The Anthropic Cosmological Principle, Oxford University Press, 1986.

[4] Bear, Greg, “Blood Music”, Analog Science Fiction-Science Fact, June, 1983. Expanded into the novel Blood Music, Morrow, 1985

[5] Cairns-Smith, A. G., Seven Clues to the Origin of Life, Cambridge University Press, 1985.

[6] Conrad, Michael et al., “Towards an Artificial Brain”, BioSystems, vol23, pp175-218, 1989.

[7] Drexler, K. Eric, Engines of Creation, Anchor Press/Doubleday, 1986.

[8] Dyson, Freeman, Infinite in All Directions, Harper && Row, 1988.

[9] Dyson, Freeman, “Physics and Biology in an Open Universe”, Review of Modern Physics, vol 51, pp447-460, 1979.

[10] Good, I. J., “Speculations Concerning the First Ultraintelligent Machine”, in Advances in Computers, vol 6, Franz L. Alt and Morris Rubinoff, eds, pp31-88, 1965, Academic Press.

[11] Good, I. J., [Help! I can’t find the source of Good’s Meta-Golden Rule, though I have the clear recollection of hearing about it sometime in the 1960s. Through the help of the net, I have found pointers to a number of related items. G. Harry Stine and Andrew Haley have written about metalaw as it might relate to extraterrestrials: G. Harry Stine, “How to Get along with Extraterrestrials … or Your Neighbor”, Analog Science Fact- Science Fiction, February, 1980, p39-47.] [12] Herbert, Frank, Dune, Berkley Books, 1985. However, this novel was serialized in Analog Science Fiction-Science Fact in the 1960s.

[13] Kovacs, G. T. A. et al., “Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation”, IEEE Transactions on Biomedical Engineering, v 39, n 9, pp 893-902.

[14] Margulis, Lynn and Dorion Sagan, Microcosmos, Four Billion Years of Evolution from Our Microbial Ancestors, Summit Books, 1986.

[15] Minsky, Marvin, Society of Mind, Simon and Schuster, 1985.

[16] Moravec, Hans, Mind Children, Harvard University Press, 1988.

[17] Niven, Larry, “The Ethics of Madness”, If, April 1967, pp82-108. Reprinted in Neutron Star, Larry Niven, Ballantine Books, 1968.

[18] Penrose, R., The Emperor’s New Mind, Oxford University Press, 1989.

[19] Platt, Charles, Private Communication.

[20] Rasmussen, S. et al., “Computational Connectionism within Neurons: a Model of Cytoskeletal Automata Subserving Neural Networks”, in Emergent Computation, Stephanie Forrest, ed., p428-449, MIT Press, 1991.

[21] Searle, John R., “Minds, Brains, and Programs”, in The Behavioral and Brain Sciences, v.3, Cambridge University Press, 1980. The essay is reprinted in The Mind’s I, edited by Douglas R. Hofstadter and Daniel C. Dennett, Basic Books, 1981. This reprinting contains an excellent critique of the Searle essay.

[22] Sims, Karl, “Interactive Evolution of Dynamical Systems”, Thinking Machines Corporation, Technical Report Series (published in Toward a Practice of Autonomous Systems: Proceedings of the First European Cnference on Artificial Life, Paris, MIT Press, December 1991.

[23] Stapledon, Olaf, The Starmaker, Berkley Books, 1961 (but from the forward probably written before 1937).

[24] Stent, Gunther S., The Coming of the Golden Age: A View of the End of Progress, The Natural History Press, 1969.

[25] Swanwick Michael, Vacuum Flowers, serialized in Isaac Asimov’s Science Fiction Magazine, December(?) 1986 – February 1987. Republished by Ace Books, 1988.

[26] Thearling, Kurt, “How We Will Build a Machine that Thinks”, a workshop at Thinking Machines Corporation. Personal Communication.

[27] Ulam, S., Tribute to John von Neumann, Bulletin of the American Mathematical Society, vol 64, nr 3, part 2, May, 1958, p1-49.

[28] Vinge, Vernor, “Bookworm, Run!”, Analog, March 1966, pp8-40. Reprinted in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.

[29] Vinge, Vernor, “True Names”, Binary Star Number 5, Dell, 1981. Reprinted in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.

[30] Vinge, Vernor, First Word, Omni, January 1983, p10.

 

(c) 1993 by Vernor Vinge (Verbatim copying/translation and distribution of this entire article is permitted in any medium, provided this notice is preserved.) This article was for the VISION-21 Symposium sponsored by NASA Lewis Research Center and the Ohio Aerospace Institute, March 30-31, 1993. It is also retrievable from the NASA technical reports server as part of NASA CP-10129. A slightly changed version appeared in the Winter 1993 issue of Whole Earth Review.

 

-oOo-

 

Yazan: Vernor Vinge
Orijinal adı:The coming technological singularity: how to survive in the post-human era
NASA VISION-21 Symposium, 1993
URL: https://edoras.sdsu.edu/~vinge/misc/singularity.html

 

Yorumlar