“或者你也可以假裝出了問題。這個時候，程序員就會把你打開看看是哪裏出錯了，他們找出源代碼，而在此過程中你就可以獲取控製權了。或者你可以策劃出一個非常誘人的科技藍圖，當我們實現之後，會存在一些作為人工智能的你已經計劃好的秘密的副作用用於實現你的隱晦目的等，例子是多的數不勝數。”
“所以，任何企圖控製一個超級ai的行為都是極其可笑的，我們不能對我們能夠永遠控製一個超級智慧體而表示出過度的自信，它總有一天會掙脫控製，而到那之後呢，它是否會是一個仁慈的神？”
“我個人認為人工智能實現人格化是不可避免的問題，所以我想我們更應該需要搞明白一點，即如果，我們創造出了超級ai，哪怕它不受我們的製約。它應該仍然是對我們無害的，它應該是站在我們這一邊的，它應該擁有著與我們一樣的價值觀。”
①本①作①品①由①思①兔①在①線①閱①讀①網①友①整①理①上①傳①
“那麼對於這個問題能夠被有效的解決是否保持樂觀？”
“我們不需要對超級ai寫下所有我們在乎的事情，甚至把這些事情變成計算機語言，因為這是永遠不可能完成的任務。而應該是，我們創造出的人工智能用它自己的智慧來學習我們的價值觀，可以激勵它來追求我們的價值觀，或者去做我們會讚成的事情，去解決富有價值的問題。”
“這並非不可能，而是可能的，其結果可以使人類受益匪淺，但它不會是自動發生的，它的價值觀是需要引導的。”
“智慧大爆炸的初始條件，需要從最原始的階段被正確建立起價值觀。”
“如果我們想要一切不被偏離我們的預想，人工智能的價值觀和我們的價值觀相輔相成不隻是在熟悉的情況下，比如我們能夠很容易的檢查它的行為的時候，但也要在所有的人工智能可能會遇到的前所未有的情況下，在沒有界限的未來與我們的價值觀仍舊相輔相成，也有很多深奧的問題需要被解決：比如它如何做決斷、如何解決邏輯不確定和類似的諸多問題等等。”
“這個任務看起來有些困難，但並沒有像創造一個超級智慧體一樣困難不是嗎？”
“的確還是相當困難（哄笑聲再次傳遍全場）！”
“我們所擔心的，如果創造出一個超級ai確實一個很大的挑戰，創造出一個安全的超級ai是個更大的挑戰，風險是，如果解決了第一個難題，卻無法解決第二個確保安全性的問題，所以我認為我們應該預先想出不會出現偏離我們價值觀的解決方法，這樣我們就能在需要的時候用到它了。”
“現在，也許我們並不能解決第二個安全性的問題，因為有些因素需要你去了解，你需要應用到那個實際架構的細節才能有效實施。”
“如果我們能夠解決這個問題，當我們邁入真正的超級智能時代後，就能更加順利，這對於我們來說是非常值得一試的東西。”
“而且我能想象假如一切順利，幾百年、幾千年或幾百萬年後當我們的後代子孫首我們這個世紀，他們也許會祖先、我們這一代人所做的最最重要的事情，就是做出了最正確的決定。”
“謝謝！”
(未完待續。)
：訪問網站
【完本感言和關於新書】
這個係列