参加《危险边缘》的IBM超级计算机“沃森”回答复杂且含糊的自然语言问题的能力让世人折服,在此之后,沃森还可能在6月成为IBM百年华诞庆典的重要嘉宾。沃森不仅仅是一台折服世人的计算系统,如果沃森技术有朝一日还能够被利用并以多种方式部署,那么上周的《危险边缘》比赛将会成为信息技术中具有历史意义的事件,而大数据和分析也将带来更多社会意义。
“自然”语言是指任何由人类口头表达或书写的语言,例如英语,而不是一种计算机语言,但这两种语言存在着交集。例如,用户利用自然语言进行搜索时,他会输入一个简单的英语问题,而不是关键字,这样就可以触发Google搜索。理想的情况下,一个正确的自然语言查询应该得到一个简单精确且具高度可信的答案,而不是像一般的搜索引擎那样得到成千上万个似是而非的答案,还需要用户自己确定最佳答案。
这里并没有无视Google(其原创性突破的重要性和价值性已被公认)或其他搜索引擎如微软的Bing,只是想说明自然语言问题是非常困难的。这种问题不仅需要进行语法分析(计算机已经能够在一定时间内从语法上分析句子),还需要处理自然语言中普遍存在的微妙含义、细微区别和模棱两可。仿自然语言的尝试已有失败前例,Ask Jeeves就是其中一位,由其创办的Ask.com现在只是一个传统搜索引擎的前端。这就属于小虾米想吃大鱼的问题
曾有人建议利用人工智能(AI)给自然语言问题提供自然语言解答,人工智能这方面的应用在过去几年时断时续地发展着。然而,即使人工智能现在能够获得一些成功(主要在定义明确的领域),它也只能为自然语言问题提供部分解决方案。
IBM也将自然语言搜索作为一项重大挑战,这也是IBM在技术上很重要也很艰难的研发项目。IBM这次取得的成功对于普通人来说很容易了解,对企业和社会意义非凡。IBM之前曾发起的一次重大挑战是深蓝超级计算系统,它在1997年战胜了国际象棋冠军卡斯帕罗夫。
现在,对于象棋,衡量其成功的标准很简单:只需在一次比赛中击败世界象棋冠军即可。但自然语言问题和回答的衡量标准是什么呢?恰好美国长期电视转播的智力竞赛节目“危险边缘”能够提供这样一种标准。在“危险边缘”节目中,三名参赛选手必须回答各种不同且困难的自然语言问题。
沃森到底需要做些什么呢?IBM表示自动问答系统技术包括了五大重要部分以迎战“危险边缘”的对手:开放定义域、复杂语言、高精度、精确置信度和高速度:
开放定义域:这就意味着问题涉及普通人容易接触的任何主题和信息,但不能过于专业,比如,有丝分裂和胞质这类概念。现有系统诸如专家系统,就应用于非常细分的特定领域。
复杂语言:自然语言是语义含糊且上下文相关的,即同一种含义存在无数种表达方式;如果要寻找适合万物的准则,只怕纵使拥有千万种,也是不足够的。
高精准:需要决定性的单一答案,而非存在正确答案的一系列可能性答案。
精确可信度:“危险边缘”节目规则是要惩罚回答错误者,所以猜测问题答案是行不通的,不过,不回答问题同样不允许。要想获胜,得出符合或超过可信阀值的答案是关键。
高速度:要胜过人类,沃森必须在三秒以内回答问题
事实上,“危险边缘”曾在两个方面援助过IBM,一是为IBM提供问题资源以测试沃森,二是作为“最后测验”以确定沃森是否能够战胜节目史上最优秀的两位选手,这次测验也将“危险边缘”作为一个舞台向普通用户展示了大数据、分析和负载优化系统的强大性能。
沃森是自包含硬件系统,即所有计算能力、存储和网络连接都是本地模式。沃森并不与互联网连接,所以它并不能通过网络搜索信息。与卡斯帕洛夫比赛时,IBM为深蓝专门定制了组件,沃森与其不同,构成沃森的组件市面都有销售。
实际上,沃森正是IBM所谓的“负载优化”系统。以下数字可能让你感到震撼:90台IBM Power 750服务器,搭载了2880颗POWER7核心,其芯片带宽为每秒500GB,且拥有10GB以太网、15TB的内存、20TB的集群磁盘存储。总的来说,这台系统的执行速度为80 teraflops,显然,大规模并行处理是至关重要的。
是不是IBM的杀手锏就只有硬件而已呢?答案是否定的。硬件是一个自然语言系统的必要组成部分,但仅有硬件是完全不够的。如果关键仅仅是单纯的速度,那么其他计算机在之前就可以赢得比赛了(许多计算机都比人类大脑运行的更快)。
沃森真正的秘诀在于IBM的Deep Question-Answering(即Deep QA算法)。IBM将此项技术描述为大规模并行处理、概率性、基于证据的架构。该描述甚为拗口,实际上就是大量的自然语言进程、信息信息检索机制、机器学习和推理算法共同作用。这是一个极为先进的分析进程,单一的算法是不足够的(现在Deep QA使用了100种算法)。
对于任何一个问题,沃森都将检测到数以百计的资源,也将得到数以千计的可能答案。潜在的成千上万个证据将会进入一个假设和证据评分进程,进行综合处理(此过程将利用大规模并行处理)之后,将得到最终的可信指数及排名,以提供具有最高可信值的最终答案。
沃森并不准备通过Turing测试,且在意识领域还一事无成。而人类智慧在诸如音乐和艺术表现及想象领域杰出依旧。此外,沃森并不会成为备受期待能产生数以亿计利润的商用产品,也不会成为互联网中的闪亮之星(尽管IBM能够使得在线使用沃森成为可能)。如果既不能买到它又不能使用它,那沃森对人类生活有什么样的意义呢?
IBM计划致力于垂直行业,沃森涉足医疗保健领域可能是该技术的首次商用实现。其目的是成为一名“医生助手”帮助病人从更加广泛和更有深度的角度检测所有的症状。比如,沃森医生能够检测到一名专家知识范围之外的病症,而这又恰好符合病人病情。IBM相信沃森医生能够拯救生命,这也极有可能。
在任何情况下,IBM似乎都擅长处理应用的业务重点拓展。虽然这是很有意义的做法,但IBM不可能开发出沃森的全部潜能。IBM并不想让沃森以后出现在互联网上,提供类似Google的服务。这是可以理解的,原因在于这和IBM以往的业务模式并不相同。但考虑到沃森的潜力,为什么不发挥其长呢?
沃森的价值所在还可在其他领域得到实现。沃森可以通过手机允许人们询问自然语言问题并口头回复一个非常精确的答案(而不是在电脑屏幕上显示文档信息),这将是体现沃森价值的一个方式。另外要提醒IBM:对于盲人,这一做法将会非常伟大,可以让他们作为通用的应用。沃森的另一个应用是桌面微型沃森,GUI相比命令行可以提供更为丰富的选择,但你能够真正找到那些你在需要的时候就能出现的功能吗?众所周知,帮助功能是最没帮助的。但沃森在这些及相关领域可谓是恩赐之物。
如果你不知道沃森是一台计算机,你还能将它和其余选手区别开来吗?答案也是否定的,因此沃森通过了一个非常重要的智能测试,这个测试是许多人多年来都不认为能够通过的。仅凭这一点,沃森此举也能成为计算机智能中的一个里程牌。
可能很多人都纠结过到底希望Brad Rutter 、Ken Jennings或沃森中哪一位成为最后的获胜者。人类智慧是不可估量的,但技术的发展也不容忽视,可沃森仍是人类智慧的结晶。这样的纠结并没有实际意义,沃森的确证明了它能从问答角度以世界级的水平解决自然语言问题。沃森的胜利将成为信息技术史上的一大里程碑。
一种曾经只会出现在科幻小说中的技术得以实现是极为罕见的。手机是著名电影Dick Tracy中手腕无线电的实例。沃森是经典电视系列《星际迷航》中问答计算机的实例。虽然沃森所衍生的益处要想实现还需要一段时间,即使这些益处相比我们能够摸到的(物理产品),或能看到的(互联网上的应用)要模糊很多,但它们终有一天可以实现。就如上文中提到的那样,沃森还可能化身医生拯救人类生命。从社会的角度来说,IBM有责任让这样一个独特且潜在有益的技术得到更为广泛的应用,哪怕要涉及到许可或公开。
革新对于社会是必不可少的,但基础研究的相关资源不断在减少,这在某种程度上制约了技术进步。幸运的是,一些大型IT厂商坚持投资并专研非常有益且有价值的研究,这些研究往往胜过现有产品的下一个版本。IBM就是其中之一。沃森在一个非常重要的领域创造了选择和机遇。应该感谢“危险边缘”为自然语言计算提供了一个公正且具挑战性的平台。其他IT厂商很少愿意投资到一些不可能成功,或即使成功,也不可能得到短期投资回报的项目。沃森可谓是IBM第二个世纪创新的开始。