谷歌引入尖端NLP技术 英文语种搜索引擎查询效果提高10%
发布时间:2019-10-28 16:08:13 文章来源:网易科技报道
谷歌目前正在对其核心搜索算法进行调整,称这可能会帮助搜索查询效果提高10%。谷歌引入了其研究人员开发的尖端自然语言处理(NLP)技术,并在

谷歌目前正在对其核心搜索算法进行调整,称这可能会帮助搜索查询效果提高10%。谷歌引入了其研究人员开发的尖端自然语言处理(NLP)技术,并在过去10个月中将其应用于搜索产品中。

本质上,谷歌声称其可通过更好地理解句子中单词之间的关系来提高搜索结果。谷歌研究员兼搜索业务副总裁潘杜·纳亚克(Pandu Nayak)表示,老版谷歌搜索算法将句子分解成“一连串的单词”,并分析重要单词的意思,从而给出简单的本地搜索结果。而新的算法能够理解上下文语境,进而给出更精确准确的结果。

谷歌调整后的搜索算法基于语言表达模型BERT,即“Bidirectional Encoder Representations from Transformers”的缩写,它将句子作为整体来看待,更注重句子的整体意义。谷歌高级研究员兼研究高级副总裁杰夫·迪恩(Jeff Dean)表示,随着时间的推移,这种培训在让NLP模型“理解”上下文方面变得非常有效。

谷歌表示,它在过去几天始终在推动算法改进,这应该会影响到美国约10%的英语搜索查询结果,其他语种的改进将在稍后讨论。

对搜索的所有改进都会经过一系列测试,以确保它们确实改善了查询结果。其中一项测试涉及使用谷歌的核心人类评审员,他们通过对搜索结果的质量进行评级来培训公司的算法。此外,谷歌还会进行实时A/B测试。

当然,并不是每个查询都会受到BERT的影响,这只是谷歌用来对搜索结果进行排名的诸多不同工具中最新的一个。这些工具到底是如何兼容工作的,这仍然是个谜。谷歌有意将其中某些过程保秘,以防止垃圾邮件发送者对其系统进行欺骗。

除此之外,保密的另一个重要原因是:当计算机使用机器学习技术做出决定时,很难知道它做出这些选择的原因。机器学习的所谓“黑匣子”是个棘手问题,因为如果结果在某种程度上是错误的,那么很难诊断原因。

谷歌表示,该公司已经努力确保在搜索算法中加入BERT后不会增加偏差,这是机器学习中的一个常见问题,机器学习的训练模型本身也是存在偏差的。由于BERT是在巨大英语句子语料库上训练的,这些句子本身也是有偏见的,所以这是个需要密切关注的问题。

该公司还表示,预计其新算法在引导流量方面不会出现重大变化,至少对于大型出版商而言是这样。每当谷歌发出改变其搜索算法的信号时,整个网络都会加以密切关注,毕竟谷歌搜索排名的变化有时候决定了公司的生死存亡。

每个依靠网络流量赚钱的人绝对应该注意到这一点。当谈到其搜索结果的质量时,纳亚克说:“这是我们在过去五年中经历的最积极的变化,也可能是公司成立以来最大的变化之一。”

关键词: 谷歌 搜索

乐活HOT

  • 2021年福建举办红色电影展映活动近63万场
    2021年福建举办红色电影展映活动

    记者20日获悉,为发挥好红色电影在党史学习教育中的特殊作用,2021年我省举办红色电影展映活动近63万场,观影人数近1300万人次。来自全省各

  • 浙江遂昌教育提质行动推进教育高质量发展
    浙江遂昌教育提质行动推进教育高

    近日,遂昌育才高级中学学生李何其荣获第38届全国中学生物理竞赛金牌,并保送北大。近年来,遂昌大力实施教育提质行动,加快推进教育高质量

  • 2021年黑龙江货物贸易进出口总值同比增长29.6%达1995亿元
    2021年黑龙江货物贸易进出口总值

    据哈尔滨海关统计,2021年,我省货物贸易进出口总值1995亿元人民币,比上年(下同)增长29 6%,比2019年增长6 9%,进出口增速高于全国增速8 2

  • 2021年辽宁大连持续推进农村环境综合整治
    2021年辽宁大连持续推进农村环境

    2021年,大连市生态环境部门持续推进农村环境综合整治,完成116个省级美丽宜居村污水和水源地规范化整治任务,完成15处农村黑臭水体治理。

  • 辽宁大连持续深入推进环评审批制度改革
    辽宁大连持续深入推进环评审批制

    2021年,大连市深入推进环评审批制度改革,实施网上办十项举措和容缺受理即来即办秒批秒办全程网办,实现即来即办事项达到40%以上、全程网

  • 青岛上线运行全国首个公交钥匙智能管控系统
    青岛上线运行全国首个公交钥匙智

    驾驶员于惠你好,请发9时15分2路线,请取33号车钥匙。青岛公交2路线驾驶员于惠完成面部识别后,面前的智能钥匙柜自动开启,于惠按照语音提

  • 国际公共艺术论坛系列活动在青岛举行
    国际公共艺术论坛系列活动在青岛

    第五届国际公共艺术奖颁奖典礼暨国际公共艺术论坛系列活动在青岛西海岸新区举行。作为国际公共艺术领域最高成就的象征,国际公共艺术奖(IAP

  • 2021年青岛机场完成货邮吞吐量同比增长14.9%达23.76万吨
    2021年青岛机场完成货邮吞吐量同

    青岛机场集团透露,2021年,青岛机场共完成货邮吞吐量23 76万吨,同比增长14 9%。其中,国际货邮吞吐量为9 63万吨,在国外疫情形势严峻的情

  • 潍坊商务局去年支持小微企业出口额17.1亿美元
    潍坊商务局去年支持小微企业出口

    2021年以来,潍坊市商务局助力外贸企业稳定发展,会同中国信保潍坊营业部,克服疫情不利因素,简化业务程序,将2200余家小微外贸企业纳入省

  • 山东两市第三类医疗器械企业UDI实施率达100% 完成170762条信息上传
    山东两市第三类医疗器械企业UDI

    近日,记者从省药监局区域检查第四分局获悉,2021年,威海、烟台两市第三类医疗器械生产企业UDI实施率达到100%,35家企业170762条产品信息

娱乐LOVE