探秘图像搜索
或许你早就已经对Google goggles烂熟于心,但还是有相当多的人仍用关键字搜索图片,并不了解按图搜索带来的便捷性。 与关键字搜索图像不同,按图搜索带来的体验更直观、更具象,也更考验搜索引擎在大规模并行算法中与海量图片匹配的能力。 90分背后的两大难题 在海边拾
或许你早就已经对Google goggles烂熟于心,但还是有相当多的人仍用关键字搜索图片,并不了解“按图搜索”带来的便捷性。
与关键字搜索图像不同,按图搜索带来的体验更直观、更具象,也更考验搜索引擎在大规模并行算法中与海量图片匹配的能力。
90分背后的两大难题
在海边拾到不知名的海螺,想知道它叫什么,现在可拍照下来,拖拽进搜索框里搜搜就能找到相关图片,知道答案。这种举动更像是玩游戏。或者,在网页上看到不知名的插图,你直接复制图片URL地址到搜索框,也能找到这张插图来源是哪里。这就是按图搜索的直观体验。
“一般来说,用户上传一张图片进行搜索,我们会在数据库里提取上万个特征,最后有七八千个特征与这张图片相匹配,就假定这两个图片是同一回事情。”谷歌产品经理李辉告诉《东方壹周》the week, 这个功能今年6月份才刚刚推出。帮助用户完成图像搜索,需要在海量图片数据库中对图片特征进行提取、匹配,依据的要素诸如:色彩分布、纹理特征、周围文字、形状弧度等。
“我这里有个数据,算法已经固定死的条件下,假定在1000亿张图片快速匹配,每张图片提取特征需要花0.1秒的时间,就算有1000台机器不停的算,要把这1000亿张图片处理完,得115天。”谷歌工程师李刚江谈到,这不仅挑战计算机资源消耗,还要考虑大规模并行处理计算中进行实时精准匹配,并在100毫秒(近似值)中反馈给用户搜索结果。
目前图像搜索实现了用户上传图片与网络图片匹配的实效性、广泛性与相似性,李辉打了90分。“就算是对原有图片做了旋转、变形、扭曲、拷贝,仍能搜的出来。”
中国团队成研发主力军
《东方壹周》the week了解到,谷歌中国图像搜索团队10多位成员,需要负责中国、亚太区和全球的产品开发。目前图像搜索功能中,除了实现图像搜索、自动分类,照相机参数搜索插件是由谷歌中国团队想出来的。
“上海有名工程师热爱摄影,对卡片机、单反相机照片参数特别在意。如果搜出来的图片能显示照片参数,就太方便了。”李辉说道,最终这个功能以图像搜索的插件形式放置于Chrome商店中,用户安装插件后,搜出来图片结果便能显示相机参数。
为了提升图像搜索界面的用户体验,李辉谈了一件事:为了修改图像界面,团队把直接呈现在界面的缩略图,直接改成了在界面呈现大图的方案。而原有搜索页面的做法是:用户点开一个缩略图,除了能看大图,还会链接到第三方网站,给第三方网站带去流量。
这项方案在谷歌总部讨论时,引起了争议:这种做法是否会损害第三方网站的利益。尔后,中国团队在给用户做调研时却发现了新现象:中国用户喜欢看大图,有80%的用户停顿在搜索页面4、5秒后依然会点开图片的介绍、链接看第三方网站的原图。
“团队在搜索页面图像下方添加了文字说明、尺寸及原链接信息。总体而言,我们给第三方网站带去的流量是少了,导入给第三方网站高质量的用户多了。因为真正点击原链接的用户,仍会作长时间的停留,这是真正关注这张图片和网站的用户。”李辉说道。
对李钢江、李辉及整个团队而言,现在的图像搜索仍是万里长征的一小步,还有很多技术要提升:比如搜一张宋慧乔穿着华服出席影展的照片,如果不加关键字,图像搜索框究竟是给你搜衣服呢,还是搜宋慧乔?再比如,用户自己拍了一张美食图片,但出现了与已有网络图片无法匹配的情况,那如何是好?
先别提这个应用今后如何落实商业化,除了中国10亿用户外,地球上还有60多亿人都散落在不同角落。对搜索工程师而言,如何考虑到多语言、多民族的地球村居民用户需求,是不是更重要呢。