AWS工程师辞职创建Tensor Search引擎，即插即用HuggingFace版CLIP模型

Marqo 是一个多功能且强大的、以用户为中心的搜索引擎，可以集成到任何网站或应用程序中。

不久之前，来自亚马逊的 Tom tomhamer 辞去了软件工程师一职，和其他研究者一起创建并开源了 Tensor Search 引擎 Marqo，其可与用户应用程序、网站和工作流无缝集成。

项目地址：https://github.com/marqo-ai/marqo
Marqo 网站：https://www.marqo.ai/

从 Tom tomhamer 的工作经历看，他已经全职加入了 marqo.ai，并担任联合创始人之一。

至于为什么要做这个项目，tomhamer 表示当我们查看文本句子或短段落时，使用向量语义搜索是不错的选择。不仅如此，向量在进行图像搜索时也做得非常好。遗憾的是，视频、长文本和其他更复杂的数据类型，想要继续使用向量表示就有点困难了。

因此他们设想为语义搜索建立一个搜索引擎，类似于 Solr 或 Elasticsearch，无论你扔给这个搜索引擎什么内容，它都能处理它，并可搜索。

Tensor search 涉及将文档、图像和其他数据转换为 Tensor 的向量集合。将数据表示为张量，这样一来我们能够将查询与文档进行匹配，从而像人类一样理解查询和文档的内容。Tensor search 可以为各种用例提供动力，例如：

终端用户的搜索和推荐；
多模态搜索（图像 - 图像、文本 - 图像、图像 - 文本）；
聊天机器人和问答系统；
文本和图像分类。

因此，他们构建了 Marqo，它可以使用向量，也可以在必要时扩展到张量，还允许用户灵活地指定特定的分块策略来构建张量。

由于横向可扩展性，Marqo 提供了非常快的查询时间，即使是对数百万个文档。Marqo 使用类似 CLIP 这样的深度学习算法从图像中提取语义，这意味着它可以轻松地处理图像到图像、图像到文本和文本到图像的搜索模式。

不过 Marqo 仍然是一个正在进行的研究，目前支持：

DSL 语言查询（包括关键字，范围和布尔查询）；
由 NMSLIB 提供的高效近似 knn 搜索；
Onnx 支持，多 GPU 支持；
支持排序。

为了支持图像和文本搜索，Marqo 允许用户即插即用 HuggingFace 版 CLIP 模型。不过 Marqo 还不支持 arm64 架构的 docker-in-docker 后端配置。这意味着如果你有一个 M 系列 Mac，你还需要进行进一步操作。

了解更多内容，请查看原项目。

参考链接：

https://www.linkedin.com/in/tom-hamer-04a6369b/

https://www.reddit.com/r/MachineLearning/comments/xk31n8/p_my_cofounder_and_i_quit_our_engineering_jobs_at/

产业CLIPAWS

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

图像搜索技术

图像搜索是通过搜索图像文本或者视觉特征，为用户提供互联网上相关图像资料检索服务的专业搜索引擎系统，是搜索引擎的一种细分。图像搜索方法一般有两种：通过输入与图片名称或内容相似的关键字来进行检索；或者通过上传与搜索结果相似的图片或图片URL进行搜索。

来源：百度百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统，但大多简单的系统只会撷取输入的关键字，再从数据库中找寻最合适的应答句。

来源：维基百科

查询技术

一般来说，查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域，查询指的是数据库和信息系统对信息检索的精确要求

来源：Wikipedia

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

问答系统技术

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看，其与目前主流资讯检索技术有两点不同：首先是查询方式为完整而口语化的问句，再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例，使用者不需要思考该使用什么样的问法才能够得到理想的答案，只需要用口语化的方式直接提问如“请问谁是美国总统？”即可。而系统在了解使用者问句后，会非常清楚地回答“奥巴马是美国总统”。面对这种系统，使用者不需要费心去一一检视搜索引擎回传的网页，对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看，问答系统使用了大量有别于传统资讯检索系统自然语言处理技术，如自然语言剖析（Natural Language Parsing）、问题分类（Question Classification）、专名辨识（Named Entity Recognition）等等。少数系统甚至会使用复杂的逻辑推理机制，来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上，除了传统资讯检索会使用到的资料外（如字典），问答系统还会使用本体论等语义资料，或者利用网页来增加资料的丰富性。

来源：维基百科

分块技术

将标注好词性的句子按句法结构把某些词聚合在一起形成比如主语、谓语、宾语等等。

来源：掘金