Weaviate

ML-first矢量搜索引擎

Description

简而言之：Weaviate是一个向量搜索引擎和向量数据库。Weaviate使用机器学习来矢量化和存储数据，并找到自然语言查询的答案。使用Weaviate，您还可以将自定义ML模型带入生产规模。

Weaviate详细介绍：Weaviate是一个low-latency向量搜索引擎，支持out-of-the-box不同的媒体类型（文本、图像等）。它提供语义搜索、Question-Answer-Extraction、分类、可定制模型（PyTorch/TensorFlow/Keras）等等。Weaviate从头开始在Go中构建，存储对象和向量，允许将向量搜索与结构化过滤与cloud-native数据库的fault-tolerance相结合，所有这些都可以通过GraphQL、REST和各种语言客户端访问。

Weaviate有助于。。。

1. 软件工程师（docs）-他们使用Weaviate作为应用程序的ML-first数据库。Out-of-the-box模块用于：自然语言处理/语义搜索、自动分类和图像相似性搜索。很容易集成到您当前的架构中，并像您习惯于从其他OSS数据库中获得的那样，提供完整的CRUD支持。Cloud-native，分布式，在Kubernetes上运行良好，并随工作负载扩展。
2. 数据工程师（docs）-他们使用Weaviate作为向量数据库，该数据库是从地面建立的，以人工神经网络为核心，使用他们喜欢的Lucene-based搜索引擎的用户体验。Weaviate有一个模块化设置，允许您在Weaviate内使用ML模型，但您也可以使用out-of-the-boxML模型(e.g.、SBERT、ResNet、fasttext等）。Weaviate负责可扩展性，所以您不必这样做。在生产中可靠高效地部署和维护ML模型。
3. 数据科学家（DOC）-他们使用Weaviate将其机器学习模型无缝地移交给MLOP。在生产中可靠高效地部署和维护ML模型。Weaviate的模块化设计允许您轻松打包任何需要的定制训练模型。将机器学习模型平稳、快速地移交给工程师。

GraphQL接口演示

Weaviate GraphQL在新闻文章数据集上的演示，包含：Transformers模块、GraphQL用法、语义搜索、_additional{特性、问答和聚合{}函数。您可以在GUI中的这个数据集上进行演示：语义搜索、问答、聚合。

Features

Weaviate使state-of-the-artML模型易于使用，同时提供purpose-built向量数据库的可扩展性、易用性、安全性和cost-effectiveness。最值得注意的是：

• 快速查询Weaviate通常在不到100ms的时间内对数百万个对象执行10神经网络邻居搜索。
• 任何带有Weaviate模块的媒体类型在搜索和查询时对文本、图像等使用State-of-the-ArtML模型推理（例如Transformers），让Weaviate为您管理数据矢量化过程，或导入您自己的矢量。
• 结合矢量和标量搜索Weaviate允许有效的组合矢量和标量搜索，例如“过去7天内发表的与新冠肺炎大流行相关的文章”。Weaviate存储对象和向量，并确保两者的检索始终有效。不需要第三方对象存储。
• Real-time和持久Weaviate允许您搜索数据，即使数据当前正在导入或更新。此外，每次写入都会写入Write-Ahead-Log（WAL）以立即进行持久写入，即使在崩溃发生时也是如此。
• 水平可扩展性规模可以满足您的确切需求，例如High-Availability、最大摄取量、最大可能的数据集大小、每秒最大查询数等(Multi-Node自v1.8.0以来的分片，正在开发中的复制）
• Cost-Effectiveness非常大的数据集不需要完全保存在Weaviate的内存中。同时可用内存可用于提高查询速度。这允许有意识的速度/成本trade-off，以适应每个用例。
• 对象之间的Graph-like连接以graph-like的方式在对象之间建立任意连接，类似于数据点之间的real-life连接。使用GraphQL遍历这些连接。

Documentation

您可以在我们网站的开发者部分找到详细的文档，或者直接使用下面列表中的链接转到其中一个文档。

Additional material

Video

• Weaviate简介视频

Reading

• Weaviate是一个open-source搜索引擎，由ML、vectors、graphs和GraphQL（ZDNet）提供支持
• Weaviate，一个支持CRUD的ANN数据库(DB-Engines.com）
• DistilBERT和Weaviate的sub-50ms神经搜索（朝向数据科学）
• WeaviatePython Library入门（走向数据科学）

Examples

您可以在这里找到代码示例

Support

• 问题的堆栈溢出
• Github的问题
• 要连接的松弛通道
• 时事通讯以保持了解

Contributing

• 如何贡献