Haystack

人工智能/机器学习工程师必须掌握的Gen AI框架和工具

生成式AI确实是当前最热门的话题，它正在彻底改变开发者解决问题和构建应用的方式。对于AI/ML工程师来说，快速跟上这波浪潮，掌握核心框架和工具，已经成为一项必备技能。这篇文章就来梳理一下，哪些技术栈值得投入精力。

LangChain

先说LangChain，这是由Harrison Chase^[1]开发、2022年10月正式亮相的开源平台，专门用来构建由大语言模型（比如ChatGPT）驱动的应用^[2]。

它提供的是一整套工具包，覆盖了聊天机器人、自动问答、文本摘要等各种场景。那么，它到底是怎么工作的？

核心流程是这样的：系统先从包含海量数据的大型文档入手，把这些文档切割成更小、更易处理的片段。接着，将这些片段转换成向量——其实就是把数据变成系统能快速检索的格式。这些向量被存储在向量存储器里，相当于一个专门处理矢量化数据的数据库。

当用户输入一个提示时，LangChain会查询这个向量存储器，找到与请求最匹配的信息。大语言模型负责理解用户提示的上下文和意图，从而指导检索过程。一旦找到相关信息，模型就用它来生成一个精准的回答。最终呈现在用户面前的，就是一个高度定制化的响应。

SingleStore笔记本

接下来看看SingleStore Notebook，它基于Jupyter Notebook，是数据探索和分析的好帮手。尤其适合那些使用SingleStore分布式SQL数据库的人。它与Jupyter Notebook的集成，让数据科学家和专业人士用起来很顺手。几个关键特性值得关注：

• 原生SingleStore SQL支持
  ：这个功能简化了直接从笔记本查询分布式SQL数据库的过程，省去了复杂的连接字符串，让数据分析更安全、更简单。

• SQL/Python互操作性
  ：可以在笔记本里无缝集成SQL查询和Python代码。执行SQL查询后，结果直接用在Python数据框里，或者反过来，效率极高。

• 协作工作流程
  ：支持共享和协作编辑，团队成员可以一起处理数据分析项目，这对于团队协作来说非常实用。

• 交互式数据可视化
  ：支持Matplotlib和Plotly等可视化库，直接在笔记本里创建交互式图表，数据科学家可以更直观地展示发现。

• 易于使用和学习资源
  ：平台比较友好，有模板和文档帮助新手快速上手。

• 未来的增强和集成
  ：团队还在不断改进，计划加入导入/导出、代码自动完成等功能，甚至还有机器人功能来辅助SQL或Python编码。

• 简化Python代码集成
  ：未来目标是在笔记本里原型化Python代码，然后直接集成到数据库中，进一步提升系统效率。

总的来说，SingleStore Notebook把Jupyter Notebook的灵活性和SingleStore SQL数据库的特定功能结合在了一起，是数据科学和机器学习领域一个很有价值的资源。

LlamaIndex

LlamaIndex是一个先进的编排框架，主要用来增强像GPT-4这样的大语言模型的能力。大模型本身很强大，但往往缺乏与私有数据或特定领域数据交互的能力。LlamaIndex就弥补了这个缺口，提供了一套结构化的方式来摄入、组织和利用来自API、数据库、PDF等的数据源。

通过把这些数据索引成LLM优化的格式，LlamaIndex让人可以用自然语言直接查询私有数据，完全不用重新训练模型。它既为新手提供了高级API快速上手，也为专家准备了低级API用于深度定制。简单说，它释放了大模型的潜力，让它们更易用，更贴合个性化数据需求。

LlamaIndex的工作原理

LlamaIndex^[5]就像一座桥梁，连接了大模型和各类数据源。它提供数据摄入、索引和自然语言查询界面的工具，让开发者和企业能构建起强大的、数据增强型的应用，最终提升决策效率和用户参与度。

工作流程很系统化：从一组文档开始，先加载这些文档，然后解析内容使其结构化，接着进行索引以便于存储和检索。这些索引数据被存放在一个中央存储库里。用户或系统发起查询时，相关数据就被提取出来，以文档或特定信息的形式交付。整个过程清晰高效，确保对查询的快速准确响应。

Llama 3

Meta Llama 3的首批两个模型已经公开发布，包括预训练和指令微调的语言模型，分别有8B和70B个参数，覆盖了广泛的用例。这一代模型在各项行业基准测试中展现了顶级性能，推理能力也有了显著提升。Meta认为，这是同类开源模型中最好的，没有之一。他们把Llama 3交到了社区手中，希望借此在技术栈上激发新一轮AI创新浪潮，从应用开发到工具、评估、推理优化等等。

新的8B和70B模型相比Llama 2是一次重大飞跃，在这些规模上确立了新的最先进水平。得益于预训练和后训练的改进，这些模型在8B和70B参数规模上表现最优。后训练过程中，虚假拒绝率大幅降低，模型响应的对齐性和多样性都得到提升。推理、代码生成和指令遵循能力都有显著增强，让Llama 3变得更易操控。

Hugging Face

Hugging Face^[6]是一个多维度的平台，在自然语言处理（NLP）和生成式AI领域扮演着关键角色。它包含多个要素，共同为用户提供探索、构建和分享AI应用的能力。

具体来看几个关键方面：

• 拥有庞大的预训练模型仓库，覆盖文本分类、问答、翻译、文本生成等各类NLP任务。
• 这些模型在大型数据集上训练过，可以根据具体需求微调，省去了从头训练的时间和资源。

• 除了模型，还有大量NLP任务数据集，涵盖多种领域和语言，是训练和微调的宝贵资源。
• 用户也可以贡献自己的数据集，丰富平台资源，促进社区合作。

• 提供工具和功能，用于在特定数据集上训练和微调现有模型，让用户定制模型，提升性能和准确性。
• 提供灵活的培训选项，无论是个人电脑本地训练，还是云端处理更大模型，都支持。

• 与TensorFlow、PyTorch等流行库无缝集成，方便开发人员用预训练模型构建聊天机器人、内容生成工具等。
• 提供大量应用模板和教程，加速开发进程。

• 拥有一个活跃的开发者、研究人员和爱好者社区，通过模型分享、代码仓库、讨论论坛等促进合作。
• 这种环境加速了知识共享和创新，推动了NLP和生成式AI技术的进步。

一句话总结：Hugging Face不只是一个模型仓库，它是一个包含模型、数据集、工具和活跃社区的全面平台，为个人和组织利用AI力量提供了强大支持。

Haystack

Haystack^[7]是一个端到端框架，用于构建由各种NLP技术驱动的应用，包括生成式AI。虽然它不直接专注于从头构建生成模型，但它提供了一个强大的平台：

Haystack擅长将检索和生成方法结合起来。它可以集成多种检索技术，包括向量搜索和传统关键字搜索，先找到相关文档，再作为输入给生成模型，最终输出更聚焦、更上下文相关的结果。

它提供了一套全面的工具和组件，涵盖文档预处理、文本摘要、问答、命名实体识别等任务，可以构建复杂的管道，结合多种NLP技术实现特定目标。

基于Transformers和Elasticsearch等流行库构建的开源框架，可以轻松定制并与现有工具和工作流集成。

设计用于高效处理大规模数据集和工作负载，与Pinecone、Milvus等强大向量数据库集成，即使处理数百万文档也能保证快速准确的搜索和检索。

与GPT-3、BART等流行生成模型无缝集成，用户可以在基于Haystack的应用中直接调用这些模型的文本生成、摘要、翻译等能力。

Haystack的重点不完全是生成式AI，但它为利用这项技术构建应用提供了坚实基础。在检索、多样化NLP组件、灵活性和可伸缩性方面的综合优势，让它成为开发者和研究人员探索生成式AI潜力的一个很有价值的框架。

总之，生成式AI领域正在快速发展，像HuggingFace、LangChain、LlamaIndex、Llama 2、Haystack和SingleStore笔记本这样的框架和工具，正在引领着这股浪潮。这些技术为开发者提供了丰富的选择，无论你是做NLP、数据分析还是更复杂的AI应用，都能找到合适的武器。