Groqbook：使用 Groq 和 Llama3 在几秒钟内生成整本书

Groqbook 项目概述

如果要给近期最有意思的AI项目排个名，Groqbook绝对能冲进前三。它的思路简单粗暴：用Groq平台上的Llama3模型，靠一句提示词就能整本书地生成内容。

https://github.com/Bklieger/groqbook

严格来说，Groqbook是一个精简版的应用程序，专门针对非小说类书籍设计。它混合了Llama3-8b和Llama3-70b两种模型：大的负责搭建整体结构，小的负责填充具体内容。目前，生成每一章时仅以章节标题为上下文，后续会扩展到完整的书籍上下文，届时连高质量的小说创作也不在话下。

视频展示

<iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3482477574847283205"></iframe>

多亏了Groq在速度上的激进优化，Groqbook的内容生成速度快到令人咋舌——在上面的演示里，这个基于Llama3的轻量应用仅用了不到18秒，就输出了多达23000个tokens的内容，堪称“谈笑间，书稿成”。

生成小说的效果

当Groqbook运行到第12秒时，直观感受非常强烈：16000个tokens，约12000个英文单词的小说内容，竟然在弹指一挥间成型。这意味着，一部中等长度的小说初稿，在AI辅助下可能几分钟就能完成。

下面是示例主题：

：在一个元素魔法的世界里，四大元素（火、水、土、风）之间的平衡被打破，世界陷入了混乱。主角是一名具有特殊天赋的年轻人，他必须找到四大元素的传承者，并联合他们一起恢复世界的平衡。

生成的章节

面对Groqbook生成的满屏英文单词，非英语母语的读者难免有些犯愁。好在借助Gemini 1.5 Pro做了一次总结（下图仅展示部分内容）。

Groqbook允许用户下载包含整本书内容的文本文件。下载下来的文本就像一块潜力无限的“创作石料”——创作者可以在此基础上改写、润色，赋予故事更多个人特色；也可以将其作为灵感的源泉，激发更多原创的火花。

开启AI写作之旅，云端本地两相宜

如果想立刻体验Groqbook的神奇魅力，最简单的办法就是直接访问托管在云端的版本：groqbook.streamlit.app。但若是希望更好地掌控写作旅程，或者不放心将Groq API密钥托付给云端，也可以在本地搭建属于自己的Groqbook。

本地安装和使用步骤

1. 安装 Conda

从 Conda官网下载并安装适用于你操作系统的 Conda 版本。

2. 克隆 Groqbook 代码仓库

打开终端（Mac）或命令提示符/PowerShell（Windows），并执行以下命令：

git clone https://github.com/Bklieger/groqbook.git

3. 进入 Groqbook 代码目录

在终端或命令提示符/PowerShell 中执行以下命令：

cd groqbook

4. 创建并激活虚拟环境

在终端或命令提示符/PowerShell 中执行以下命令：

conda create -n groqbook_env python=3.11
conda activate groqbook_env

5. 安装依赖

在终端或命令提示符/PowerShell 中执行以下命令：

pip install -r requirements.txt

6. 设置 Groq API 密钥

:

export GROQ_API_KEY=gsk_yA...

:

set GROQ_API_KEY=gsk_yA...

或者将密钥直接设置在 Streamlit 应用中。

7. 运行 Streamlit 应用

在终端或命令提示符/PowerShell 中执行以下命令：

streamlit run main.py