如何使用 Raspberry Pi 4 创建您自己的 AI 聊天机器人服务器
我们之前已经展示了您可以在 Raspberry Pi 上运行 ChatGPT,但要注意的是 Pi 只是提供客户端,然后将您的所有提示发送到云中其他人强大的服务器。但是,可以创建类似的 AI 聊天机器人体验,在 8GB Raspberry Pi 上本地运行,并使用与 Facebook 和其他服务上的 AI 相同的 LLaMA 语言模型。
这个项目的核心是Georgi Gerganov 的 llama.cpp。一个晚上写的,这个C/C++模型对于一般使用来说已经够快了,而且安装也很容易。它可以在 Mac 和 Linux 机器上运行,在这篇文章中,我将调整 Gerganov 的安装过程,以便模型可以在Raspberry Pi 4上运行。如果你想要一个更快的聊天机器人并且有一台配备 RTX 3000 系列的计算机或更快的 GPU,请查看我们关于如何在您的 PC 上运行类似 ChatGPT 的机器人的文章。
管理期望
在你开始这个项目之前,我需要管理你的期望。Raspberry Pi 4 上的 LLaMA 运行缓慢。加载聊天提示可能需要几分钟时间,而对问题的回答也可能需要同样长的时间。如果您追求速度,请使用 Linux 台式机/笔记本电脑。这更像是一个有趣的项目,而不是一个关键任务用例。
16GB 或更大的格式化为 NTFS 的 USB 驱动器
使用 Linux PC 设置 LLaMA 7B 模型
该过程的第一部分是在 Linux PC 上设置 llama.cpp,下载 LLaMA 7B 模型,转换它们,然后将它们复制到 USB 驱动器。我们需要 Linux PC 的额外功能来转换模型,因为 Raspberry Pi 中的 8GB RAM 是不够的。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
【123333社保查询个人账户】随着社会的发展,越来越多的人开始关注自己的社保信息。其中,“123333社保查询个...浏览全文>>
-
【1232数字是什么意思?】在日常生活中,数字常常被赋予不同的含义,尤其是在网络、文化或特定语境中。1232作为...浏览全文>>
-
【洛阳职称网公示查询】在日常工作中,职称评审是一项重要的职业发展环节。对于在洛阳工作的专业技术人员而言...浏览全文>>
-
【12329来电一般是干什么】“12329”是全国住房公积金服务热线,由各地住房公积金管理中心统一使用。这个号码...浏览全文>>
-
【洛阳找工作最好的平台】在洛阳寻找工作,选择一个合适的平台至关重要。不同的求职者可能有不同的需求,比如...浏览全文>>
-
【12328路况查询】“12328路况查询”是为广大车主和出行者提供实时交通信息的服务平台,主要通过电话、短信、...浏览全文>>
-
【洛阳在哪个省】洛阳,这座历史悠久的城市,是中国古代文明的重要发源地之一。它不仅拥有丰富的历史文化遗产...浏览全文>>
-
【12328河南高速路况查询】在日常出行中,尤其是长途驾驶或跨城出行时,了解实时的高速公路路况信息显得尤为重...浏览全文>>
-
【洛阳月子餐送餐上门】在现代快节奏的生活中,越来越多的产妇选择通过“洛阳月子餐送餐上门”服务来保障产后...浏览全文>>
-
【12328高速路况查询】在日常出行中,尤其是长途驾驶或跨城出行时,了解实时的高速公路路况信息显得尤为重要。...浏览全文>>