GPT爬虫保姆级别教程:一键采集网站数据、无缝构建GPTs知识库,免编程 | GPT-Crawler,网站内容转GPTs知识库的神器!
GPT爬虫保姆级别教程:一键采集网站数据、无缝构建GPTs知识库,免编程 | GPT-Crawler,网站内容转GPTs知识库的神器!
1、安装部署GPT-Crawler(GPT爬虫 )
GPT-Crawler:https://github.com/BuilderIO/gpt-crawler
安装前置条件,必须电脑上安装有Node.js >= 16和Git指令‼️

2、在MacBook Air(搭载M2芯片)上安装Node.js和Git主要有以下几种方法。我会一一说明如何操作。
安装Node.js
- 通过Homebrew安装(推荐)
-
- 首先需要安装Homebrew,它是macOS的包管理器,可以简化安装Node.js和其他软件的过程。
- 打开终端(Terminal)。
- 粘贴以下命令并执行,以安装Homebrew:
/bin/bash -c "$(curl -fsSL <https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh>)"
- 首先需要安装Homebrew,它是macOS的包管理器,可以简化安装Node.js和其他软件的过程。
-
- 使用Homebrew安装Node.js:
- 在终端中输入以下命令:
brew install node
- 在终端中输入以下命令:
- 使用Homebrew安装Node.js:
-
- 完成安装后,你可以通过在终端中输入
node -v和npm -v来验证Node.js及其包管理器npm的安装。
- 完成安装后,你可以通过在终端中输入
- 通过Node.js官方网站安装
- 访问Node.js官方网站。
- 下载适用于macOS的Node.js安装包(选择LTS版本更稳定)。
- 打开下载的文件并按照安装向导完成安装。
- 验证安装:重启终端,输入
node -v和npm -v检查Node.js和npm是否正确安装。
安装Git
- 通过Homebrew安装(如果你已经安装了Homebrew)
- 在终端中执行以下命令安装Git:
brew install git - 安装完成后,通过运行
git --version来验证Git是否已成功安装。
- 通过Git官方网站安装
- 访问Git官方网站。
- 下载适用于macOS的Git安装包。
- 打开下载的文件并遵循安装说明进行安装。
- 安装完成后,重新打开终端,输入
git --version检查Git是否安装成功。
- 使用Xcode命令行工具安装
- 如果你计划使用Xcode进行开发,可以通过安装Xcode命令行工具来获取Git。
- 打开终端并输入以下命令:
xcode-select --install - 弹出窗口后,点击“安装”以安装Xcode命令行工具,其中包括Git。
3、安装Node.js成功

4、安装成功后添加环境变量

显示版本号,安装成功!
5、安装Node.js和Git

验证node -v

验证git -v

完成以上,我们的底层环境搭建成功 ,进入主题〉〉〉
6、运行项目地址git clone

配置完成✅

7、进入文件夹,执行依赖项

8、执行依赖时必须下载100%,如果下载失败➡️取消重新下载

9、进入根目录,打开config.ts

10、参数可根据自己要抓取的数据编辑✍️

11、完爬的是奔驰官网,启动执行生成json文件


12、爬下来的json文件导入GPTS,先关闭Web Browsing功能,用知识库的内容提问测试

13、提问测试结果


到此,我们就是利用爬虫获取数据,导入到GPTS的知识库,所打造出来的一个智能问答系统。类似可以利用目前这套解决方案打造出很多GTPS,包括但不限于客服系统、问答系统、文档类、知识类等等!
b站教程:https://www.bilibili.com/video/BV1jG411q72C/?vd_source=0948941dd942eaeea8dbe6607be842cf
阅读剩余
版权声明:
作者:admin
链接:https://blog.akuwan.cn/index.php/2024/12/19/gpt%e7%88%ac%e8%99%ab%e4%bf%9d%e5%a7%86%e7%ba%a7%e5%88%ab%e6%95%99%e7%a8%8b%ef%bc%9a%e4%b8%80%e9%94%ae%e9%87%87%e9%9b%86%e7%bd%91%e7%ab%99%e6%95%b0%e6%8d%ae%e3%80%81%e6%97%a0%e7%bc%9d%e6%9e%84/
文章版权归作者所有,未经允许请勿转载。
THE END