GPT爬虫保姆级别教程:一键采集网站数据、无缝构建GPTs知识库,免编程 | GPT-Crawler,网站内容转GPTs知识库的神器!

GPT爬虫保姆级别教程:一键采集网站数据、无缝构建GPTs知识库,免编程 | GPT-Crawler,网站内容转GPTs知识库的神器!

1、安装部署GPT-Crawler(GPT爬虫 )

GPT-Crawler:https://github.com/BuilderIO/gpt-crawler

安装前置条件,必须电脑上安装有Node.js >= 16和Git指令‼️

2、在MacBook Air(搭载M2芯片)上安装Node.js和Git主要有以下几种方法。我会一一说明如何操作。

安装Node.js

  1. 通过Homebrew安装(推荐)
    • 使用Homebrew安装Node.js:
      • 在终端中输入以下命令:
        brew install node
    • 完成安装后,你可以通过在终端中输入 node -v 和 npm -v 来验证Node.js及其包管理器npm的安装。
  1. 通过Node.js官方网站安装
  • 访问Node.js官方网站
  • 下载适用于macOS的Node.js安装包(选择LTS版本更稳定)。
  • 打开下载的文件并按照安装向导完成安装。
  • 验证安装:重启终端,输入 node -v 和 npm -v 检查Node.js和npm是否正确安装。

安装Git

  1. 通过Homebrew安装(如果你已经安装了Homebrew)
  • 在终端中执行以下命令安装Git:
    brew install git
  • 安装完成后,通过运行 git --version 来验证Git是否已成功安装。
  1. 通过Git官方网站安装
  • 访问Git官方网站
  • 下载适用于macOS的Git安装包。
  • 打开下载的文件并遵循安装说明进行安装。
  • 安装完成后,重新打开终端,输入 git --version 检查Git是否安装成功。
  1. 使用Xcode命令行工具安装
  • 如果你计划使用Xcode进行开发,可以通过安装Xcode命令行工具来获取Git。
  • 打开终端并输入以下命令:
    xcode-select --install
  • 弹出窗口后,点击“安装”以安装Xcode命令行工具,其中包括Git。

3、安装Node.js成功

4、安装成功后添加环境变量

显示版本号,安装成功!

5、安装Node.js和Git

验证node -v

验证git -v

完成以上,我们的底层环境搭建成功 ,进入主题〉〉〉

6、运行项目地址git clone

配置完成✅

7、进入文件夹,执行依赖项

8、执行依赖时必须下载100%,如果下载失败➡️取消重新下载

9、进入根目录,打开config.ts

10、参数可根据自己要抓取的数据编辑✍️

11、完爬的是奔驰官网,启动执行生成json文件

12、爬下来的json文件导入GPTS,先关闭Web Browsing功能,用知识库的内容提问测试

13、提问测试结果

到此,我们就是利用爬虫获取数据,导入到GPTS的知识库,所打造出来的一个智能问答系统。类似可以利用目前这套解决方案打造出很多GTPS,包括但不限于客服系统、问答系统、文档类、知识类等等!

b站教程:https://www.bilibili.com/video/BV1jG411q72C/?vd_source=0948941dd942eaeea8dbe6607be842cf

阅读剩余
THE END