Windows 11
微软最新的操作系统

使用视频博客使用 ChatGPT 将视频转换为文档的 2 种方法

自首次向公众发布以来,ChatGPT 已经走了很长一段路,GPT-4 现在已经引入了对第三方插件的支持,这有助于引入大量新的创造性方法来使用 AI。然而,这并不是充分利用 ChatGPT 的唯一方法,如果您想使用其免费版本,有大量社区开发的开源工具可以帮助您使用 ChatGPT 做更多的事情。

一种方法是使用 Vlog,该工具可帮助您将文档转换为视频,然后您可以与 ChatGPT 聊天和讨论。因此,如果您想与 AI 一起转录、表达或讨论视频,那么这是您的完美工具。以下是如何使用Vlog将视频转换为文档并与ChatGPT聊天的方法。

为什么要将视频转换为文档以与 ChatGPT 一起使用?

将视频转换为文档有几个好处。您可以使用 Vlog 创建所提供视频的详细描述,然后 ChatGPT 可以对其进行分析以获取各种结果。您可以生成有关视频各个部分的摘要、推测和描述,分析隐藏的细节等等。Vlog是一个托管在GitHub上的社区开发工具,它使用预先训练的模型,包括BLIP2,GRIT和Whisper。

BLIP2用于分析视频中的图像,而GRIT用于分析环境。另一方面,耳语用于检查和分析视频中的音频并相应地创建文档。这些模型是预先训练的,整个项目都可以在GitHub上下载。开发人员还有一个HuggingFace演示,您可以使用它来测试和分析Vlog的功能。

如何使用 ChatGPT 将视频转换为文档(2 种方法)

使用Vlog主要有两种方法,您可以尝试在HugggingFace上托管的演示,也可以将其本地安装在PC上。在您的 PC 上本地安装它有一些要求;但是,我们将指导您完成整个过程。在本地安装后,Vlog 可以帮助您将视频转换为全面的文档,然后您可以将其提供给 ChatGPT,以便您帮助分析和讨论它。请按照以下首选方法帮助您在PC上使用Vlog。

方法 1:尝试拥抱脸演示

如果您只想在PC上本地安装Vlog之前测试其功能,那么您可以尝试HuggingFace Demo,它可以帮助您尝试一组预先上传的视频。请按照以下步骤帮助您完成此过程。让我们开始吧。

访问 platform.openai.com。现在使用屏幕上显示的选项之一登录您的 OpenAI 帐户。

convert-video-to-document-to-use-with-chatgpt-55

登录后,单击屏幕右上角的个人资料头像。

convert-video-to-document-to-use-with-chatgpt-56

单击查看 API 密钥

convert-video-to-document-to-use-with-chatgpt-57

现在单击“+ 创建新密钥”。

convert-video-to-document-to-use-with-chatgpt-58

将 API 密钥命名为首选。我们建议您选择一个名称,以帮助您将来轻松识别密钥。在本指南中,我们将命名密钥 Vlog 密钥测试

convert-video-to-document-to-use-with-chatgpt-60

命名后,单击创建密钥

convert-video-to-document-to-use-with-chatgpt-61

现在将为您的帐户生成一个新的 API 密钥。点击 复制 旁边的图标将密钥复制到剪贴板。

convert-video-to-document-to-use-with-chatgpt-62

复制后,请访问浏览器中的 huggingface.co/spaces/TencentARC/VLog。这是Vlog的HuggingFace演示。现在,将复制的密钥粘贴到标题为“输入 OpenAI API 密钥”的文本框中的右上角,然后按 Enter 键。

convert-video-to-document-to-use-with-chatgpt-huggingface-1

按照建议,粘贴密钥后按 Enter 键。

convert-video-to-document-to-use-with-chatgpt-huggingface-2

密钥现在将提交,如果一切顺利,您应该会看到一条消息,表明 OpenAI 密钥提交成功 (y)。

convert-video-to-document-to-use-with-chatgpt-huggingface-3

接下来,首先在右侧的“示例”下选择要转换的示例视频。

convert-video-to-document-to-use-with-chatgpt-huggingface-4

视频现在将显示在您左侧的video_input下方。

convert-video-to-document-to-use-with-chatgpt-huggingface-5

点击 生成视频文档 将视频转换为文档。

convert-video-to-document-to-use-with-chatgpt-huggingface-6

现在将为您的视频生成一个文档并自动馈送到 ChatGPT。

convert-video-to-document-to-use-with-chatgpt-huggingface-7

完成后,在聊天机器人下键入您的查询,然后按 Enter 键。当我们在本指南中使用大爆炸理论视频时,让我们看看 ChatGPT 是否可以帮助我们识别本视频中提到的名字。所以我们问以下问题。

“列出视频中提到的所有名字”

convert-video-to-document-to-use-with-chatgpt-huggingface-8

输入查询后,ChatGPT 将处理请求,并在右上角显示估计时间。该过程完成后,您将看到一个有效的响应,在我们的例子中如下。

convert-video-to-document-to-use-with-chatgpt-huggingface-9

这就是您可以测试和试用托管在HuggingFace上的Vlog演示的方式,以了解该工具的功能。

方法2:在本地安装Vlog并分析视频

如果您想在PC上使用Vlog,那么您可以通过以下方式安装和设置它。我们在本指南中使用 Ubuntu,但该过程在其他平台上也应该类似。请按照以下步骤帮助您完成该过程。

注意:我们建议您暂时避免在Windows上使用Vlog,除非您已准备好对delectron2的安装进行故障排除。这是来自Facebook的图像识别工具,Vlog使用它来识别视频中目前在Windows上官方不支持的元素。

要求

  • 配备最新驱动程序的 Nvidia GPU
  • Linux(强烈推荐)

满足这些要求后,您可以使用以下步骤来设置和使用 Vlog。

第 1 步:安装 Git

我们首先需要在您的 PC 上安装 Git。请按照以下步骤帮助您在 Windows PC 上安装 Git。

在某些情况下,Git 可能已经安装在您的 Linux PC 上。在 Ubuntu 上按 Ctrl + Alt + T 启动终端,并使用以下命令检查是否安装了 Git。

git --version

convert-video-to-document-to-use-with-chatgpt-65

如果已通知相关版本号,则已安装 Git。但是,如果收到与下面的消息类似的消息,则可以使用以下命令先安装更新。

sudo apt update

convert-video-to-document-to-use-with-chatgpt-1

出现提示后,输入您的密码。

convert-video-to-document-to-use-with-chatgpt-2-1

现在使用以下命令获取并安装 Git。

sudo apt install git

convert-video-to-document-to-use-with-chatgpt-3-1

您的操作系统现在将请求安装必要依赖项的权限。键入 y 并按回车键。

convert-video-to-document-to-use-with-chatgpt-4-1

Git 现在将被下载并安装在您的 PC 上。这可能需要一些时间,具体取决于可用的网络带宽。完成后,使用以下命令检查是否已正确设置所有内容。如果一切按预期工作,您应该获得当前安装的 Git 版本号作为回报。

git --version

convert-video-to-document-to-use-with-chatgpt-5-1

就是这样!我们现在可以在您的PC上下载并设置其他必要的依赖项。

第 2 步:安装 Wget

我们现在需要安装 Wget。这将帮助我们安装 Python 3.8 以及 Vlog 所需的预训练模型。请按照以下步骤帮助您完成该过程。

在PC上打开终端。如果你使用的是 Ubuntu,你可以通过按键盘上的 Ctrl + Alt + T 来实现。打开后,使用以下命令检查您的 PC 上是否已安装 Wget。

wget --version

convert-video-to-document-to-use-with-chatgpt-6-1

如果Wget已安装,则将显示有关它的信息,否则您可以使用以下命令将其安装在PC上。

sudo apt install wget

convert-video-to-document-to-use-with-chatgpt-8

出现提示时键入密码。

convert-video-to-document-to-use-with-chatgpt-9

Wget 现在将安装在您的 PC 上。如您所见,它已经存在于我的末尾,这就是为什么没有安装任何新内容的原因。

convert-video-to-document-to-use-with-chatgpt-10

就是这样!我们现在可以使用下一步在您的 PC 上安装 Python 3.8。

第 3 步:安装 Python 3.8

我们现在需要安装 Python 3.8。Wget 将帮助我们完成此过程。按照以下步骤安装 Python 3.8。

在PC上打开终端。如果你使用的是 Ubuntu,你可以使用 Ctrl + Alt + T 键盘快捷键。启动后,使用以下命令检查并更新所有包。

sudo apt update

convert-video-to-document-to-use-with-chatgpt-11

出现提示时键入密码。

convert-video-to-document-to-use-with-chatgpt-12

现在使用以下命令安装必要的依赖项。

sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libsqlite3-dev libreadline-dev libffi-dev libbz2-dev

convert-video-to-document-to-use-with-chatgpt-13

现在将安装必要的依赖项。按 y,然后在出现提示后按 Enter 键。

convert-video-to-document-to-use-with-chatgpt-14

此过程将需要一些时间,具体取决于可用的网络带宽。

convert-video-to-document-to-use-with-chatgpt-15

安装完所有内容后,使用此命令下载 Python 3.8 包。

wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz

convert-video-to-document-to-use-with-chatgpt-python-38-2

Python 版本现在将下载到您的 PC 上。完成后,使用以下命令解压缩包。

tar -xf Python-3.8.0.tgz

convert-video-to-document-to-use-with-chatgpt-python-38-3

现在使用以下命令导航到提取的目录。

cd Python-3.8.0

convert-video-to-document-to-use-with-chatgpt-python-38-4

完成后,使用以下命令检查并验证PC上是否按预期设置了所有内容。
./configure --enable-optimizations

convert-video-to-document-to-use-with-chatgpt-python-38-5

该过程完成后,使用以下命令启动生成过程。将 [计数] 替换为电脑上可用的 CPU 内核数。

make -j [Count]

convert-video-to-document-to-use-with-chatgpt-python-38-7

构建过程也需要一些时间,具体取决于电脑上的可用资源。构建完成后,使用以下命令将其安装在您的 PC 上。

sudo make altinstall

convert-video-to-document-to-use-with-chatgpt-python-38-9

该过程完成后,使用以下命令检查一切是否按预期工作。

python3.8 --version

convert-video-to-document-to-use-with-chatgpt-python-38-10

您现在可以使用以下命令关闭PC上的终端。

exit

convert-video-to-document-to-use-with-chatgpt-python-38-11

就是这样!现在,我们可以继续进行下一步,在您的PC上安装和设置Anaconda。

第 4 步:安装 Anaconda

以下是在PC上安装Anaconda的方法。请按照以下步骤帮助您完成此过程。

首先,使用以下命令导航到“下载”文件夹。

cd ~/Downloads

convert-video-to-document-to-use-with-chatgpt-66

使用Ctrl + Alt + T键盘快捷键在PC上打开终端。现在使用以下命令下载 curl。出现提示时键入密码。

sudo apt install curl

convert-video-to-document-to-use-with-chatgpt-17

接下来,使用以下命令下载 Anaconda 安装脚本。

curl https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh -o Anaconda.sh

convert-video-to-document-to-use-with-chatgpt-22

脚本现在将下载到“下载”文件夹中。这可能需要一些时间,具体取决于您的网络速度。

convert-video-to-document-to-use-with-chatgpt-23

该过程完成后,使用以下命令运行安装脚本。

bash ./Anaconda.sh

convert-video-to-document-to-use-with-chatgpt-24

现在按回车键继续按要求。

convert-video-to-document-to-use-with-chatgpt-25

多次按 Enter 键,直到系统要求您键入 yes。键入相同的内容,然后按回车键。

convert-video-to-document-to-use-with-chatgpt-26

要在默认位置安装 Anaconda,请按 Enter 键。如果需要,您还可以选择指定其他位置。安装完成后,键入 yes 并按 Enter 初始化 Anaconda。

convert-video-to-document-to-use-with-chatgpt-28

蟒蛇现在将被初始化。我们现在需要将 Anaconda 添加到您的路径变量中。使用以下命令执行相同的操作。

nano ~/.bashrc

convert-video-to-document-to-use-with-chatgpt-python-38-1

现在使用以下命令将 Anaconda 添加到路径变量中。将 [路径] 替换为安装 Anaconda 的位置。如果您将其安装在相同的位置,则可以使用此路径“/home/[用户名]/anaconda3”。确保将 [用户名] 替换为 PC 上的用户名。

export PATH='$PATH:[Path]/bin'

convert-video-to-document-to-use-with-chatgpt-29

完成后,按 按Ctrl + O 在键盘上。显示默认文件路径后按 Enter 键。

convert-video-to-document-to-use-with-chatgpt-30

现在按 按Ctrl + X。

convert-video-to-document-to-use-with-chatgpt-32

就是这样!现在,我们已准备好在您的 PC 上设置和使用 Vlog。

步骤5:设置视频博客

现在一切都已经安装和设置好了,我们终于可以在您的 PC 上设置和使用 Vlog。请按照以下步骤帮助您完成该过程。

使用Ctrl + Alt + T键盘快捷键在PC上打开终端。打开后,使用以下命令暂时停用 Anaconda。

conda deactivate

convert-video-to-document-to-use-with-chatgpt-33

现在使用以下命令导航到您的下载目录。

cd ~/Downloads

convert-video-to-document-to-use-with-chatgpt-34

接下来,使用该命令在您的下载中克隆视频博客。

git clone https://github.com/showlab/VLog

convert-video-to-document-to-use-with-chatgpt-35

克隆项目后,使用以下命令导航到其目录。

cd Vlog

convert-video-to-document-to-use-with-chatgpt-37

接下来,使用此命令创建一个名为检查点的新目录。

mkdir checkpoints

convert-video-to-document-to-use-with-chatgpt-38

现在使用以下命令导航到同一目录。

cd checkpoints

convert-video-to-document-to-use-with-chatgpt-39

我们终于可以下载预训练的模型了。使用此命令下载预训练的模型。

wget -c https://datarelease.blob.core.windows.net/grit/models/grit_b_densecap_objectdet.pth

convert-video-to-document-to-use-with-chatgpt-40

等待模型下载。此过程可能需要一些时间,具体取决于您当前的网络速度和可用带宽。

convert-video-to-document-to-use-with-chatgpt-41

该过程完成后,使用以下命令再次转到“下载”文件夹中的Vlog目录。

cd ~/Downloads/Vlog

convert-video-to-document-to-use-with-chatgpt-42

我们现在需要再次激活蟒蛇。使用以下命令在电脑上执行相同操作。

conda activate

convert-video-to-document-to-use-with-chatgpt-43

激活后,您将在下一行中看到(基础)。您应该仍在Vlog目录中。现在使用此命令创建新环境。

conda create -n vlog python=3.8

convert-video-to-document-to-use-with-chatgpt-44

现在,当系统提示您确认选择时,请按 y

convert-video-to-document-to-use-with-chatgpt-45

现在将创建一个新环境。使用以下命令激活新创建的环境。

conda activate vlog

convert-video-to-document-to-use-with-chatgpt-46

激活后,相同的内容将显示在下一行中。现在使用以下命令安装必要的依赖项。

pip install -r requirements.txt

convert-video-to-document-to-use-with-chatgpt-47

现在将安装所有要求。这可能需要一些时间,因为 delectron2 是依赖项之一,它是一个相当大的文件以及其他依赖项,如 pytorch 等。

convert-video-to-document-to-use-with-chatgpt-48

注意:如果您遇到极慢的下载速度,请使用此命令“conda update -n base conda-package-handling”,然后重试。这将有助于解决下载速度问题,尤其是 Pytorch 问题。此外,pip 可能会下载各种工具的多个版本,以找到与其他要求匹配的版本。这是正常的,您不应中断此过程。

该过程完成后,您应该会看到类似这样的内容。

convert-video-to-document-to-use-with-chatgpt-49

您现在可以使用此命令关闭终端。

exit

convert-video-to-document-to-use-with-chatgpt-50

就是这样!我们现在已准备好将视频转换为文档,以便可以与 ChatGPT 一起使用。

第 6 步:使用视频博客生成文档

我们首先需要获取您的 Open API 密钥,以便我们可以将其与 Vlog 一起使用。请按照以下步骤帮助您完成该过程。

打开浏览器并访问 platform.openai.com。使用您的首选方法登录您的帐户。

convert-video-to-document-to-use-with-chatgpt-55

现在单击右上角的个人资料头像。

convert-video-to-document-to-use-with-chatgpt-56

单击查看 API 密钥

convert-video-to-document-to-use-with-chatgpt-57

现在单击“+ 创建新密钥”。

convert-video-to-document-to-use-with-chatgpt-58

为您的 API 密钥提供一个易于识别的名称。在本指南中,我们将其简单地命名为 Vlog 键测试

convert-video-to-document-to-use-with-chatgpt-59

完成后单击创建密钥

convert-video-to-document-to-use-with-chatgpt-61

Sponsored by LOLWOT

Old Camera Found in the Deep Ocean Reveals Unseen Titanic Photos

Read More

Learn More

生成密钥后,单击密钥旁边的复制图标。请勿关闭选项卡或对话框,因为该键将不再可见。或者,您可以在易于访问的位置记下密钥。

convert-video-to-document-to-use-with-chatgpt-62

复制后,按打开终端 按Ctrl + Alt + T 在键盘上。打开后,使用以下命令激活我们在上一步中创建的 Vlog 环境。

conda activate vlog

convert-video-to-document-to-use-with-chatgpt-51

激活后,使用以下命令导航到我们之前在“下载”文件夹中创建的 Vlog 目录。

cd ~/Downloads/Vlog

convert-video-to-document-to-use-with-chatgpt-52

现在输入以下内容。将 [密钥] 替换为我们之前生成的 OpenAI 密钥,将 [路径] 替换为要转换的视频的路径。Vlog在示例文件夹中附带了一个示例视频,因此我们将简单地将其用于此示例。

python main.py --video_path [Path] --openai_api_key [key]

convert-video-to-document-to-use-with-chatgpt-53

完成后,按 Enter 键。

注意:确保您的视频名称中没有任何空格。如果是这样,我们建议在尝试运行上述命令之前重命名相同的命令。

您的视频现在将被处理并转换为文档。这可能需要一些时间,具体取决于您的网络速度和可用资源。

convert-video-to-document-to-use-with-chatgpt-54

该过程完成后,转换后的文档将保存在与视频相同的位置。这就是您使用Vlog将视频转换为文档的方法。

第 7 步:将文档与 ChatGPT 一起使用

如上所述,转换后的文档现在将与您的视频位于同一目录中。如果你对Vlog稍作修改,你也应该能够直接在终端中与ChatGPT聊天。现在,让我们看一下将来如何使用此转换后的文档提供给 ChatGPT,以便您可以继续讨论视频。

在浏览器中打开 chat.openai.com 并根据需要登录您的帐户。

convert-video-to-document-to-use-with-chatgpt-55

登录后,复制并粘贴转换后的视频文档的内容,然后是您的查询,然后按 Enter 键。让我们让 ChatGPT 总结此示例的视频。

convert-video-to-document-to-use-with-chatgpt-63

如您所见,ChatGPT 总结了视频以及对话翻译。

convert-video-to-document-to-use-with-chatgpt-64

就是这样!每次将来需要视频中的信息时,您只需向 ChatGPT 提供此文档,而不必在本地 PC 上一遍又一遍地转换它。

赞(0) 打赏
未经允许不得转载:Win 11系统之家 » 使用视频博客使用 ChatGPT 将视频转换为文档的 2 种方法

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏