自首次向公众发布以来,ChatGPT 已经走了很长一段路,GPT-4 现在已经引入了对第三方插件的支持,这有助于引入大量新的创造性方法来使用 AI。然而,这并不是充分利用 ChatGPT 的唯一方法,如果您想使用其免费版本,有大量社区开发的开源工具可以帮助您使用 ChatGPT 做更多的事情。
一种方法是使用 Vlog,该工具可帮助您将文档转换为视频,然后您可以与 ChatGPT 聊天和讨论。因此,如果您想与 AI 一起转录、表达或讨论视频,那么这是您的完美工具。以下是如何使用Vlog将视频转换为文档并与ChatGPT聊天的方法。
为什么要将视频转换为文档以与 ChatGPT 一起使用?
将视频转换为文档有几个好处。您可以使用 Vlog 创建所提供视频的详细描述,然后 ChatGPT 可以对其进行分析以获取各种结果。您可以生成有关视频各个部分的摘要、推测和描述,分析隐藏的细节等等。Vlog是一个托管在GitHub上的社区开发工具,它使用预先训练的模型,包括BLIP2,GRIT和Whisper。
BLIP2用于分析视频中的图像,而GRIT用于分析环境。另一方面,耳语用于检查和分析视频中的音频并相应地创建文档。这些模型是预先训练的,整个项目都可以在GitHub上下载。开发人员还有一个HuggingFace演示,您可以使用它来测试和分析Vlog的功能。
如何使用 ChatGPT 将视频转换为文档(2 种方法)
使用Vlog主要有两种方法,您可以尝试在HugggingFace上托管的演示,也可以将其本地安装在PC上。在您的 PC 上本地安装它有一些要求;但是,我们将指导您完成整个过程。在本地安装后,Vlog 可以帮助您将视频转换为全面的文档,然后您可以将其提供给 ChatGPT,以便您帮助分析和讨论它。请按照以下首选方法帮助您在PC上使用Vlog。
方法 1:尝试拥抱脸演示
如果您只想在PC上本地安装Vlog之前测试其功能,那么您可以尝试HuggingFace Demo,它可以帮助您尝试一组预先上传的视频。请按照以下步骤帮助您完成此过程。让我们开始吧。
访问 platform.openai.com。现在使用屏幕上显示的选项之一登录您的 OpenAI 帐户。
登录后,单击屏幕右上角的个人资料头像。
单击查看 API 密钥。
现在单击“+ 创建新密钥”。
将 API 密钥命名为首选。我们建议您选择一个名称,以帮助您将来轻松识别密钥。在本指南中,我们将命名密钥 Vlog 密钥测试。
命名后,单击创建密钥。
现在将为您的帐户生成一个新的 API 密钥。点击 复制 旁边的图标将密钥复制到剪贴板。
复制后,请访问浏览器中的 huggingface.co/spaces/TencentARC/VLog。这是Vlog的HuggingFace演示。现在,将复制的密钥粘贴到标题为“输入 OpenAI API 密钥”的文本框中的右上角,然后按 Enter 键。
按照建议,粘贴密钥后按 Enter 键。
密钥现在将提交,如果一切顺利,您应该会看到一条消息,表明 OpenAI 密钥提交成功 (y)。
接下来,首先在右侧的“示例”下选择要转换的示例视频。
视频现在将显示在您左侧的video_input下方。
点击 生成视频文档 将视频转换为文档。
现在将为您的视频生成一个文档并自动馈送到 ChatGPT。
完成后,在聊天机器人下键入您的查询,然后按 Enter 键。当我们在本指南中使用大爆炸理论视频时,让我们看看 ChatGPT 是否可以帮助我们识别本视频中提到的名字。所以我们问以下问题。
“列出视频中提到的所有名字”
输入查询后,ChatGPT 将处理请求,并在右上角显示估计时间。该过程完成后,您将看到一个有效的响应,在我们的例子中如下。
这就是您可以测试和试用托管在HuggingFace上的Vlog演示的方式,以了解该工具的功能。
方法2:在本地安装Vlog并分析视频
如果您想在PC上使用Vlog,那么您可以通过以下方式安装和设置它。我们在本指南中使用 Ubuntu,但该过程在其他平台上也应该类似。请按照以下步骤帮助您完成该过程。
注意:我们建议您暂时避免在Windows上使用Vlog,除非您已准备好对delectron2的安装进行故障排除。这是来自Facebook的图像识别工具,Vlog使用它来识别视频中目前在Windows上官方不支持的元素。
要求
- 配备最新驱动程序的 Nvidia GPU
- Linux(强烈推荐)
满足这些要求后,您可以使用以下步骤来设置和使用 Vlog。
第 1 步:安装 Git
我们首先需要在您的 PC 上安装 Git。请按照以下步骤帮助您在 Windows PC 上安装 Git。
在某些情况下,Git 可能已经安装在您的 Linux PC 上。在 Ubuntu 上按 Ctrl + Alt + T 启动终端,并使用以下命令检查是否安装了 Git。
git --version
如果已通知相关版本号,则已安装 Git。但是,如果收到与下面的消息类似的消息,则可以使用以下命令先安装更新。
sudo apt update
出现提示后,输入您的密码。
现在使用以下命令获取并安装 Git。
sudo apt install git
您的操作系统现在将请求安装必要依赖项的权限。键入 y 并按回车键。
Git 现在将被下载并安装在您的 PC 上。这可能需要一些时间,具体取决于可用的网络带宽。完成后,使用以下命令检查是否已正确设置所有内容。如果一切按预期工作,您应该获得当前安装的 Git 版本号作为回报。
git --version
就是这样!我们现在可以在您的PC上下载并设置其他必要的依赖项。
第 2 步:安装 Wget
我们现在需要安装 Wget。这将帮助我们安装 Python 3.8 以及 Vlog 所需的预训练模型。请按照以下步骤帮助您完成该过程。
在PC上打开终端。如果你使用的是 Ubuntu,你可以通过按键盘上的 Ctrl + Alt + T 来实现。打开后,使用以下命令检查您的 PC 上是否已安装 Wget。
wget --version
如果Wget已安装,则将显示有关它的信息,否则您可以使用以下命令将其安装在PC上。
sudo apt install wget
出现提示时键入密码。
Wget 现在将安装在您的 PC 上。如您所见,它已经存在于我的末尾,这就是为什么没有安装任何新内容的原因。
就是这样!我们现在可以使用下一步在您的 PC 上安装 Python 3.8。
第 3 步:安装 Python 3.8
我们现在需要安装 Python 3.8。Wget 将帮助我们完成此过程。按照以下步骤安装 Python 3.8。
在PC上打开终端。如果你使用的是 Ubuntu,你可以使用 Ctrl + Alt + T 键盘快捷键。启动后,使用以下命令检查并更新所有包。
sudo apt update
出现提示时键入密码。
现在使用以下命令安装必要的依赖项。
sudo apt install build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev libsqlite3-dev libreadline-dev libffi-dev libbz2-dev
现在将安装必要的依赖项。按 y,然后在出现提示后按 Enter 键。
此过程将需要一些时间,具体取决于可用的网络带宽。
安装完所有内容后,使用此命令下载 Python 3.8 包。
wget https://www.python.org/ftp/python/3.8.0/Python-3.8.0.tgz
Python 版本现在将下载到您的 PC 上。完成后,使用以下命令解压缩包。
tar -xf Python-3.8.0.tgz
现在使用以下命令导航到提取的目录。
cd Python-3.8.0
完成后,使用以下命令检查并验证PC上是否按预期设置了所有内容。
./configure --enable-optimizations
该过程完成后,使用以下命令启动生成过程。将 [计数] 替换为电脑上可用的 CPU 内核数。
make -j [Count]
构建过程也需要一些时间,具体取决于电脑上的可用资源。构建完成后,使用以下命令将其安装在您的 PC 上。
sudo make altinstall
该过程完成后,使用以下命令检查一切是否按预期工作。
python3.8 --version
您现在可以使用以下命令关闭PC上的终端。
exit
就是这样!现在,我们可以继续进行下一步,在您的PC上安装和设置Anaconda。
第 4 步:安装 Anaconda
以下是在PC上安装Anaconda的方法。请按照以下步骤帮助您完成此过程。
首先,使用以下命令导航到“下载”文件夹。
cd ~/Downloads
使用Ctrl + Alt + T键盘快捷键在PC上打开终端。现在使用以下命令下载 curl。出现提示时键入密码。
sudo apt install curl
接下来,使用以下命令下载 Anaconda 安装脚本。
curl https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh -o Anaconda.sh
脚本现在将下载到“下载”文件夹中。这可能需要一些时间,具体取决于您的网络速度。
该过程完成后,使用以下命令运行安装脚本。
bash ./Anaconda.sh
现在按回车键继续按要求。
多次按 Enter 键,直到系统要求您键入 yes。键入相同的内容,然后按回车键。
要在默认位置安装 Anaconda,请按 Enter 键。如果需要,您还可以选择指定其他位置。安装完成后,键入 yes 并按 Enter 初始化 Anaconda。
蟒蛇现在将被初始化。我们现在需要将 Anaconda 添加到您的路径变量中。使用以下命令执行相同的操作。
nano ~/.bashrc
现在使用以下命令将 Anaconda 添加到路径变量中。将 [路径] 替换为安装 Anaconda 的位置。如果您将其安装在相同的位置,则可以使用此路径“/home/[用户名]/anaconda3”。确保将 [用户名] 替换为 PC 上的用户名。
export PATH='$PATH:[Path]/bin'
完成后,按 按Ctrl + O 在键盘上。显示默认文件路径后按 Enter 键。
现在按 按Ctrl + X。
就是这样!现在,我们已准备好在您的 PC 上设置和使用 Vlog。
步骤5:设置视频博客
现在一切都已经安装和设置好了,我们终于可以在您的 PC 上设置和使用 Vlog。请按照以下步骤帮助您完成该过程。
使用Ctrl + Alt + T键盘快捷键在PC上打开终端。打开后,使用以下命令暂时停用 Anaconda。
conda deactivate
现在使用以下命令导航到您的下载目录。
cd ~/Downloads
接下来,使用该命令在您的下载中克隆视频博客。
git clone https://github.com/showlab/VLog
克隆项目后,使用以下命令导航到其目录。
cd Vlog
接下来,使用此命令创建一个名为检查点的新目录。
mkdir checkpoints
现在使用以下命令导航到同一目录。
cd checkpoints
我们终于可以下载预训练的模型了。使用此命令下载预训练的模型。
wget -c https://datarelease.blob.core.windows.net/grit/models/grit_b_densecap_objectdet.pth
等待模型下载。此过程可能需要一些时间,具体取决于您当前的网络速度和可用带宽。
该过程完成后,使用以下命令再次转到“下载”文件夹中的Vlog目录。
cd ~/Downloads/Vlog
我们现在需要再次激活蟒蛇。使用以下命令在电脑上执行相同操作。
conda activate
激活后,您将在下一行中看到(基础)。您应该仍在Vlog目录中。现在使用此命令创建新环境。
conda create -n vlog python=3.8
现在,当系统提示您确认选择时,请按 y。
现在将创建一个新环境。使用以下命令激活新创建的环境。
conda activate vlog
激活后,相同的内容将显示在下一行中。现在使用以下命令安装必要的依赖项。
pip install -r requirements.txt
现在将安装所有要求。这可能需要一些时间,因为 delectron2 是依赖项之一,它是一个相当大的文件以及其他依赖项,如 pytorch 等。
注意:如果您遇到极慢的下载速度,请使用此命令“conda update -n base conda-package-handling”,然后重试。这将有助于解决下载速度问题,尤其是 Pytorch 问题。此外,pip 可能会下载各种工具的多个版本,以找到与其他要求匹配的版本。这是正常的,您不应中断此过程。
该过程完成后,您应该会看到类似这样的内容。
您现在可以使用此命令关闭终端。
exit
就是这样!我们现在已准备好将视频转换为文档,以便可以与 ChatGPT 一起使用。
第 6 步:使用视频博客生成文档
我们首先需要获取您的 Open API 密钥,以便我们可以将其与 Vlog 一起使用。请按照以下步骤帮助您完成该过程。
打开浏览器并访问 platform.openai.com。使用您的首选方法登录您的帐户。
现在单击右上角的个人资料头像。
单击查看 API 密钥。
现在单击“+ 创建新密钥”。
为您的 API 密钥提供一个易于识别的名称。在本指南中,我们将其简单地命名为 Vlog 键测试。
完成后单击创建密钥。
生成密钥后,单击密钥旁边的复制图标。请勿关闭选项卡或对话框,因为该键将不再可见。或者,您可以在易于访问的位置记下密钥。
复制后,按打开终端 按Ctrl + Alt + T 在键盘上。打开后,使用以下命令激活我们在上一步中创建的 Vlog 环境。
conda activate vlog
激活后,使用以下命令导航到我们之前在“下载”文件夹中创建的 Vlog 目录。
cd ~/Downloads/Vlog
现在输入以下内容。将 [密钥] 替换为我们之前生成的 OpenAI 密钥,将 [路径] 替换为要转换的视频的路径。Vlog在示例文件夹中附带了一个示例视频,因此我们将简单地将其用于此示例。
python main.py --video_path [Path] --openai_api_key [key]
完成后,按 Enter 键。
注意:确保您的视频名称中没有任何空格。如果是这样,我们建议在尝试运行上述命令之前重命名相同的命令。
您的视频现在将被处理并转换为文档。这可能需要一些时间,具体取决于您的网络速度和可用资源。
该过程完成后,转换后的文档将保存在与视频相同的位置。这就是您使用Vlog将视频转换为文档的方法。
第 7 步:将文档与 ChatGPT 一起使用
如上所述,转换后的文档现在将与您的视频位于同一目录中。如果你对Vlog稍作修改,你也应该能够直接在终端中与ChatGPT聊天。现在,让我们看一下将来如何使用此转换后的文档提供给 ChatGPT,以便您可以继续讨论视频。
在浏览器中打开 chat.openai.com 并根据需要登录您的帐户。
登录后,复制并粘贴转换后的视频文档的内容,然后是您的查询,然后按 Enter 键。让我们让 ChatGPT 总结此示例的视频。
如您所见,ChatGPT 总结了视频以及对话翻译。
就是这样!每次将来需要视频中的信息时,您只需向 ChatGPT 提供此文档,而不必在本地 PC 上一遍又一遍地转换它。