GPT最强形态：代码解释器（Code Interpreter）测试（一）

1 什么是code interpreter

Code Interpreter是一个官方的ChatGPT插件，用于数据分析，图像转换，编辑代码等。自2023年7月6日起，它已向所有ChatGPT Plus用户提供。它为OpenAI模型提供了一个在沙箱、防火墙执行环境中工作的Python解释器。重要的是，它还可以上传和下载文件。

一句话概括：代码解释器（Code Interpreter）可以让普通用户（非程序员）用自然语言完成以前需要写代码来完成的复杂工作。

测试GPT代码解释器后，我认为这个是GPT当前的最强形态，可以解决之前无法完成的文件处理、数据计算、图形绘制以及幻觉问题，如果能同时集成第三方插件（目前只能二选一），应该已经接近终级形态了（当然最好再集成Auto-GPT）。 如何使用呢？在GPT官方对话网页中，选择Code Interpreter模式，https://chat.openai.com/?model=gpt-4-code-interpreter，即可调用代码解释器。

图片

2 code interpreter的执行环境

目前Code Interpreter所在的沙箱环境包含的主要资源为：

• 💾 54.9GB内存
• 💽 123.87GB磁盘空间，53.24GB空闲磁盘空间
• 💻 16个CPU
• 💻 没有GPU
• 💻 预装了超过330个python库，如pandas（数据分析）、matplotlib、seaborn、folium（绘图和地图）、pytesseract（OCR）、Pillow（图像处理）、Pymovie（ffmpeg）、Scikit-Learn、PyTorch和Tensorflow（机器学习）。还可以上传额外的依赖包，例如GGML。

不过，根据一些其他人的分享，这个数据应该是不准确的。因为根据实测结果，每个人执行的资源都很少（包括10秒的视频转gif提示内存不足、24FPS的GIF无法处理等）。因此，这可能是宿主机的资源，本身的Code Interpreter可能是在容器中。

图片

Code Interpreter 采用的模型不是GPT 4，而是采用对代码执行和书写进行精调的模型gpt-4-code-interpreter，该模型在代码撰写以及数据分析的能力上，比GPT4 更加突出。

图片

3 code interpreter的限制

• 不能上网。
• 您最多可以上传100 MB。(*)
• 仅运行Python代码。(*)
• 不允许安装外部Python包。(*)
• 当环境超过一定时间过期后，之前的文件，链接和代码块的访问可能失效。

图片

(*) - 可以通过越狱绕过这些限制

3.1 越狱安装外部python包

图片

需要安装pypinyin库，但这个库不在默认安装的库里面，如何破解？请看下面的越狱方法：

图片

图片

上面已经成功安装外部库！

图片

然而没有声调，不完美！

图片

这个声调不是我想要的形式，继续完善：

图片

再加入空格：

图片

让我们测试一首完整的唐诗：

图片

完美！

4 应用示例：数学计算类

对于数据计算类问题，GPT4也经常答错，还有关键的一点是我们也不知道GPT是不是答错了！

现在有了代码解释器，数学不再是问题。让我们用示例来说明：

问小于1亿的最大质数，GPT比较明智，拒绝直接回答。

普通版：

图片

代码解释器版：

图片

点击上图红框处的向下箭头，可以看到代码。

图片

假始我们测试1个更小的数字，比如1万，GPT就愿意回答了，然而我们不能分辨答案是正确的，还是他产生了幻觉，又在胡编。

图片

不要紧，我们用代码解释器模式再问下，答案相同，那么这个答案就得到了验证。

图片

5 应用示例：文件处理类

假如有一万个图片文件，命名很乱，希望按照修改时间来重新命令为00001.jpg、00002.jpg ... 如果不写代码，完成这个任务恐怕要让人抓狂。

让我们看下面的示例，代码解释器如何搞定：

首先将图片放到压缩文件包（ZIP），然后上传给GPT，注意点下图红框处的+号上传。

图片

图片

图片

下载文件解压，完全符合我的要求。

6 绘制图表

GPT目前还不是多模态的，无法输出图片，有了代码解释器，一切不是问题。

6.1 画统计图

看下面的示例：

图片

没有联网不能获取到信息不要紧，我们切换到第三方插件形态，使用最好的联网插件webpilot（中国人开发）来查询数据。

图片

根据数据，GPT很快画出了折线图，可以看到2021年数据有大幅下降。

图片

换成柱状图：

图片

要求换成中文说明，结果是乱码，这个问题如何解决我已经研究出来了，后面会有示例。

图片

6.2 画复杂图形

还可以画一些复杂的图形，比如你让他用视觉方式证明地球是圆的：

图片

图片

6.3 备忘录

图片

要求用中文，仍然是乱码，解决方法后面有示例：

图片

还是用英文：

图片

6.4 生成动态图片

原始图片：

图片

英文提示词：

This image is a panoramic shot.
Help me turn it into a video with aspect ratio 3:2, with the image filling the entire 
video(so the sides are cut off).The video should be centered in the middle of the image

Then, pan the video smoothly (with no sudden jumps) as follows:

Start: Center--> Right-->Center-->Left--> Center:End

Use the imageio library to help you. Save the frames directly to a video file instead 
of into a list.

Use a frame step of 8 pixels.If necessarycrop the edges of the image so that the size 
of the image is divisible by the frame step.

对应中文提示词：

这张图片是一张全景照片。

请帮我将它转化为一个3:2的视频，视频要填充满整个画面（所以两侧会被切掉）。视频应该以图像的中心为中心。

然后，按照以下顺序平滑地平移视频（没有突然的跳跃）：

开始：中心 --> 右边 --> 中心 --> 左边 --> 中心：结束

请使用imageio库来帮助你。直接将帧保存到视频文件中，而不是放入列表中。

使用8像素的帧步长。如果需要，可以裁剪图像的边缘，使得图像的大小可以被帧步长整除。

成功生成mp4视频文件，然后要求GPT将mp4文件转为GIF，成功后发现转换后的文件太大，有4M，于是要求控制文件大小，最终生成以下动态图片。

图片

6.5 绘制中国地图

图片

图片

图片

出现中文乱码，不要紧，我们上传个字体就搞定了！

图片

图片

光画一个地图意义不大，那如果我们结合一些数据呢？比如下面这个例子：

图片

7 工具类

7.1 汉字编码

图片

图片

7.2 生成二维码

图片

测试生成的二维码是正确的：

图片

实际上代码解释器的功能远远不止如此，他的出现也让我更坚信强人工智能时代的到来，我会继续摸索，然后分享给大家。