最近思考了一下大模型在金融/经济分析上可以有怎样的应用，随手用ChatGPT做了一些简单的实验。 设想的是要做一个系列，但也并没有预先设计好实验的路径和内容，权当是笔记了。

分析的第一步永远是数据。由于ChatGPT能够调用Bing读取外部数据源，我们就先来看看它直接阅读网页数据的能力如何。以下所有测试用例都使用了GPT-4。

第一个测试来自芝加哥商品交易所CME的Fedwatch Tool。 我们直接把链接给到ChatGPT，让它阅读一下利率期货所显示的联储加息概率，看看市场对接下来几个月利率走向的预测。

ChatGPT表示它不能读取这个网页，后面还输出了一大段对Fedwatch的介绍，我就不截屏了。 由于这个页面的交互和数据输出依赖Javascript，要求ChatGPT/Bing直接阅读难免有些强人所难了。我们试试把数据下载成PDF，然后上传给它做分析。

左图为ChatGPT的回答，右图为上传给它的PDF内容

这次它可以读了。首先对于这张表讲了什么，第一段的归纳是基本准确的。 对一些数据的读取也是对的，比如它捕捉到12月13日议息会议，市场预测利率不变的概率为85.36%，可见ChatGPT对于PDF还是有相当支持的。

然而，如果你只检查了这一个数据，那接下来你就会被它言之凿凿的语气给欺骗了： 紧接着在Medium-Term Outlook里，它提到2024年5月，基准利率落入425-450区间的概率为61.85%； Long-Term Predictions中，提到2024年12月的议息会议，市场预测加息的概率高达97.36%， 由此它得出结论，「整个年度的趋势似乎倾向于加息，这可能表明市场预期联邦储备在回应经济因素如通货膨胀时会采取紧缩的货币政策。」

可是表格的里61.85%和97.36%明明都是降息的概率。ChatGPT得出了完全相反的结论！

一个可能的原因是在PDF中，顺着450-475那一列往下延伸，刚好接上了下一张表格的EASE那一列。 ChatGPT误读了这个信息，于是得出了中期展望倾向于高利率的结论（尽管这个推理其实也没有道理，因为450-475这个利率区间在第一张表格中是一个低利率区间）。 一旦这个结论形成，语言模型固有的模式使得后续输出大概率顺着相同的结论推导，所谓一步错步步错。

既然PDF读错了，我们来试着把表格复制粘贴成文字给它，看看它能不能纠正自己的说法。

左图为ChatGPT更正后的回答，右图为它把自己的回答翻译成的中文

把数据准确地给到它之后，ChatGPT非常谦虚地更正了自己的观点。并且解读也可以说是非常准确了。 如果让它进一步翻译成中文，语言的使用也是非常到位的，基本可以直接复制粘贴到一份报告里了。

看起来ChatGPT至少目前还做不到一键读取归纳总结数据。不过，公开数据的获取和清理在技术上并不难解决，多的是脏活累活。 相比之下，我们其实更关注大语言模型分析数据，提出，发现，乃至解决问题的能力如何。 比如说，为什么市场倾向于更宽松的利率环境，有没有别的数据可以佐证？又有没有别的数据可能与此冲突？ 原因是什么？能否从中挖掘出潜在的交易策略和机会？

这是后续的实验想要回答的问题。