Transformer模型的一个显著特性是自注意力机制,该机制使得模型能够审视整个句子,理解单词之间的相互关系,并在处理长文本时保持这种理解。这为Transformer模型提供了一种长期记忆的能力,使其能够集中关注所有出现过的单词或标记(即整个单词或单词的一部分),从而更全面地理解上下文。
尽管具备这些能力,但Transformer模型最初并不擅长识别单词在句子中的顺序,而这却是理解句子意义的关键。位置编码(positional encoding)显得至关重要。它相当于为模型提供了一个GPS(Global Positioning System,全球定位系统),指示每个单词在句子中的位置,帮助模型区分类似“The cat chases the mouse”和“The mouse chases the cat”这样的句子。
Transformer模型通过引入更为复杂的多头注意力机制,进一步增强了其处理能力。可以想象,该模型拥有多双“眼睛”,每双“眼睛”都能从独特的视角审视信息,关注不同的方面或词语间的关系。比如,一组注意力可能专注于理解动作,另一组可能聚焦于识别主体,还有一组可能致力于捕捉地点信息。这种多角度的分析方法赋予了Transformer模型对文本更深层次的理解。
Transformer模型常以预训练模型的形式出现。由于这类模型已经在大规模数据集上完成训练,因此可以立即投入使用或进行进一步的微调。预训练完成后,模型可以通过API被轻松调用,快速集成到各种语言处理任务中。企业和个人可以迅速将Transformer模型集成到自己的系统中,比如集成到AI辅助编程应用中。此外,通过在特定领域的数据集上进行微调,这些经过预训练的LLM可以进一步优化,从而在专业领域(如医疗或法律文本分析)里发挥出色的性能。这种方式避免了从头开始开发复杂的语言模型,节省了大量时间、精力和资源。预训练模型所具备的基础语言理解能力,为开发生成式AI应用提供了一个强有力的起点。
构建和运营LLM的成本是相当高的。根据《华尔街日报》在2023年年初的报道,每位用户每月在GitHub Copilot上的花销超过20美元。在一些特定情况下,某些用户每月的花销甚至高达80美元。然而,未来几年随着生成式AI基础设施的规模化发展,预期每位用户的成本将会逐渐降低。
Transformer模型主要分为两大类——GPT(Generative Pretrained Transformer,生成式预训练Transformer)和BERT(Bidirectional Encoder Representations from Transformer,来自Transformer的双向编码器表示)。GPT是由OpenAI开发的一款工具,在文本创作、信息总结和语言转换方面表现出色。GPT基于自回归的LLM架构,这意味着在生成文本时,它会根据已经生成的内容逐字考虑,就像讲故事的人逐字逐句地展开叙述一样。GPT的技能是通过在大量文本数据上进行训练而获得的,它使用解码器来生成内容。
在AI辅助编程应用领域,用到的Transformer模型主要是GPT。实践证明,GPT能够根据开发者提供的上下文信息,有效地预测并自动完成代码,这极大地提升了编程效率。
OpenAI Playground是一个生成式AI沙盒,可用于访问OpenAI开发的各种模型。它配备了一个用户友好的图形界面,使用户能够轻松定制模型。
OpenAI Playground极大地简化了我们理解和评估各种LLM的过程,让我们能够快速把握它们的性能和局限。此外,它还允许用户根据不同的参数输入(如温度)实时测试和调整模型的行为。
不过,OpenAI对GPT的使用收取费用。如表2-2所示,费用以token为单位,根据使用量来计算。需要注意的是,价格会定期调整。好消息是,相关费用一直在下降。
表2-2 GPT收费标准
例如,假设你使用的是 GPT-4/8K 上下文LLM。你输入的提示包含1000个token,而模型生成的响应包含2000个token。那么输入费用为0.03美元,输出费用为0.12美元。
首次注册OpenAI账户时,你将获得5美元的积分,可用于OpenAI Playground,或者用于支付API调用的费用。
1. token
接下来我们详细了解一下token。OpenAI提供了一个名为Tokenizer的工具,如图2-3所示。该工具可以分析我们输入的如下内容。
输入:ChatGPT is unbelievable! I love it.
图2-3 Tokenizer显示文本的token数量
评论 0条