Thiemo Fetzer教授主讲Mini Course

发布日期: 2025-06-04 来源: 10


 2025528日和30日下午,应vwin德赢AC米兰合作邀请,应vwin德赢AC米兰合作邀请,华威大学与波恩大学经济学教授Thiemo Fetzer以“Applied Economics with Large Language Models”为主题,在vwin德赢AC米兰合作为vwin德赢AC米兰合作师生开设了一场为期两天的mini course。本次课程由vwin德赢AC米兰合作主办,百人计划研究员袁松主持,课程内容分为理论讲解与代码实操演示两个部分,吸引了众多师生的积极参与。

课程伊始,Thiemo Fetzer教授介绍了本次课程所使用的开源工具llamafile,强调其在隐私保护、可视化处理及便捷部署方面的独特优势,并现场演示了其下载安装与运行方式。随后,教授从信息处理角度出发,对比了人脑与计算机的信息容量与“思考”机制,引发同学们对大语言模型(LLMs)强大能力的浓厚兴趣。

在理论部分,Thiemo Fetzer教授深入浅出地讲解了大型语言模型的基础理论。他通过Heap’s Law解释了语料库中的词汇量呈亚线性增长的原因,通过Zipf’s Law阐释语言中的词频分布特征,两者共同揭示了自然语言的稀疏性与压缩性,为理解大预言模型的建模效率打下基础。进一步,教授指出,语言具有概率性质,因此概率语言模型(Probabilistic Language Models)可以据此计算词序列的联合概率,模拟语言的生成过程。而“维度灾难”(Curse of  Dimensionality)的存在,则推动了从传统N-gram模型向神经网络模型(如GPT)的过渡,这体现了大语言模型对传统语言模型的革命性扩展。

此外,Thiemo Fetzer教授还分享了他对人工智能技术快速发展对未来就业市场可能产生的潜在影响的思考,并鼓励同学们积极掌握AI工具,将其作为提升学术与职业竞争力的重要手段。

在接下来的讲解中,Thiemo Fetzer教授系统介绍了embedding技术在大语言模型中的核心作用。他以Word2Vec中的Skip-Gram模型为例,讲解了词嵌入的生成原理和训练过程。embedding通过将离散词汇转化为连续向量表示,使模型能捕捉词与词之间的语义关系,体现出“词由其上下文定义”的分布式假设。同时,他还结合实际案例,展示了embedding在语义搜索、检索增强生成(RAG)及文本分类等任务中的广泛应用,指出embedding是连接语言模型与实际应用的重要“语义桥梁”。

在实操演示环节,Thiemo Fetzer教授现场演示了如何在不联网、不上传用户数据的前提下,利用OllamaOpenAI构建本地化的人工智能交互客户端,并指导同学们基于Ollama平台实现文本识别与分类任务,充分展示了开源工具在实际应用中的高效性与灵活性。

在最后的问答环节,同学们就OpenAI回答准确性的生成机制、大语言模型在科研与生产场景中的应用前景等问题踊跃提问,并与Thiemo Fetzer教授展开深入交流。

本次mini course内容深入、形式丰富,不仅加深了师生对大语言模型技术的理解,也拓宽了其在应用经济学研究中的视野,课程在热烈掌声中圆满结束。