本课程覆盖了GPT4发布以后大部分的进展。通过学习课程内容，可以保证您对大语言模型的认知和应用能力保持在最前沿。

课前由于最近OpenAI为首的生成式AI领域风起云涌，快速变化，导致本课程内容一直在修改补充。希望能为大家带来一场绚丽多彩，赏心悦目的知识盛宴。作为老师我非常期待能演绎皓全部内容，心情已经有些迫不及待，不过课程筹备上仍还需一些准备时间，课程决定从16日延期到23日开始，定不会辜负大家。

所谓“多模态大语言模型”（Multimodal Large Language Model，MLLM）就是我们用一组神经网络就可以实现多种人类常见信息源之间的互相理解和转化。为什么要特别强调“多模态”，至少有以下主要原因：

1 多模态是迈向AGI（通用人工智能）的关键一步，人类大脑的能力不限于文字，还有视觉理解（包括图片和视频理解），语音，自我进化等关键能力。理解了多模态是怎样实现的，我们就能打开迈向AGI终极目标之路。

2 多模态改变了AI产品的开发模式，极大降低开发成本和难度。例如过去我们开发工地安全管理的计算机视觉应用，需要对工人们进行计数，判别是否有佩戴安全帽，判别着装的颜色以区分他们的身份等。传统的开发模式是先收集样本图片并且进行标注，所谓“先人工，后智能”，然后再选择和训练模型。很多时候由于样本量很大，标注成本太高，超出客户预期，项目到此就收到阻滞嘎然而止。

但在多模态大语言模型帮助下，我们可以把场景画面送给大模型，直接询问让人数，是否佩戴安全帽，着装统计等，通过对回答进行结构化提取，这个问题就可以轻松解决，实现零样本零标注，完成一个复杂场景的开发。类似的，多模态在视频生成，语音转换等颇为棘手的领域都有惊艳的表现，迅速为用户产生大量价值。

课程内容

Day 1 & 2

• 大模型的基石transformmer
   Transformer的数学本质，transformer解释为支持向量机？
   从transformer到GPT系列的演进
   颠覆transformer的新结构Mamba

•  GPT4v/Turbo功能与实现原理详解

    从“大语言模型（LLM）”到“多模态大模型（MLLM）”
•  自我进化之路：GPT4zero与神秘的Q*到底是什么？
•  Google Gemini功能与实现原理详解
•  多模态大模型全景图。

    可私有化部署的开源多模态大模型MiniGPT、CogVLM、mPLUG-Owl、LLaSM等原理与实战：部署，训练，微调，指令微调M-IT，上下文学习M-ICT

•  多模态生成式AI改变AI研发模式：应用案例与实战
   计算机视觉应用案例集锦：工业安全，场景监控，医学智能阅片等
   自然语言处理应用案例集锦：垂直领域知识图谱，教育行业应用，游戏NCP
   综合应用案例集锦：智能文档与档案数字化，数据库运维，智能问答助手，AIOps
•  SAM（Segment Anything Model）及其应用

Day 3 & 4 

• 大模型幻觉问题探索与解决之路
•  可解释人工智能（港科大EAC），思维链与视觉推理（M-CoT）

•  文生图原理与实战
   扩散模型
   DALLE，CLIP详解
   Stable Difusion原理与应用
   Midjourney v6
   Meta Imagine
   DragGAN
   大视觉模型LVM
•  语音生成原理与实战
   Hubert，实现文本与语音互转的开源模型
   CoVoST，实现不同语言之间的语音互转（翻译）
•  视频生成原理与实战
   中规中矩的Runwayml
   突然火爆的Pika
•  自动编程原理与实战
   Github copilot与其它各种copilot
   NL2SQL
   推广到包括设计图纸的各种场景
•  数字人原理与实现内幕

报名后我们组成师生交流微信群，大家也可以互动讨论提议一些课程内容，老师尽量满足大家的要求。

课程讲师：
黄志洪（tigerfish），数据库专家，数据分析专家，有丰富的IT领域、数学领域的知识经验。知名数据库网站ITPUB创始人，知名数据分析网站炼数成金创始人。ITPUB在其十几年历史中为中国IT业特别是数据库行业输送了大量人才，其中不乏今天在行业里叱咤风云的佼佼者，因此被誉为数据库业的黄埔军校。后来创建炼数成金，言传身教，亲自讲授大数据，数据库，数据分析，人工智能等方面的几十门课程，本身也在华南著名学府中山大学任教多年，桃李满天下。引领无数弟子进入业界，朋友圈遍及业界重要人士，广受尊重。

培训时间：
Day 1&2课程：2023年12月23、24日

Day 3&4课程：2024年1月6、7日

（2个周六日，每天6学时，四天共约24个学时）

授课形式：
网络直播课程（国内外和各城市的朋友们均可参与课程，让学习不受地域的限制）
         
参训特享福利：

1、获赠炼数成金提供GPT4的一年免费使用权
2、获赠我们垂直领域机器人自助开发发布平台“钛基地”免费试用以及8000元的钛基地试用金
3、专属微信群：专属微信交流群，与老师近距离沟通，群永久存在，不解散
4、获赠“专才计划”报名优惠券，包括两个可选的方向：大语言模型应用，医疗+AI。

5、获赠“趋动云”400小时算力（约合200元算力资金），用以支持大家拥有实验环境。

培训费用：2980元（12月16日23:59:59之前报名可享受当前优惠价：2780元）

近期已经上线和计划上线的相关课程如下：

逆向返还网课：
大语言模型部署（第一期）
反内卷神器之RPA特训（第一期）
基于大模型的AI Agent应用实战（第一期）
多模态LLM与promot技巧（待上线）

特训营课程：
AIOPS技能特训（待上线）
Transformer模型内幕（待上线）
扩散模型内幕（待上线）

A：会讲到代码级 ，听众必须使用电脑搭建好环境以便参与动手实践，我们在课程会公布统一实验环境要求

Q：课程需要自己准备很强大的显卡和电脑吗？没有这种条件我还能参加学习吗？
A：趋动云为我们免费提供所有需要的资源，一人一环境可以轻松完成课程实验。