《深度学习及应用》-课程教学大纲

一、课程基本信息

课程代码：18110263

课程名称：深度学习及应用

英文名称：Deep learning and application 课程类别：必修课程

学 时：48学时（其中实验24学时）

学 分：3

适用对象: 计算机科学与技术专业、软件工程专业、信息管理专业、电子商务专业

考核方式：课程论文

先修课程：高级程序设计语言、汇编语言、python语言 二、课程简介

深度学习是目前人工智能、机器学习领域异常火热的研究方向，受到了学术界和工业界的高度关注，被《麻省理工学院技术评论》（MIT Technology Review）评为2013年十大突破性技术之首。深度学习已经在语音识别、图像识别、自然语言处理等诸多领域取得了突破性进展，对学术界和工业界产生了深远的影响。本课程采用google开源软件TensorFlow作为深度学习技术实现平台，讲解了全连接神经网络、自编码器和多层感知机、卷积神经网络、循环神经网络等的设计与实现，以及网络训练过程中的数据处理、网络优调与超参数设计，并介绍深度强化学习和网络模型的可视化、多GPU并行与分布式处理技术。通过本课程的学习使学生掌握深度学习技术并应用该技术解决实际问题，了解应用领域的背景知识。

Deep learning is currently an extremely hot research direction in the field of artificial intelligence and machine learning. It has received great attention from academia and industry. It was rated as one of the top ten breakthrough technologies in 2013 by the MIT Technology Review. The first. Deep learning has made breakthroughs in many fields such as speech recognition, image recognition, and natural language processing, and has had a profound impact on academia and industry. This course uses Google's open source software TensorFlow as the deep learning technology implementation platform, and explains the design and implementation of fully connected neural networks, autoencoders and multilayer perceptrons, convolutional neural networks, recurrent neural networks, etc., as well as the network training process Data processing, network optimization and hyperparameter design, and introduction of deep reinforcement learning and network model visualization,

1

multi-GPU parallel and distributed processing technology. Through the study of this course, students will master deep learning technology and apply the technology to solve practical problems, understand the background knowledge of the application field. 三、课程性质与教学目的

深度学习及应用是计算机及相关专业的必修课之一。深度学习是人工智能取得突破的核心技术，在多个领域获得重要应用。由于课程涉及计算机编程语言，且涉及概念多，内容较抽象，对于基本概念的理解和算法实现的把握有一定难度。

课程的教学要达到三个层次的目的：（1）知识结构。通过理论教学和上机实验，使学生理解深度学习的基本概念和算法，掌握神经网络的基本概念和理论知识，深度学习中主要网络的基本概念和相关算法，掌握深度学习网络的参数训练、深度学习的结构变种，深度学习的训练和使用。（2）思维结构。在教学过程中培养学生的计算思维和逻辑，使学生能够用计算和逻辑思维去分析问题和解决问题，在学习职业技能的同时培养思维习惯。（3）职业素养。通过课程的教学，使学生对操作系统的存在问题和发展趋势形成自己的认识，能够在工作实践中更好地解决问题并把握机会，这是课程教学第三层次的目的。 四、教学内容及要求

第一章 引言 （一）目的与要求

介绍深度学习的基本概念及发展过程。通过本章的学习，使学生能够从

深度学习的发展理解深度学习的概念，从深度学习的概念理解深度学习的特征，从深度学习与日俱增的数据量和模型规模来总体认识本门课程。

（二）教学内容

深度学习的历史趋势 1．主要内容

本节介绍深度学习要的基本概念及发展过程，及未来的发展趋势。 2．基本知识点

神经网络的众多名称和命运变迁，与日俱增的数据量，与日俱增的模型规模，与日俱增的精度、复杂度和对现实世界的冲击 3．问题与应用（能力要求） 理解深度学习的概念，了解深度学习发展历程和趋势。

（三）思政与实践

通过本章的学习，使学生对深度学习的概念、发展历程有个总体认识，本章既是课程开始的引论，也是课程结束的结论，学习完课程再回到本章，无论从知识结构还是认识水平都应该有所收获。

艾伦·麦席森·图灵曾给出著名的图灵测试试图定义一台机器是否具有

2

智能；霍华德·加德纳的多元智能理论将人类的智能分成了七个范畴：语言、逻辑、空间、肢体运作、音乐、人际、内省；而更加一般的对智能的理解是知识和智力的总和，前者是智能的基础，后者是指获取和运用知识求解的能力。如果我们将深度学习技术划分在仿生学的范畴中，将其视为一种对人类大脑的模仿，那么对智能体的探讨可能需要回归到“为什么生命需要智能，智能的作用是什么？”这个问题上来。虽然大量的生物，用低等智能就可以很好的生存，但是我们依然想要弄清高级智能的原理将其服务于我们自身，因为我们的环境更为复杂。高等智能最具代表性的就是可以思考，本节将从哲学方面讨论什么是自我意识，以及为什么会进化出意识允许我们思考。

印度学者说意识是我们内心的火花和链接，是把我们思维中最高层次、最光明的部分与最低层次、最黑暗的部分联系起来的黄金链接。马克思说：“意识在任何时候都只能是被意识到的存在。观念的东西不外是移入到人的头脑并在人的头脑中改造过的物质而已。”还有学者说意识让我们能够认识自我，且赋予我们身份认同感、思维和存在感，进而使事物在我们眼中产生意义。从这些概念中，我们可以确认“意识”和“自我”是密切相关，人类有了意识，必然逐步产生对“自我”的探知和追求,从而形成“自我意识”。

关于“自我意识”的定义，近代法国哲学家笛卡尔提出“我思故我在”，强调我们可以怀疑一切，但是不能怀疑“自我存在”本身。因为我在怀疑恰恰证实了我在怀疑的真实性。笛卡尔认为“我”只是一个思维、精神和理性。“我”是心灵实体，其本质就是“思想”。笛卡尔所说的思想，包括一切意识活动，如怀疑、否定、肯定、愿意、不愿意、感觉和想象等等。 区分自我，首先必须是有“我”存在，即有“思想”存在，然后通过我是否在思考和怀疑来体现。因为自我意识只有通过与其他事物相区别才有可能，换句话说，我们只能通过与其他事物的区别才能意识到自我,也就是说没有“你、我、他”之分，何来“自我意识”。 事实上，无论是笛卡尔的“我思故我在”，还是洛卡“自我即是记忆”，又或是莱布尼兹的“统觉”和马克思的“人类是社会性的存在”，以上种种对“自我意识”的看法，都仅仅是“自我意识”的某个方面。我认为自我不仅仅是某个特征，否则只要具备这个特征，无论对象是人、青蛙、鸟等等，都将是同一个人。我认为“自我意识”的概念包含了一个人的许多不同的特性和方面，正如人工智能先驱马文.明斯基所说：“意识就是一个‘手提箱式’的词汇，它被人们用来表示不同的精神活动。”所以我认为，意识在哲学中所处的“尴尬”地位，与智能在工程设计中所染

3

的“玄幻”色彩，有异曲同工之处。我们唯有将这些方方面面的定义进行汇总、梳理和分层，才有望窥探到“自我意识”与“智能”的真面目。

（四）教学方法与手段

本章内容以多媒体课堂讲授为主。 第二章 线性代数 （一）目的与要求

本章介绍深度学习当中使用到的数学工具。通过本章的学习，使学生掌握一些数学知识点，为深度学习的技术学习奠定基础。

（二）教学内容

1. 主要内容

介绍工程数学中的一些概念和方法，为深度学习的技术学习奠定基础。 2. 基本知识点

标量、向量、矩阵和张量，矩阵和向量相乘，单位矩阵和逆矩阵，线性相关和生成子空间，范数，特殊类型的矩阵和向量 ，特征分解，奇异值分解等。

3. 问题与应用（能力要求）

本节内容相对基础，通过对数学的一些概念和方法介绍，为深度学习的技术学习奠定基础。

（五）思政与实践

本章是全书的理论基础知识，通过本章学习的数学的基本概念和方法，让学生通过学习掌握数学知识的一些概念。

在人工智能领域，尽管以深度学习为代表的AI算法正受业界热捧，但它的“黑盒”式学习模式给整个行业的进一步发展蒙上了隐忧。用中国科学院院士、智源研究院学术委员会张钹在某次接受媒体采访时的观点来说，便是现在“AI奇迹短期难再现，深度学习潜力已近天花板”：算法只有“相关性”，而无“因果性”，将带来人工智能系统根基的脆弱性、可欺骗性等深远隐患。这个观点，已经在中国人工智能业界引起了重大反响和一定程度的共识。早在2019年4月，智源研究院便已发布了重大方向“人工智能的数理基础”，并支持诸多中国顶尖数学家，致力于研究、解决人工智能领域最根本的理论挑战，比如可计算性、可解释性、泛化性、稳定性等。人工智能领域中涉及的问题，单凭计算机科学家不一定能回答它，因为对其理解一定需要大量的数学。计算机科学的人去研究人工智能，往往是设计某个聪明的算法去解决一个具体的问题，而做数学的人总是要去理解：为什么是这样，并建立某种更深层的理论框架去解释它。在人工智能领域，不能仅仅停留在实验阶段，而是

4

要深入研究其内在的机理。比如现在的神经网络，要么解决一个分类问题，要么应对一个回归问题，至于搭建的网络到底应该设多深多宽，到底需要什么特殊网络结构，都不知道，反正就是做“试验”，最简单的就是用“多层感知机”搭建起来，随后则利用Tensorflow 这样的软件，程序都几乎不用怎么写，直接把数据输入进去，软件自动可以做一个SGD确定参数，等结果出来后再输入新的数据试验，随后再看看效果、看看误差等，但这种方法为什么好，好到一个什么程度，把这个方法修改后能否达到一个更好的逼近？没有任何一个定理可以说明，需要利用数学原理去解释。学习任何事情都要追踪事情的本源，理解其内在的根据和

机制。

（六）教学方法与手段

本章内容以多媒体课堂讲授为主。 第三章 概率与信息论 （一）目的与要求

本章介绍深度学习当中使用到的概率知识点。通过本章的学习，使学生

掌握一些概率与信息论知识点，为深度学习的技术学习奠定基础。

（二）教学内容

1. 主要内容

介绍工程数学中概率的一些概念和方法，为深度学习的技术学习奠定基础。 2. 基本知识点 随机变量、概率分布 、边缘概率，条件概率，条件概率的链式法则 ，期望、方差和协方差，常用概率分布，贝叶斯规则，信息论等。 3. 问题与应用（能力要求）

本节内容相对基础，通过对概率的一些概念和方法介绍，为深度学习的技术学习奠定基础。

（七）思考与实践

本章是全书的理论基础知识，通过本章学习的概率和信息论的基本概念，让学生通过学习掌握概率和信息论的基础知识。

（八）教学方法与手段

本章内容以多媒体课堂讲授为主。 第四章 数值计算 （一）目的与要求

本章介绍深度学习当中使用到的数值计算的知识点。通过本章的学习，

使学生掌握一些数值计算的知识点，为深度学习的技术学习奠定基础。

5

（二）教学内容

1. 主要内容

介绍数值计算的一些概念和算法，为深度学习的技术学习奠定基础。 2. 基本知识点

学习算法、容量、过拟合和欠拟合 、超参数和验证集，估计、偏差和方差，最大似然估计，贝叶斯统计，监督学习算法，无监督学习算法，随机梯度下降等。

3. 问题与应用（能力要求） 本节内容相对基础，通过对数值计算的一些概念和基本算法进行介绍，为深度学习的技术学习奠定基础。

（九）思考与实践

本章是全书的理论基础知识，通过本章学习的数值计算的基本概念和算法，让学生通过学习掌握数值计算和算法的基础知识。

（十）教学方法与手段

本章内容以多媒体课堂讲授为主。 第五章 深度前馈网络 （一）目的与要求

本章介绍了深度学习的前馈网络，介绍了相关的基础知识点、应用方法及示例，分析了深度前馈网络的性能。 （二）教学内容

1. 主要内容

介绍深度学习的前馈网络的概念、原理和构架以及反向传播的实现方法。

2. 基本概念和知识点

介绍基于梯度的学习、隐藏单元、架构设计、反向传播和其他的微分算法、问题与应用。 3. 问题与应用（能力要求）

掌握的深度前馈网络的概念和基本原理，能够分析反向传播算法的应用。 （三）思考与实践

本章是全书的实践部分，通过本章学习的深度前馈网络的概念和基本原理，让学生通过学习掌握深度前馈网络的概念和基本原理。

（四）教学方法与手段

本章内容以实验和讨论为主。

6

第六章 深度学习中的正则化 （一）目的与要求

本章介绍了深度学习中的正则化的问题、作为约束的范数惩罚及数据增强和半监督学习等。

（二）教学内容

1. 主要内容

介绍深度学习中的正则化的概念和基本问题。 2. 基本概念和知识点

参数范数惩罚、作为约束的范数惩罚、正则化和欠约束问题、数据集 增强、噪声鲁棒性、半监督学习、多任务学习、卷积神经网络等 3. 问题与应用（能力要求）

理解正则化的基本问题，以及监督学习及多任务学习的原理。

（三）思考与实践

通过本章的学习理解深度学习中的正则化问题、半监督学习、多任务学习、卷积神经网络算法。

（四）教学方法与手段

本章内容以多媒体课堂讲授和实验为主，可结合学生使用设备的体会展开讨论、加深理解。 第七章 深度模型中的优化

（一）目的与要求

本章介绍了深度模型中的优化方法、原理、及深度学习优化中所面临的挑战。

（二）教学内容

1. 主要内容

介绍深度模型中的优化方法及优化面临挑战。 2. 基本概念和知识点 经验风险最小化、代理损失函数和提前终止、批量算法和小批量算法、病态、局部极小值、悬崖和梯度爆炸、长期依赖、局部和全局结构间的弱对应、优化的理论、随机梯度下降、自适应学习率算法及选择正确的优化算法等。 3. 问题与应用（能力要求）

理解优化及优化算法的相关理论。

（三）思政与实践

通过本章的学习理解深度学习优化的基本理论和方法，能结合优化策略选择合适的优化算法。

7

（四）教学方法与手段

本章内容以多媒体课堂讲授为主，可结合学生使用的优化算法进行深度学习算法的优化，加深对优化原理的理解。 第八章 卷积网络 （一）目的与要求

本章介绍了卷积神经网络的原理及构架。

（二）教学内容

1. 主要内容

介绍了卷积神经网络的原理及构架，及一些卷积神经网络的变体。 2. 基本概念和知识点

卷积计算、动机、池化、基本卷积函数的变体、结构化输出、数据类型、高效的卷积算法、随机或无监督的特征、卷积网络与深度学习的历史等。

3. 问题与应用（能力要求）

理解卷积神经网络的结构，结合变体及提取的特征进行实验操作。

（三）思政与实践

通过本章的学习理解文卷积神经网络的原理及构架，了解高效的卷积算法、随机或无监督的特征、卷积网络与深度学习的历史。深度CNN在图像处理、 视频、语音和文本中取得了突破。本文种，我们主要从计算

机视觉的角度对最近CNN取得的进展进行了深度的研究。我们讨论了CNN在不同方面取得的进步：比如，层的设计，活跃函数、损失函数、正则化、优化和快速计算。除了从CNN的各个方面回顾其进展，我们还介绍了CNN在计算机视觉任务上的应用，其中包括图像分类、物体检测、物体追踪、姿态估计、文本检测、视觉显著检测、动作识别和场景标签。 虽然在实验的测量中，CNN获得了巨大的成功，但是，仍然还有很多工作值得进一步研究。首先，鉴于最近的CNN变得越来越深，它们也需要大规模的数据库和巨大的计算能力，来展开训练。人为搜集标签数据库要求大量的人力劳动。所以，大家都渴望能开发出无监督式的CNN学习方式。

同时，为了加速训练进程，虽然已经有一些异步的SGD算法，证明了使用CPU和GPU集群可以在这方面获得成功，但是，开放高效可扩展的训练算法依然是有价值的。在训练的时间中，这些深度模型都是对内存有高的要求，并且消耗时间的，这使得它们无法在手机平台上部署。如何在不减少准确度的情况下，降低复杂性并获得快速执行的模型，这是重要的研究方向。

8

其次，我们发现，CNN运用于新任务的一个主要障碍是：如何选择合适的超参数？比如学习率、卷积过滤的核大小、层数等等，这需要大量的技术和经验。这些超参数存在内部依赖，这会让调整变得很昂贵。最近的研究显示，在学习式深度CNN架构的选择技巧上，存在巨大的提升空间。

最后，关于CNN，依然缺乏统一的理论。目前的CNN模型运作模式依然是黑箱。我们甚至都不知道它是如何工作的，工作原理是什么。当下，值得把更多的精力投入到研究CNN的基本规则上去。同时，正如早期的CNN发展是受到了生物视觉感知机制的启发，深度CNN和计算

机神经科学二者需要进一步的深入研究。有一些开放的问题，比如，生物学上大脑中的学习方式如何帮助人们设计更加高效的深度模型？带权重分享的回归计算方式是否可以计算人类的视觉皮质等等。在学习中我们要善于总结和思考，将复杂事情进行分层处理，每一层完成特定的功能，最终高效、准确地解决实际问题。

（四）教学方法与手段

本章内容以多媒体课堂讲授和实验为主，做实验报告加以理解。 第九章 循环和递归网络 （一）目的与要求

本章介绍了循环和递归网络的原理及构架。 （二）教学内容

1. 主要内容

介绍了循环和递归网络的原理及构架。 2. 基本概念和知识点

循环神经网络、双向 RNN、基于编码 - 解码的序列到序列架构、深度循环网络、 递归神经网络等。 3. 问题与应用（能力要求）

理解循环和递归网络的原理及构架，会应用于相关领域。

（三）思考与实践

通过本章的学习理解循环和递归网络的原理及构架，及训练过程，让学生在实验实操课程中掌握循环和递归网络的构架。

（四）教学方法与手段

本章内容以多媒体课堂讲授为主，配合上机实验进行验证，加深理论内容的理解。

第十章 自编码器

9

（一）目的与要求

本章介绍了自编码器的原理及构架。

（二）教学内容

1. 主要内容

介绍了循环和递归网络的原理及构架。 2. 基本概念和知识点

欠完备自编码器、正则自编码器、表示能力、层的大小和深度、随机编码器和解码器、自编码器的应用等。 3. 问题与应用（能力要求） 理解循环和递归网络的原理及构架，会应用于相关领域。

（三）思考与实践

通过本章的学习理解自编码器的原理及构架，及训练过程，让学生在实验实操课程中掌握自编码器的构架。

（四）教学方法与手段

本章内容以多媒体课堂讲授为主，配合上机实验进行验证，加深理论内容的理解。

第十一章 蒙特卡罗方法和受限玻尔兹曼机 （一）目的与要求

本章介绍了蒙特卡罗方法的原理及构架。 （二）教学内容

1. 主要内容

介绍了蒙特卡罗方法和受限玻尔兹曼机的原理及构架。 2. 基本概念和知识点 采样和蒙特卡罗方法、重要采样、马尔可夫链蒙特卡罗方法、Gibbs 采样、玻尔兹曼机、受限玻尔兹曼机、深度信念网络、深度玻尔兹曼机、卷积玻尔兹曼机等。 3. 问题与应用（能力要求）

理解蒙特卡罗方法和受限玻尔兹曼机的原理及构架，会应用于相关领域。 （三）思考与实践

通过本章的学习理解蒙特卡罗方法和受限玻尔兹曼机的原理及构架，及训练过程，让学生在实验实操课程中掌握蒙特卡罗方法的构架。

（四）教学方法与手段

本章内容以多媒体课堂讲授为主，配合上机实验进行验证，加深理论内容的理解。

10

第十二章 深度生成模型 （一）目的与要求

本章介绍了深度生成模型的原理及构架。

（二）教学内容

1. 主要内容

介绍了深度生成模型的原理及构架。 2. 基本概念和知识点

玻尔兹曼机、受限玻尔兹曼机、深度信念网络、深度循环网络、深度玻尔兹曼机、有向生成网络等。 3. 问题与应用（能力要求）

理解深度生成模型的原理及构架，会应用于相关领域。

（三）教学方法与手段

本章内容以多媒体课堂讲授为主，配合上机实验进行验证，加深理论内容的理解。

（四）思考与实践

通过本章的学习理解深度生成模型原理及构架，及训练过程，让学生在实验实操课程中掌握深度生成模型的构架。

五、各教学环节学时分配 教学环节 教学时数 课程内容 讲 课 4 6 6 5 5 8 4 4 习 题 课 2 2 讨 论 课 2 其他教学环节 小 计 实验 第一章 第二章 第三章 第四章 第五章 第六章 第七章 第八章 2 6 11

第九章 合计

六、推荐教材和教学参考资源

2 4 2 44 4 2 12 2 1. 邱锡鹏著. 神经网络与深度学习.机械工业出版社,2020年

2. 斋藤康毅著，陆宇杰译. 深度学习进阶-自然语言处理.人民邮电出版社,2020年 3. 弗朗索瓦·肖莱（Francois Chollet）著. Python深度学习. 人民邮电出版社，2018年. 4. 龙良曲著. TensorFlow深度学习—深入理解人工智能算法设计.清华大学出版社，2020年.

5. 魏溪含，涂铭，张修鹏著,深度学习与图像识别：原理与实践. 机械工业出版社,2019年.

12