当前位置：网站首页 > 技术教程 > 正文

从概念上看看深度学习为什么成功?

csdh11 2024-12-31 10:27 20 浏览

这里以概念分析为主叙述深度学习的部分理论基础。主要摘录了CVPR 2016 Tutorial里The mathematics of deep learning 的Data structure based theory for deep learning 报告要点。[1]

深度学习的核心结构是深度神经网络。

深度神经网络是一系列线性和非线性变化的网络层堆叠。

深度神经网络的若干重要理论性质包括：

1，可表示任意函数（Universal approximation for any measurable Borel functions）；

2，随着深度增加，神经网络的表达能力呈指数增长；

3，随着深度增加，神经网络有更多的局部最优点接近全局最优点。

从具体的网络层的结构设计和数值初始化来说：

1，深度神经网络可以保留输入数据的重要信息；

即通过一层网络变换后的信息和输入信息的差异有上限理论保证。

2，使用随机高斯分布初始化权值，神经网络能保持样本间的距离和角度序关系；

3，深度神经网络的泛化能力具有理论保证；

即深度神经网络在训练集和测试集的精度误差存在理论上线。

以上述若干性质为基础，设计神经网络结构和目标函数以引导信息的变换和流动，辅以合适的初始化和训练方法，深度学习在很多任务上获得了突破性进展。尤其是非结构化数据的处理，语音，文本，图像等等。

[1] http://www.vision.jhu.edu/tutorials/CVPR16-Tutorial-Math-Deep-Learning-Raja.pdf

深度学习 pdf

上一篇：惊现!麻省理工导师极力推荐的深度学习基础，被我找到了!
下一篇：深度学习到底有什么用?

相关推荐

用Python轻松修改Word文件的作者和时间，打造自己的专属效率工具: 你是否曾经遇到过需要批量修改Word文件的作者、创建时间或修改时间的情况？手动操作不仅费时费力，还容易出错。可以用Python编写一个小工具，轻松解决这个问题！无论你是编程新手还是有一定经验的...

插件开发js代码划分（js插件编写）: 在开发Chrome插件时，将JavaScript代码拆分成多个模块而非集中放置，主要基于性能优化、可维护性提升和浏览器插件特性适配等多方面的考量。以下是具体原因及区别分析：一、拆分的核心原因...

5分钟掌握Python中的标准输入、标准输出、标准错误: 读取用户输入从标准输入获取输入：user_input=input("Impartyourwisdom:")print(f"Youshared:{user_input}")...

高大上的解答:在 'packages.pyi' 中找不到引用 'urllib3': DeepSeek的一句代码：...

Flask 入门教程（flask快速入门）: 目录什么是Flask？环境配置与安装第一个Flask应用：HelloWorld路由与视图函数模板与Jinja2表单处理与用户输入...

每日一库之 Go 语言开发者的神器—Gotx: 点击上方蓝色“Go语言中文网”关注我们，领全套Go资料，每天学习Go语言简介Gotx是一个Go语言（Golang）的解释器和运行环境，只有单个可执行文件，绿色、跨平台，无需安装任何Go语言环境就可...

MySQL性能调优工具包制作（mysql性能调整）: 一、最终工具包内容mysql_tuning_toolkit/├──scripts/#核心脚本│├──sysbench-pro.sh#...

掌握TensorFlow核心用法:从安装到实战的完整指南: 一、为什么TensorFlow值得学习？作为全球使用最广泛的开源机器学习框架，TensorFlow已累计获得超过17万GitHub星标，支撑着Google搜索、Waymo自动驾驶、NASA卫星图像分析...

如何把PY 打包成EXE安装文件（pypy 打包exe）: 将Python脚本打包成EXE文件通常使用第三方工具实现，以下是详细步骤和注意事项：...

Pygame Zero 详细使用教程（python zerorpc）: PygameZero是一个基于Pygame的简化游戏开发框架，特别适合初学者和快速原型开发。它隐藏了许多底层的复杂性，使得开发者可以更专注于游戏逻辑的实现。本文将通过分析提供的代码，详细介绍如...

Stable diffusion AI画图辅助脚本 Script 的使用(二): 本篇为脚本使用介绍的第二部分，主要介绍Promptmatrix提示词矩阵以及UltimateSDUpscale终极SD放大这两个脚本，同时也简单介绍一下如何编写自己的脚本。1、Promp...

一文明白Python 的import如何工作: Pythonimport系统的基础知识Python的import系统是该语言设计的关键部分，允许模块化编程和代码的轻松重用。了解这个系统对任何Python程序员都很重要，因为它决定了代码的结构...

Highlight.js - 前端的代码语法高亮库: 千辛万苦写了篇技术分享，贴了一堆代码，兴高采烈地发到了自己的博客网站上。结果却发现代码全是白底黑字，字体还难看得很，你瞬间就没了兴致。能不能让网页也能像IDE那样，做带语法高亮的炫酷显示呢？来看一...

xbox xsx/s ps2模拟器战神12,北欧女神2 配置教程: xsxxss下载PS2独立模拟器，Retroarch全能模拟器地址。...

RetroArch 着色器、金手指怎么用? 重返复古游戏萤幕滤镜效果: 自从上次分享RetroArch模拟器的一些技巧后，许多模拟器新用户对老旧游戏机感到好奇，为什么游戏画面看起来会有很多马赛克。这主要是因为当年的游戏开发商是针对当时的屏幕进行设计的，所以在现在的高分辨率...

一周热门

最近发表

首页
收录
顶部