松鼠乐园 松鼠乐园
  • 注册
  • 登录
  • 首页
  • 快捷入口
    • Vue
    • Tensorflow
    • Springboot
    • 语言类
      • CSS
      • ES5
      • ES6
      • Go
      • Java
      • Javascript
    • 工具类
      • Git
      • 工具推荐
    • 服务器&运维
      • Centos
      • Docker
      • Linux
      • Mac
      • MySQL
      • Nginx
      • Redis
      • Windows
    • 资源类
      • 论文
      • 书籍推荐
      • 后端资源
      • 前端资源
      • html网页模板
      • 代码
    • 性能优化
    • 测试
  • 重大新闻
  • 人工智能
  • 开源项目
  • Vue2.0从零开始
  • 广场
首页 › 人工智能 › 如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

迦娜王
3年前人工智能
622 0 0
如何系统性掌握深度学习模型设计和优化

模型是深度学习的核心技术之一,我们平时在从事相关工作时,有很大一部分精力都在模型设计和优化上。对于新手朋友们来说,往往只会跑一跑别人的模型或者只会盲目的简单修改一下参数,不知道该如何进行设计和优化。

今天便来谈谈这个问题,同时介绍一个好的学习社区供大家讨论与提升。

文/编辑 | 言有三

1 需要掌握哪些内容

根据不同的用途(刷榜或者工业级部署),模型设计需要实现以下目标:

(1) 获得更高的任务指标。

(2) 获得更快的运行速度。

(3) 获得更小的模型体积。

(4) 获得稳定可靠的性能。

以上各类要求其实对模型设计的侧重点又不同。要获得更高的任务指标,需要不断提高模型的学习能力。要获得更快的运行速度和更小的模型体积,需要优化模型结构。要获得性能稳定的模型,需要保证模型的通用性。

具体涉及的技术又非常多了,下面列举一些常用的。

(1) 模型深度和宽度的设计。

(2) 分辨率和感受野的设计。

(3) 卷积类型,大小,步长的设计。

(4) 正则化技术的设计。

(5) 网络拓扑结构的设计。

(5) 多尺度与信息融合的设计。

(6) 注意力等感知机制的使用。

(7) 量化与剪枝技术的使用。

(8) 半监督/无监督技术的使用。

(9) 一些工程技巧的使用。

(10) AutoML技术的使用。

除了这些内容,还涉及模型的具体训练,部署,转换等各种问题。

2 有三AI已经做了什么

有三从至少三四年之前就致力于CNN网络架构相关的设计和优化研究,至今公众号已经写过很多的文章,知乎也回答过相关的问题,直播也做过几次分享,首先我们回顾一下已有的内容!

在两年多前,有三AI就开始关注模型优化并撰写了相关综述文章和实验文章,如下:

为了压榨CNN模型,这几年大家都干了什么(外链移步公众号)

【技术综述】如何Finetune一个小网络到移动端(时空性能分析篇)(外链移步公众号)

在有三的新书第8章,非常详细地讨论了模型压缩理论和实战。

如何系统性掌握深度学习模型设计和优化

从去年开始,我们公众号发了非常多的模型结构解读,比如主流的图像分类,分割模型。

「完结」总结12大CNN主流模型架构设计思想

如何系统性掌握深度学习模型设计和优化

「完结」12篇文章带你逛遍主流分割网络

如何系统性掌握深度学习模型设计和优化

现在我们又开始了GAN模型结构相关的分享,如果时间容许还会有其他任务,比如目标检测,跟踪等,很多很多。

另外,我们在《AI修行之路》的不惑境界系列中深刻探讨过网络的宽度和深度对模型性能的影响,并进行了一系列实验的验证!讲述了残差网络,分组网络,多尺度网络,注意力机制等网络的设计。

「AI不惑境」网络深度对深度学习模型性能有什么影响?

「AI不惑境」网络的宽度如何影响深度学习模型的性能?

「AI不惑境」残差网络的前世今生与原理

「AI不惑境」移动端高效网络,卷积拆分和分组的精髓

「AI不惑境」计算机视觉中注意力机制原理及其模型发展和应用

有三在知乎上也开设过三个相关的直播,分别是《如何设计更加强大的CNN架构》,《如何设计更加高效的CNN架构》,《千奇百怪的CNN网络架构》内容如下:

如何系统性掌握深度学习模型设计和优化

在这个网络上,比有三更熟悉各种各样的模型架构设计的朋友,已知的恐怕真不多。

3 哪里有更多更新

以上就是全部了吗?当然远远不是,仅仅是九牛一毛。几个月前开始,有三在知识星球平台每天更新各种各样的模型结构,涉及或者即将涉及几乎所有领域。

如何系统性掌握深度学习模型设计和优化

已经更新有多少不记得了,可能接近200期了,最近的一个总结是这篇,【知识星球】超3万字的网络结构解读,学习必备。

不过现在应该已经超过4万字的解读了,为了方便大家收藏阅读,有三将分享做成了卡片的形式,案例如下:

如何系统性掌握深度学习模型设计和优化

更多的内容,下面从其中10类中随机挑选出一些给大家感受一下。

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

如何系统性掌握深度学习模型设计和优化

今年的目标只有一个:做到500期以上。

4 最后要说的话

老朋友们应该都知道,有三做内容不喜欢推送信息,而是喜欢做原创,系统彻底的原创。因此,每次讲述一个模型,我不会只是告诉大家有什么,而是会细致剖析解读。

在这个系列上,我每天花的时间就超过了3个小时,后面还要增加模型训练和部署相关的内容。

因此,更多的内容都会在有三AI知识星球分享,不会继续在公众号分享。有三AI没有广告收入,希望大家能够理解支持。

如果真的需要,就加入有三AI知识星球,一起讨论学习吧。

如何系统性掌握深度学习模型设计和优化

另外,网络结构只是有三AI知识星球中的一个板块,还有很多重磅,相信你不会失望。

如何系统性掌握深度学习模型设计和优化

已经加入的朋友,邀请一位新朋友加入,就可以获得超过50元微信红包的即时奖金噢,系统自动发放。

如何系统性掌握深度学习模型设计和优化

就是这样了。

0
初阶介绍:深度学习的5个应用
上一篇
深度学习详解
下一篇
评论 (0)

请登录以参与评论。

现在登录
聚合文章
Servicios profesionales Organizaciones
1年前
在Gitee收获近 5k Star,更新后的Vue版RuoYi有哪些新变化?
1年前
vue3.x reactive、effect、computed、watch依赖关系及实现原理
1年前
Vue 3 新特性:在 Composition API 中使用 CSS Modules
1年前
标签
AI AI项目 css docker Drone Elaticsearch es5 es6 Geometry Go gru java Javascript jenkins lstm mysql mysql优化 mysql地理位置索引 mysql索引 mysql规范 mysql设计 mysql配置文件 mysql面试题 mysql高可用 nginx Redis redis性能 rnn SpringBoot Tensorflow tensorflow2.0 UI设计 vue vue3.0 vue原理 whistle ZooKeeper 开源项目 抓包工具 日志输出 机器学习 深度学习 神经网络 论文 面试题
相关文章
我收集了12款自动生成器,无聊人士自娱自乐专用
输入一张图,就能让二次元老婆动起来,宛如3D:这全是为了科学啊
使用ONNX+TensorRT部署人脸检测和关键点250fps
基于 Keras 的烟火检测
松鼠乐园

资源整合,创造价值

小伙伴
墨魇博客 无同创意
目录
重大新闻 Centos CSS Docker ES5 ES6 Go Java Javascript Linux Mac MySQL Nginx Redis Springboot Tensorflow Vue Vue2.x从零开始 Windows 书籍推荐 人工智能 前端资源 后端资源 壁纸 开源项目 测试 论文
Copyright © 2018-2022 松鼠乐园. Designed by nicetheme. 浙ICP备15039601号-4
  • 重大新闻
  • Centos
  • CSS
  • Docker
  • ES5
  • ES6
  • Go
  • Java
  • Javascript
  • Linux
  • Mac
  • MySQL
  • Nginx
  • Redis
  • Springboot
  • Tensorflow
  • Vue
  • Vue2.x从零开始
  • Windows
  • 书籍推荐
  • 人工智能
  • 前端资源
  • 后端资源
  • 壁纸
  • 开源项目
  • 测试
  • 论文
热门搜索
  • jetson nano
  • vue
  • java
  • mysql
  • 人工智能
  • 人脸识别
迦娜王
坚持才有希望
1224 文章
35 评论
242 喜欢
  • 0
  • 0
  • Top