我中心主任吕建成教授参加“无线汇·青城问道” 华为无线教授论坛并做主题报告

  8月23-24日，华为组织的“无线汇·青城问道”无线教授论坛在金牛宾馆成功举行。参与论坛的教授不仅来自北京大学、浙江大学、东南大学、中南大学等全国各大高校，也来自深圳大数据研究院和东莞松山湖实验室等研究机构。我中心主任吕建成教授参加论坛并做主题报告《大模型时代神经网络方法与应用研究》。

活动现场动态：

报告内容简介：

1. 深度神经网络的发展

2. 神经网络模型的工作原理

• 万能逼近定理证明了神经网络可以近似任何连续函数，解释了神经网络模型为什么能工作。
• 多层前馈神经网络是连续实值函数的通用近似器，而生成式网络也同样能实现通用近似（universal approximation）

3. 神经网络的研究问题

• 学习算法中，能学习、学习的效果和学习的快慢这三个方面息息相关。
• 特征提取可以通过注意力机制、卷积核设计、自监督学习等方式来处理。
• 硬件实现涉及如GPU、FPGA、ASIC等AI加速芯片和类脑芯片等前沿研究，而现阶段深度神经网络没有完善的基础理论体系。
• 在网络规模上，一个趋势是深度和结构复杂性的增加，即“模型越来越大”；另一个趋势是模型参数的减少和优化，即“模型越来越小”。

4. 大规模神经网络模型

• 定义：具有数十亿到数万亿参数的深度学习模型，通过大量数据学习提高预测能力。（目前没有统一定义）
• 特征：大规模训练数据、大参数量、自监督预训练、微调对齐。
• 大模型发展趋势：国外基础模型积累深厚，国内应用侧优先发力。人工智能模型参数量随时间呈指数型增长

5. 边缘智能

• 边缘计算的崛起和优势，预计到2030年80%的数据和计算任务将在边缘节点完成。
• 边缘智能面临的难题，包括数据难以实时处理、设备资源受限等。
• 联邦学习在边缘智能中的应用，以及优化方法，如高频数据处理、梯度压缩、个性化学习等。

6. 人工智能应用

7. 总结与展望