激活函数圈又有新突破了！其中TeLU的表现相当亮眼，只要一行代码就能接入，性能直接吊打现有激活函数！港大的Higher-order-ReLU也不遑多让，靠引入高阶多项式形式，拟合精度和训练效率都远超ReLU。
能看出来，改进ReLU及其变体，至今还是激活函数研究的重要方向。不过目前对写论文的同学来说，激活函数的研究已经进入“深水区”，要想有所收获，不光要做改进，更得找多元化的创新切入点。
比如训练策略创新、硬件协同设计、专用场景定制、自动化设计这些，都是很有潜力的思路，推荐没想法的论文er试试～我这边也整理了10篇激活函数前沿论文，涵盖了前面说的这些方向，大家可以拿去参考，相信能更快找到idea。
扫码添加小享，回复“激活创新”
免费获取全部论文+开源代码
All-optical nonlinear activation function based on stimulated Brillouin scattering
方法：论文展示了一种基于受激布里渊散射的全光激活函数，可调节为多种常见形状，具有频率选择性和自动增益补偿，适用于光学神经网络。实验和模拟结果表明，这种激活函数在性能上与传统数字激活函数相当。
创新点：
实现了基于受激布里渊散射的全光非线性激活函数，无需光电转换，保留了光子学的优势。 激活函数形状可连续调节为LEAKYRELU、SIGMOID和QUADRATIC等，适应不同机器学习需求。 具备频率选择性和自动增益补偿，支持波分复用，有利于构建深度光学神经网络。
Higher-order-ReLU-KANs (HRKANs) for solving physics-informed neural networks (PINNs) more accurately, robustly and faster
方法：论文提出了一种新的激活函数——高阶ReLU（HR），用于改进物理信息神经网络（PINNs）中的Kolmogorov-Arnold网络（KANs）。这种激活函数比传统的B样条基函数更简单，支持高效的矩阵运算，且具有平滑的高阶导数，适合求解偏微分方程（PDEs）。
创新点：
提出高阶ReLU（HR）激活函数，简化了KANs的复杂度并支持高效矩阵运算。 HR激活函数具有平滑的高阶导数，适合物理信息神经网络求解偏微分方程。 实验证明HRKANs在拟合精度、鲁棒性和收敛速度上优于其他KANs变体。
扫码添加小享，回复“激活创新”
免费获取全部论文+开源代码
Hybrid Artificial Neural Network Activation Function to Reduce Water Wastage in Agricultural Irrigation
方法：论文提出了一种基于人工神经网络的智能灌溉系统，使用了一种新的混合激活函数TanElu。该激活函数显著提高了模型在灌溉需求分类和最佳灌溉时间预测上的准确率，分别达到98.24%和97.31%，有效减少了农业灌溉中的水浪费。
创新点：
提出了一种新型的混合激活函数TanElu，结合了Tanh和ELU函数的优点，有效提升了模型性能。 实现了灌溉需求分类和最佳灌溉时间预测的高准确率，分别达到98.24%和97.31%，显著优于传统激活函数。 设计了基于物联网和机器学习的智能灌溉系统，能够实时监测环境数据并自动控制灌溉，有效减少水资源浪费。
Sinekan: Kolmogorov-arnold networks using sinusoidal activation functions
方法：论文提出了一种名为SineKAN的新型神经网络模型，使用正弦函数作为激活函数，替代了传统的B-Spline激活函数。这种正弦激活函数通过学习输入特征的频率和振幅，实现了高效的非线性变换，并在固定相位网格上进行操作，减少了参数数量。
创新点：
提出SineKAN模型，用正弦函数替代B-Spline函数作为激活函数，减少参数数量，提升模型效率。 引入递归公式初始化权重，确保不同网格大小下模型输出一致性，增强模型稳定性。 在MNIST数据集上验证，SineKAN准确率和推理速度均优于或可比于现有KAN模型。
扫码添加小享，回复“激活创新”
免费获取全部论文+开源代码
