针对现有铁路人员入侵识别准确率不高、实时性较差等问题，在YOLOv4模型的基础上提出了一种R-YOLO轨道人员目标检测模型。首先，用轻量级骨干网络ResNet50代替了原有的CSPDarknet53网络，利用深度可分离卷积替代PANet中的标准卷积，减少了网络层数以及模型体积，加快了模型识别速度。其次，在加强特征提取网络前后三个特征层分别加入有效通道注意力模块，采用K-means++聚类算法重新对数据集进行聚类和分析，提高目标检测模型的精度。在模型训练方面，采用迁移学习和混合数据集联合训练，解决异物识别精度不理想以及误检漏检等问题。最后，利用R-YOLO轨道人员目标检测模型对真实铁路异物数据集进行测试。实验结果表明：R-YOLO模型在真实铁路异物数据集上的平均识别精度达到92.12%，较传统YOLOv4算法高出1.89%，帧速率由38.74fps提升到47.73fps。R-YOLO模型改善了铁路入侵人员误检漏检问题，提高了铁路人员入侵识别的实时性和准确率，为铁路安全运行提供保障。