为了提高功率分流式混合动力汽车（HEV）的经济性，本研究建立了HEV整车的纵向动力学模型，并提出了一种基于策略熵优化的改进近端策略优化算法（PPO）的能量管理策略（EMS）。不同于一般的PPO算法，该研究通过采用经验池机制简化了算法框架，只使用一个深度神经网络进行交互训练和更新，以减少策略网络参数同步的复杂性。为了有效探索环境并学习更高效的策略，本研究在损失函数中增加了策略熵，促进智能体在探索与利用之间达到平衡，这有助于避免策略过早收敛至局部最优解。研究结果显示，这种基于单策略网络改进PPO算法的EMS相比于基于双策略网络PPO的EMS，在UDDS工况和NEDC工况下，均能更好地维持电池的荷电状态（SOC），同时等效燃油消耗分别降低了7.1%和1.2%，并取得了与基于DP算法的EMS相近的节能效果。所提出的改进PPO算法能够有效的提高混合动力汽车的燃油经济性，可为混合动力汽车的能量管理策略设计与开发提供参考。