我们提出了一种新颖的两阶段全稀疏卷积3D目标检测框架，命名为CAGroup3D。所提方法首先通过在具有相同语义预测结果的物体表面体素上应用类别感知的局部分组策略，生成若干高质量的3D候选框，该策略同时考虑了语义一致性与多样化的局部性，弥补了以往自底向上方法中忽视的这一关键特性。随后，为恢复因体素级分割错误而遗漏的体素特征，我们设计了一个全稀疏卷积的RoI池化模块，可直接从主干网络中聚合细粒度的空间信息，用于进一步优化候选框。该模块在内存和计算效率方面表现优异，能够更有效地编码每个3D候选框的几何特异性特征。实验结果表明，该模型在ScanNet V2和SUN RGB-D数据集上分别取得了mAP@0.25指标的显著提升，分别达到+3.6%和+2.6%，性能达到当前最优水平。代码将公开于 https://github.com/Haiyang-W/CAGroup3D。