すべての人に一次情報を
HiPFuse は、単一の LiDAR スキャンからポイントクラウドと高さ分割されたビアーズ・ビュー(BEV)を融合し、リアルタイムで高精度のセマンティックセグメンテーションを実現するフレームワークである。
本手法は、水平スケールごとにポイント特徴と BEV 特徴を交換し、ポイント単位の詳細情報と 2 次元空間コンテキストを組み合わせる。固定された高さ割り当てにより、垂直方向の集約グループは別々に扱われる。初期 BEV 特徴は、同じ 3D セルからのターゲットを用いて補助的に監督される。

SemanticKITTI ベンチマーク上で HiPFuse は、Jetson AGX Orin 上で 14.2 FPS で 63.7 % の mIoU を達成し、LiDAR の 10 Hz スキャンレートを上回っている。MCD ベンチマークでは 22.4 FPS で 62.5 % の mIoU を記録した。図1 は、SemanticKITTI での精度対スループットを示し、測定された Jetson AGX Orin 設定下で 10 Hz を常に上回ることを確認できる。
同空間に HiPFuse を統合した場合、外部シーケンスで平均 10.6 % の絶対軌跡誤差低減、SemanticKITTI で 8.7 パーセンテージポイントのループ再帰率向上が見られた。
しかし、スパティアルグリッド(高さ範囲・セルサイズ・高さ分割数)は学習とともに決定されるため、別の LiDAR やセンサ設定に対して事前学習済みモデルを適応させるには、新たなラベル付きデータと再学習が必要である。図2 は、HiPFuse の全体アーキテクチャを示し、ポイントと BEV の特徴交換プロセスを可視化している。