1The complementarity premise, and its fine print

The case for fusion is a complementarity argument, summarized in the table below.

The last three rows are the fine print: complementarity assumes the two failure distributions are independent, and in the real world they are correlated. Heavy rain degrades both sensors at once. A hard turn onto a low sun degrades the camera exactly when motion distortion is worst for a spinning LiDAR. Vibration on a rough surface knocks the extrinsic calibration off for both. When failures correlate, naive fusion does not average out error — it can lock in the confident-but-wrong modality. Every design pattern in §6 is, at bottom, a hedge against correlated failure.

১পরিপূরকতার যুক্তি, এবং তার শর্তাবলি

Fusion-এর পক্ষে মূল যুক্তিটি পরিপূরকতার (complementarity) — নিচের টেবিলে সংক্ষেপে দেখানো হলো।

শেষ তিনটি সারিই আসল শর্ত: পরিপূরকতা ধরে নেয় যে দুটি sensor-এর failure distribution পরস্পর-স্বাধীন, অথচ বাস্তবে সেগুলো correlated। ভারী বৃষ্টি একসঙ্গে দুটো sensor-কেই দুর্বল করে। নিচু সূর্যের দিকে তীক্ষ্ণ বাঁক নেওয়ার সময় camera ঠিক তখনই খারাপ হয় যখন ঘূর্ণায়মান LiDAR-এর জন্য motion distortion সবচেয়ে বেশি। এবড়োখেবড়ো রাস্তায় কম্পন দুটো sensor-এরই extrinsic calibration নাড়িয়ে দেয়। failure যখন correlated, তখন naive fusion ত্রুটি গড় করে মেলায় না — বরং আত্মবিশ্বাসী-কিন্তু-ভুল modality-টিকেই আঁকড়ে ধরতে পারে। §৬-এর প্রতিটি ডিজ়াইন প্যাটার্ন মূলত এই correlated failure-এর বিরুদ্ধে একটি রক্ষাকবচ।

2A taxonomy of fusion, by where the modalities meet

The historical trajectory has been input decoration → BEV feature fusion → query-level fusion, with each step trading a little of the clean-data ceiling for a lot of robustness. On the nuScenes test benchmark, reported figures for the feature/query families cluster in the low-70s NDS (BEVFusion) up to the mid-70s (CMT, GAFusion [12]), versus the mid-60s for a LiDAR-only CenterPoint baseline. Treat those as backbone- and TTA-dependent (see the benchmarking writeup); the point here is that leaderboard NDS is a weak predictor of which family you should ship.

২Modality কোথায় মিলিত হয় — সেই অনুযায়ী fusion-এর একটি শ্রেণিবিন্যাস

ঐতিহাসিক ধারা হলো input decoration → BEV feature fusion → query-level fusion, প্রতিটি ধাপে clean-data সিলিংয়ের সামান্য অংশ ছেড়ে দিয়ে অনেকটা robustness কেনা। nuScenes test benchmark-এ feature/query পরিবারের রিপোর্ট-করা সংখ্যা low-70s NDS (BEVFusion) থেকে mid-70s (CMT, GAFusion [12]) পর্যন্ত জড়ো, যেখানে LiDAR-only CenterPoint baseline mid-60s-এ। এগুলোকে backbone- ও TTA-নির্ভর ধরুন (benchmarking রাইটআপ দ্রষ্টব্য); মূল কথা হলো leaderboard NDS দিয়ে কোন পরিবার ship করবেন তা দুর্বলভাবে অনুমান করা যায়।

3The fragile geometry underneath every method

Every fusion method above ultimately relies on knowing, for a 3D point X in the LiDAR frame, which pixel it corresponds to:

with intrinsics K and extrinsics (R, t) from calibration, evaluated at a single instant. Three things quietly violate the assumptions:

• Extrinsic error. A small rotational miscalibration δθ displaces the projected point by roughly r · δθ at range r. At 40 m, 0.3° is ~20 cm of lateral error — a full lane-position ambiguity for a distant object. Calibration drifts with temperature, vibration, and minor collisions.
• Time offset. Cameras and LiDAR rarely trigger at the same instant, and a spinning LiDAR sweeps over ~100 ms. A vehicle closing at 30 m/s moves 0.9 m in that window. Without motion compensation and timestamp-accurate association, dynamic objects are systematically mislocated relative to their image evidence.
• Rolling shutter and ego-motion. The top and bottom of a camera frame are exposed milliseconds apart; the ego vehicle and the target both move during the LiDAR sweep. Compensating one and not the other creates a residual that looks like calibration error but is not.

The recurring lesson: any method that performs a hard point-to-pixel lookup inherits the full sensitivity of Eq. (1). Methods that use a soft, learned association — attention over a projected neighbourhood rather than a single pixel — absorb these residuals. This is the explicit motivation of TransFusion's soft-association module [6] and of CMT's decision to encode 3D position into tokens and skip explicit projection entirely [9].

৩প্রতিটি পদ্ধতির নিচে থাকা ভঙ্গুর geometry

উপরের প্রতিটি fusion পদ্ধতি শেষমেশ নির্ভর করে এটা জানার উপর যে LiDAR frame-এ থাকা একটি 3D point X কোন pixel-এর সঙ্গে মেলে:

এখানে intrinsics K এবং extrinsics (R, t) calibration থেকে আসে, এবং একটি নির্দিষ্ট মুহূর্তে মূল্যায়িত। তিনটি জিনিস নীরবে এই অনুমানগুলো ভাঙে:

• Extrinsic ত্রুটি। ছোট একটি rotational miscalibration δθ, r দূরত্বে projected point-কে মোটামুটি r · δθ পরিমাণে সরিয়ে দেয়। ৪০ মিটারে ০.৩° মানে ~২০ সেমি পার্শ্বীয় ত্রুটি — দূরের object-এর জন্য পুরো একটা lane-position অস্পষ্টতা। তাপমাত্রা, কম্পন ও ছোটখাটো ধাক্কায় calibration drift করে।
• Time offset। Camera ও LiDAR কদাচিৎ একই মুহূর্তে trigger হয়, আর ঘূর্ণায়মান LiDAR ~১০০ ms ধরে sweep করে। ৩০ মি/সে বেগে এগিয়ে আসা একটি গাড়ি ওই সময়ে ০.৯ মিটার সরে যায়। motion compensation এবং timestamp-নির্ভুল association ছাড়া dynamic object-গুলো তাদের image-প্রমাণের তুলনায় নিয়মিতভাবে ভুল জায়গায় বসে।
• Rolling shutter ও ego-motion। একটি camera frame-এর উপরের ও নিচের অংশ কয়েক মিলিসেকেন্ড ব্যবধানে expose হয়; LiDAR sweep চলাকালে ego গাড়ি ও target দুটোই সরে। একটিকে compensate করে অন্যটিকে না করলে এমন একটি residual তৈরি হয় যা দেখতে calibration ত্রুটির মতো, কিন্তু আসলে তা নয়।

বারবার ফিরে আসা শিক্ষা: যে পদ্ধতি hard point-to-pixel lookup করে, তা Eq. (1)-এর পুরো sensitivity উত্তরাধিকারসূত্রে পায়। যেসব পদ্ধতি soft, learned association ব্যবহার করে — একটিমাত্র pixel-এর বদলে একটি projected neighbourhood-এর উপর attention — সেগুলো এই residual শুষে নেয়। এটাই TransFusion-এর soft-association module [6] এবং CMT-এর 3D position-কে token-এ encode করে explicit projection সম্পূর্ণ বাদ দেওয়ার [9] স্পষ্ট প্রেরণা।

4Online and targetless calibration

Factory calibration with a checkerboard is a one-time snapshot; the extrinsics you actually run with drift. Options, roughly in order of maturity:

• Targetless geometric calibration. Align LiDAR-projected depth discontinuities with image edges / intensity gradients, or maximize mutual information between the projected point cloud and the image, and optimize (R, t) to the alignment. Cheap to run periodically; noisy per-frame.
• Learned calibration regression. Networks in the CalibNet / RegNet / LCCNet line [21] take a mis-calibrated (image, projected-depth) pair and regress the correcting transform, iterated to convergence. Useful as an initializer or a drift detector.
• Motion-based (hand–eye) calibration. Estimate each sensor's ego-trajectory independently and solve AX = XB for the rig transform; recovers extrinsics from normal driving with no targets.
• Calibration health monitoring. Even without correcting, a lightweight runtime alignment score (edge overlap, reprojection residual on static structure) that flags drift and triggers recalibration or a fallback to LiDAR-only.

Whatever you use, feed small random SE(3) perturbations of the extrinsics into training so the detector is not overfit to the dataset's fixed calibration — this alone recovers most of the calibration-noise robustness gap for the point-decoration family.

৪Online ও targetless calibration

checkerboard দিয়ে factory calibration একবারের snapshot মাত্র; বাস্তবে যে extrinsics নিয়ে চালান তা drift করে। বিকল্পগুলো, মোটামুটি পরিপক্বতার ক্রমে:

• Targetless geometric calibration। LiDAR-projected depth discontinuity-কে image edge / intensity gradient-এর সঙ্গে মেলানো, অথবা projected point cloud ও image-এর মধ্যে mutual information সর্বোচ্চ করা, এবং সেই alignment অনুযায়ী (R, t) optimize করা। পর্যায়ক্রমে চালানো সস্তা; per-frame হিসেবে noisy।
• Learned calibration regression। CalibNet / RegNet / LCCNet ধারার network [21] একটি mis-calibrated (image, projected-depth) জোড়া নিয়ে সংশোধনী transform regress করে, convergence পর্যন্ত iterate করে। initializer বা drift detector হিসেবে কাজে লাগে।
• Motion-based (hand–eye) calibration। প্রতিটি sensor-এর ego-trajectory আলাদাভাবে estimate করে rig transform-এর জন্য AX = XB সমাধান করা; কোনো target ছাড়াই সাধারণ driving থেকে extrinsics পুনরুদ্ধার করে।
• Calibration health monitoring। সংশোধন না করেও, একটি হালকা runtime alignment score (edge overlap, static structure-এ reprojection residual) যা drift চিহ্নিত করে এবং recalibration বা LiDAR-only fallback চালু করে।

যা-ই ব্যবহার করুন, training-এ extrinsics-এর ছোট random SE(3) perturbation ঢোকান যাতে detector dataset-এর নির্দিষ্ট calibration-এ overfit না হয় — কেবল এটুকুই point-decoration পরিবারের বেশিরভাগ calibration-noise robustness gap পুনরুদ্ধার করে।

5Failure modes

5.1  Calibration drift

The single most under-tested axis. Models trained on a dataset's fixed calibration overfit to it; inject a few tenths of a degree of extrinsic noise at inference and point-decoration methods lose double-digit AP while BEV and query methods lose less. Mitigation is the training-time SE(3) augmentation from §4 plus an architectural choice for soft association. If your fusion model has never seen calibration noise in training, assume it is fragile to it.

5.2  Temporal misalignment and motion distortion

The robustness benchmarks are blunt about this: in the CVPR 2023 common-corruptions study [13] and in Robo3D [14], motion-level corruptions are the most damaging category for every model tested, fused or not. The failure is not random noise — it is a consistent bias that couples with velocity, so it is worst exactly for the fast-moving objects that matter most for planning.

5.3  Depth ambiguity and long-range camera degradation

The camera branch's contribution decays with range because monocular depth error grows roughly quadratically. Past ~40 m on a 32-beam sensor, LiDAR is also sparse, so a fused model has weak evidence from both. Symptoms: unstable range estimates, orientation flips, and phantom or missed detections at the grid boundary. Camera-only stacks address the depth problem with longitudinal-error-tolerant metrics (LET-3D-AP [15]); a fused model should be evaluated stratified by distance, not just on the aggregate.

5.4  Modality laziness ("lazy fusion")

Because LiDAR alone already solves most of nuScenes, gradient descent has little incentive to develop the camera branch. The fused model converges to a solution that leans almost entirely on LiDAR, with the camera branch contributing a small residual. You discover this only when you ablate: drop the camera at inference and the score barely moves. Work on single-modal adversarial attacks against fusion models [16] makes the same point from the security side — if perturbing one modality collapses the whole detector, the fusion was never balanced. Causes include unbalanced GT-paste augmentation (see the BEV roadmap writeup), a camera branch that is under-parameterized or under-pretrained, and joint-from-scratch training.

5.5  Asymmetric adverse-weather degradation

Rain, fog, and snow do not hit the two sensors equally or at the same time. The corruption studies find snow among the two worst corruptions for 3D detectors, and note that fusion models are more robust than LiDAR-only on average but still lose heavily [13][14]. The danger case is a model that has learned a fixed modality weighting from good-weather data and cannot shift weight to the camera when LiDAR fills with spray returns — or vice versa in fog.

5.6  Missing modality / cross-sensor

A dropped camera, a fully occluded lens, or a LiDAR packet loss is common in the field. The corruption benchmarks identify "cross-sensor" (evaluating on a different LiDAR configuration than training) as the other worst-case, degrading every detector by large margins [14]. A fusion model must have a defined, tested behavior when a modality is absent — ideally a graceful fallback to the surviving branch, never a hard crash or a confident hallucination.

5.7  Domain and dataset gap

Beam count, mounting height, FOV, and intensity calibration differ across platforms; camera color science and lens geometry differ too. A model trained on a 32-beam nuScenes [19] rig transfers poorly to a 64-beam rig without adaptation. Report cross-dataset numbers (train nuScenes, test Waymo Open [20] or vice versa) as a first-class result if you claim generality.

5.8  Adversarial and spoofing inputs

LiDAR can be spoofed with crafted laser pulses that inject or remove points [22]; cameras with adversarial patches or projected light. A fusion model that trusts one modality unconditionally (see 5.4) is exactly as attackable as that modality. Cross-checking modalities — flagging a detection that one sensor sees and the other flatly contradicts — is a partial defense and a useful monitor.

৫ব্যর্থতার ধরন

৫.১  Calibration drift

সবচেয়ে কম-পরীক্ষিত axis। একটি dataset-এর নির্দিষ্ট calibration-এ train করা মডেল সেটাতেই overfit করে; inference-এ ডিগ্রির কয়েক দশমাংশ extrinsic noise ঢোকালে point-decoration পদ্ধতি double-digit AP হারায়, যেখানে BEV ও query পদ্ধতি কম হারায়। প্রশমন হলো §৪-এর training-time SE(3) augmentation, সঙ্গে soft association-এর architectural পছন্দ। আপনার fusion মডেল training-এ কখনো calibration noise না দেখে থাকলে ধরে নিন এটি এর প্রতি ভঙ্গুর।

৫.২  Temporal misalignment ও motion distortion

Robustness benchmark-গুলো এ ব্যাপারে স্পষ্ট: CVPR 2023-এর common-corruptions গবেষণা [13] এবং Robo3D [14]-তে, পরীক্ষিত প্রতিটি মডেলের জন্য — fused হোক বা না হোক — motion-level corruption সবচেয়ে ক্ষতিকর শ্রেণি। এই ব্যর্থতা random noise নয় — এটি velocity-র সঙ্গে যুক্ত একটি consistent bias, তাই planning-এর জন্য সবচেয়ে গুরুত্বপূর্ণ দ্রুতগামী object-গুলোর ক্ষেত্রেই এটি সবচেয়ে খারাপ।

৫.৩  Depth অস্পষ্টতা ও দূরপাল্লায় camera-র অবনতি

camera branch-এর অবদান দূরত্বের সঙ্গে কমে, কারণ monocular depth ত্রুটি মোটামুটি quadratically বাড়ে। ৩২-beam sensor-এ ~৪০ মিটারের পরে LiDAR-ও sparse, তাই fused মডেলের কাছে দুই দিক থেকেই দুর্বল প্রমাণ। লক্ষণ: অস্থির range estimate, orientation উল্টে যাওয়া, এবং grid-সীমানায় phantom বা মিস-করা detection। Camera-only stack depth সমস্যা সামলায় longitudinal-error-tolerant metric দিয়ে (LET-3D-AP [15]); fused মডেলকে কেবল aggregate-এ নয়, দূরত্ব অনুযায়ী stratified করে মূল্যায়ন করা উচিত।

৫.৪  Modality laziness ("lazy fusion")

যেহেতু কেবল LiDAR-ই nuScenes-এর বেশিরভাগ সমাধান করে ফেলে, gradient descent-এর কাছে camera branch গড়ে তোলার তেমন প্রণোদনা নেই। fused মডেল এমন একটি সমাধানে converge করে যা প্রায় পুরোটাই LiDAR-এর উপর নির্ভর করে, camera branch কেবল ছোট একটি residual যোগ করে। এটি ধরা পড়ে কেবল ablate করলে: inference-এ camera বাদ দিন, score প্রায় নড়ে না। fusion মডেলের বিরুদ্ধে single-modal adversarial attack নিয়ে কাজ [16] security দিক থেকে একই কথা বলে — একটি modality perturb করলেই যদি পুরো detector ভেঙে পড়ে, তবে fusion কখনোই balanced ছিল না। কারণগুলোর মধ্যে আছে unbalanced GT-paste augmentation (BEV roadmap রাইটআপ দ্রষ্টব্য), under-parameterized বা under-pretrained camera branch, এবং joint-from-scratch training।

৫.৫  অসম বৈরী-আবহাওয়া অবনতি

বৃষ্টি, কুয়াশা ও তুষার দুটি sensor-কে সমানভাবে বা একই সময়ে আঘাত করে না। corruption গবেষণাগুলো তুষারকে 3D detector-এর জন্য সবচেয়ে খারাপ দুটি corruption-এর একটি হিসেবে পায়, এবং উল্লেখ করে যে fusion মডেল গড়ে LiDAR-only-র চেয়ে বেশি robust হলেও তবু ভারীভাবে হারায় [13][14]। বিপদের ক্ষেত্রটি হলো এমন একটি মডেল যা ভালো-আবহাওয়ার ডেটা থেকে একটি নির্দিষ্ট modality weighting শিখেছে এবং LiDAR যখন spray return-এ ভরে যায় তখন camera-র দিকে weight সরাতে পারে না — বা কুয়াশায় উল্টোটা।

৫.৬  Missing modality / cross-sensor

একটি বাদ-পড়া camera, সম্পূর্ণ occluded lens, বা LiDAR packet loss মাঠে সাধারণ ঘটনা। corruption benchmark-গুলো "cross-sensor"-কে (training-এর চেয়ে ভিন্ন LiDAR configuration-এ মূল্যায়ন) আরেকটি worst-case হিসেবে চিহ্নিত করে, যা প্রতিটি detector-কে বড় ব্যবধানে দুর্বল করে [14]। modality অনুপস্থিত থাকলে fusion মডেলের একটি নির্ধারিত, পরীক্ষিত আচরণ থাকতেই হবে — আদর্শভাবে টিকে-থাকা branch-এ graceful fallback, কখনোই hard crash বা আত্মবিশ্বাসী hallucination নয়।

৫.৭  Domain ও dataset gap

beam সংখ্যা, mounting উচ্চতা, FOV ও intensity calibration platform-ভেদে আলাদা; camera-র color science ও lens geometry-ও আলাদা। ৩২-beam nuScenes [19] rig-এ train করা মডেল adaptation ছাড়া ৬৪-beam rig-এ খারাপভাবে transfer করে। generality দাবি করলে cross-dataset সংখ্যা (train nuScenes, test Waymo Open [20] বা উল্টোটা) একটি প্রথম-শ্রেণির ফলাফল হিসেবে রিপোর্ট করুন।

৫.৮  Adversarial ও spoofing input

point যোগ বা অপসারণ করে এমন সাজানো laser pulse দিয়ে LiDAR-কে spoof করা যায় [22]; camera-কে adversarial patch বা projected আলো দিয়ে। যে fusion মডেল একটি modality-কে নিঃশর্তে বিশ্বাস করে (৫.৪ দ্রষ্টব্য) সেটি ঠিক ওই modality-র মতোই আক্রমণযোগ্য। modality পরস্পর ক্রস-চেক করা — এক sensor যা দেখে অথচ অন্যটি সরাসরি অস্বীকার করে এমন detection চিহ্নিত করা — একটি আংশিক প্রতিরক্ষা ও উপযোগী monitor।

6Design patterns that contain the failures

• Soft association over hard projection. Replace single-pixel lookups with attention over a projected neighborhood, or with position-encoded cross-attention (CMT [9]). Directly buys tolerance to calibration and time-sync error.
• Modality dropout during training. Randomly zero one modality for a fraction of iterations, as in the PKU BEVFusion robustness recipe [5]. Forces each branch to be independently useful and defines missing-modality behavior.
• Calibration-noise augmentation. Perturb extrinsics (and, less aggressively, intrinsics) with small random SE(3) transforms each iteration. Cheap; large robustness return on the point-decoration family.
• Uncertainty- or confidence-aware weighting. Predict per-modality, per-region reliability and gate the fusion by it (SparseLIF's uncertainty-aware fusion [11]). Lets the model shift weight to the camera when LiDAR is degraded, and vice versa.
• Consistent multimodal augmentation. Any spatial augmentation (BEV rotate / scale / flip, GT-paste, image crop) must be applied coherently across points, boxes, and image geometry, or you manufacture calibration error in training.
• Redundant single-modality heads / graceful degradation. Keep lightweight LiDAR-only and camera-only heads alive alongside the fused head, so a modality failure has a defined fallback and the system never depends on fusion succeeding.
• Online calibration monitoring. A cheap runtime check (edge alignment between projected LiDAR and image gradients) that flags drift and can trigger recalibration or a fallback to LiDAR-only (§4).
• Cross-modal consistency checks. At inference, flag detections that one modality asserts strongly and the other flatly contradicts — a monitor for spoofing, gross miscalibration, and hallucination.
• Vision-foundation-model priors for robustness. Denoising or feature extraction with a strong pretrained image model (SAM-based front ends, as in RoboFusion [17]) improves out-of-distribution behavior of the camera branch.

৬যেসব ডিজ়াইন প্যাটার্ন ব্যর্থতা নিয়ন্ত্রণে রাখে

• Hard projection-এর বদলে soft association। single-pixel lookup-এর জায়গায় একটি projected neighborhood-এর উপর attention, অথবা position-encoded cross-attention (CMT [9]) ব্যবহার করুন। সরাসরি calibration ও time-sync ত্রুটির প্রতি সহনশীলতা কেনে।
• Training-এ modality dropout। PKU BEVFusion robustness recipe [5]-এর মতো, কিছু অংশ iteration-এ একটি modality randomly শূন্য করে দিন। প্রতিটি branch-কে স্বাধীনভাবে উপযোগী হতে বাধ্য করে এবং missing-modality আচরণ নির্ধারণ করে।
• Calibration-noise augmentation। প্রতি iteration-এ ছোট random SE(3) transform দিয়ে extrinsics (এবং কম মাত্রায় intrinsics) perturb করুন। সস্তা; point-decoration পরিবারে বড় robustness লাভ।
• Uncertainty- বা confidence-aware weighting। per-modality, per-region নির্ভরযোগ্যতা predict করে তা দিয়ে fusion gate করুন (SparseLIF-এর uncertainty-aware fusion [11])। LiDAR দুর্বল হলে মডেলকে camera-র দিকে weight সরাতে দেয়, এবং উল্টোটাও।
• Consistent multimodal augmentation। যেকোনো spatial augmentation (BEV rotate / scale / flip, GT-paste, image crop) point, box ও image geometry-জুড়ে সঙ্গতভাবে প্রয়োগ করতে হবে, নয়তো আপনি training-এই calibration ত্রুটি বানিয়ে ফেলছেন।
• Redundant single-modality head / graceful degradation। fused head-এর পাশাপাশি হালকা LiDAR-only ও camera-only head সচল রাখুন, যাতে modality ব্যর্থতায় একটি নির্ধারিত fallback থাকে এবং system কখনো fusion সফল হওয়ার উপর নির্ভর না করে।
• Online calibration monitoring। একটি সস্তা runtime check (projected LiDAR ও image gradient-এর মধ্যে edge alignment) যা drift চিহ্নিত করে এবং recalibration বা LiDAR-only fallback (§৪) চালু করতে পারে।
• Cross-modal consistency check। inference-এ এমন detection চিহ্নিত করুন যা এক modality জোরালোভাবে দাবি করে অথচ অন্যটি সরাসরি অস্বীকার করে — spoofing, বড় miscalibration ও hallucination-এর একটি monitor।
• Robustness-এর জন্য vision-foundation-model prior। শক্তিশালী pretrained image model দিয়ে denoising বা feature extraction (RoboFusion [17]-এর মতো SAM-ভিত্তিক front end) camera branch-এর out-of-distribution আচরণ উন্নত করে।

7Evaluating robustness, not just accuracy

A fusion model's clean-set NDS says little about deployment behavior. Report, at minimum:

• Corruption robustness on nuScenes-C / Robo3D [13][14] — the mean corrupted score and, more informatively, the per-corruption breakdown and the clean–corrupt gap. The corruption families to cover: weather (rain / fog / snow), sensor noise (Gaussian, impulse), density (subsampling, beam loss), motion (compensation error, ego jitter), object-level (occlusion, shear), and cross-sensor. MultiCorrupt [18] specifically targets misaligned and missing multi-sensor inputs.
• Missing-modality scores: camera-dropped, LiDAR-dropped, both-degraded.
• Calibration-noise sweeps: AP vs. injected extrinsic rotation and translation.
• Distance-stratified metrics: 0–20 m, 20–30 m, 30 m+.
• Modality-attribution ablation: score with each branch alone, to quantify how much fusion is actually doing.
• Temporal stability: box jitter and ID stability across frames, which per-frame AP hides.

৭কেবল accuracy নয়, robustness মূল্যায়ন

একটি fusion মডেলের clean-set NDS deployment আচরণ সম্পর্কে সামান্যই বলে। অন্তত এগুলো রিপোর্ট করুন:

• Corruption robustness nuScenes-C / Robo3D [13][14]-এ — mean corrupted score এবং, আরও তথ্যবহুলভাবে, per-corruption breakdown ও clean–corrupt gap। যে corruption পরিবারগুলো ঢাকতে হবে: weather (বৃষ্টি / কুয়াশা / তুষার), sensor noise (Gaussian, impulse), density (subsampling, beam loss), motion (compensation ত্রুটি, ego jitter), object-level (occlusion, shear), এবং cross-sensor। MultiCorrupt [18] বিশেষভাবে misaligned ও missing multi-sensor input লক্ষ্য করে।
• Missing-modality score: camera বাদ, LiDAR বাদ, দুটোই দুর্বল।
• Calibration-noise sweep: injected extrinsic rotation ও translation-এর সাপেক্ষে AP।
• দূরত্ব-অনুযায়ী stratified metric: ০–২০ মি, ২০–৩০ মি, ৩০ মি+।
• Modality-attribution ablation: প্রতিটি branch একা রেখে score, যাতে fusion আসলে কতটা কাজ করছে তা পরিমাপ করা যায়।
• Temporal stability: frame-জুড়ে box jitter ও ID stability, যা per-frame AP আড়াল করে।

8Deployment considerations

• Fail-operational architecture. The fused head is the primary; the single-modality heads are hot standbys with a defined arbitration rule. A modality dropout should degrade the output, not stop it.
• Watchdogs. Calibration-health score, per-modality point/pixel statistics, and cross-modal consistency, all monitored; a threshold breach downgrades to LiDAR-only and raises a maintenance flag.
• Latency parity. The two branches run in parallel, so the slower one sets the budget; do not let a heavy image backbone stall the LiDAR path. Asynchronous fusion (use the most recent camera features with a LiDAR-rate head) is a common compromise.
• Export. Sparse convolution and any custom projection / pooling op need TensorRT plugins with numerical-parity tests against the training reference (see the BEV roadmap writeup).

৮Deployment বিবেচনা

• Fail-operational architecture। fused head-ই মুখ্য; single-modality head-গুলো নির্ধারিত arbitration নিয়ম সহ hot standby। modality dropout-এ output দুর্বল হওয়া উচিত, থেমে যাওয়া নয়।
• Watchdog। Calibration-health score, per-modality point/pixel statistics, এবং cross-modal consistency — সবই monitor করা; threshold অতিক্রম করলে LiDAR-only-তে নেমে আসে এবং একটি maintenance flag তোলে।
• Latency parity। দুটি branch সমান্তরালে চলে, তাই ধীরটিই budget ঠিক করে; ভারী image backbone যেন LiDAR path আটকে না দেয়। Asynchronous fusion (LiDAR-rate head-এর সঙ্গে সাম্প্রতিকতম camera feature ব্যবহার) একটি সাধারণ আপস।
• Export। Sparse convolution এবং যেকোনো custom projection / pooling op-এর জন্য TensorRT plugin দরকার, training reference-এর সঙ্গে numerical-parity test সহ (BEV roadmap রাইটআপ দ্রষ্টব্য)।

9Open problems

• Learned, calibration-free association that stays accurate at range without any extrinsics at inference.
• Fusion that provably degrades to the better single modality under arbitrary corruption — a monotonicity guarantee, not just an empirical average.
• Test-time adaptation of modality weighting to weather and sensor state, online, without labels.
• Physically grounded weather simulation for training data, since real adverse-weather labels are scarce.
• Open-vocabulary and long-tail objects in fused 3D detection — today's fusion detectors are firmly closed-set.
• Certified robustness to sensor spoofing for a safety case.

৯অমীমাংসিত সমস্যা

• Learned, calibration-free association যা inference-এ কোনো extrinsics ছাড়াই দূরত্বে নির্ভুল থাকে।
• এমন fusion যা যেকোনো corruption-এ প্রমাণসাপেক্ষে ভালো single modality-তে নেমে আসে — কেবল empirical গড় নয়, একটি monotonicity গ্যারান্টি।
• label ছাড়াই, online, আবহাওয়া ও sensor অবস্থার সঙ্গে modality weighting-এর test-time adaptation।
• Training ডেটার জন্য physically grounded weather simulation, যেহেতু বাস্তব বৈরী-আবহাওয়ার label দুষ্প্রাপ্য।
• Fused 3D detection-এ open-vocabulary ও long-tail object — আজকের fusion detector দৃঢ়ভাবে closed-set।
• safety case-এর জন্য sensor spoofing-এর বিরুদ্ধে certified robustness।