1The label economics that drive the field

A 3D bounding box, tracked and attribute-tagged across a sequence, is one of the most expensive annotations in machine learning — multiple minutes of skilled human time per object-track, with quality-control passes on top. Dense LiDAR semantic or occupancy labels are worse: a single Occ3D-style frame is hundreds of thousands of labelled voxels [28]. The result is that even the large public datasets label only their keyframes — nuScenes annotates at 2 Hz while the sensors run an order of magnitude faster [1] — and a production fleet's labeled fraction is a small fraction of a percent of what it records.

Three levers exist to close that gap: label less but smarter (active learning, core-set selection), label automatically (offboard auto-labeling, §13), and pretrain on the unlabeled pile so the labels you do have go further. This writeup is about the third. Self-supervised learning (SSL) defines a pretext task whose supervision comes for free from the data's own structure, pretrains a backbone on the unlabeled corpus, then fine-tunes on the small labeled set. The promise is a label-efficiency curve shifted left — matching a from-scratch baseline with fewer annotations, or beating it at the same count. Whether that promise is kept depends on the pretext task, the downstream task, and — as §12 argues — on how carefully the comparison is run.

১যে label economics ক্ষেত্রটিকে চালায়

একটি 3D bounding box, একটি sequence-জুড়ে tracked ও attribute-ট্যাগড, machine learning-এর সবচেয়ে ব্যয়বহুল annotation-এর একটি — প্রতি object-track-এ কয়েক মিনিট দক্ষ মানব-সময়, উপরে quality-control pass। Dense LiDAR semantic বা occupancy label আরও খারাপ: একটি Occ3D-ধাঁচের frame মানে কয়েক লক্ষ labelled voxel [28]। ফলে বড় public dataset-ও কেবল তাদের keyframe label করে — nuScenes ২ Hz-এ annotate করে যেখানে sensor এক অর্ডার দ্রুত চলে [1] — আর একটি production fleet-এর labelled অংশ, যা রেকর্ড করে তার শতাংশেরও ভগ্নাংশ।

সেই ব্যবধান মেটাতে তিনটি lever আছে: কম কিন্তু বুদ্ধি করে label করা (active learning, core-set নির্বাচন), স্বয়ংক্রিয়ভাবে label করা (offboard auto-labeling, §১৩), এবং unlabeled স্তূপে pretrain করা যাতে হাতে থাকা label বেশি দূর যায়। এই লেখা তৃতীয়টি নিয়ে। Self-supervised learning (SSL) এমন একটি pretext task সংজ্ঞায়িত করে যার supervision ডেটার নিজস্ব গঠন থেকে বিনামূল্যে আসে, unlabeled corpus-এ একটি backbone pretrain করে, তারপর ছোট labelled set-এ fine-tune করে। প্রতিশ্রুতি হলো একটি বাঁ দিকে সরানো label-efficiency curve — কম annotation দিয়ে একটি from-scratch baseline ছোঁয়া, বা একই সংখ্যায় তাকে হারানো। সেই প্রতিশ্রুতি রক্ষা হয় কিনা তা নির্ভর করে pretext task, downstream task, এবং — §১২ যেমন বলে — তুলনাটা কতটা যত্নে চালানো হয়েছে তার উপর।

2Problem setup and a taxonomy

Formally: given an unlabeled corpus 𝒟_u of sensor frames, learn an encoder f_θ by minimizing a pretext loss ℒ_pre that requires no human labels. Then transfer θ to a downstream task with a small labeled set 𝒟_ℓ, either by linear probing (freeze f_θ, train only a head) or full fine-tuning (update everything). The quantity that matters is not the score at |𝒟_ℓ| = full, but the whole curve of downstream score versus |𝒟_ℓ|.

২সমস্যার সেটআপ ও একটি শ্রেণিবিন্যাস

আনুষ্ঠানিকভাবে: sensor frame-এর একটি unlabeled corpus 𝒟_u দেওয়া থাকলে, একটি pretext loss ℒ_pre কমিয়ে একটি encoder f_θ শিখুন যাতে কোনো মানব-label লাগে না। তারপর একটি ছোট labelled set 𝒟_ℓ সহ একটি downstream task-এ θ transfer করুন, হয় linear probing দিয়ে (f_θ freeze, কেবল একটি head train) অথবা full fine-tuning দিয়ে (সব কিছু update)। যা গুরুত্বপূর্ণ তা |𝒟_ℓ| = পূর্ণ-তে score নয়, বরং |𝒟_ℓ|-এর সাপেক্ষে downstream score-এর পুরো curve।

3Contrastive and instance discrimination

The earliest transfer results for driving point clouds were contrastive. The generic objective is InfoNCE,

with temperature τ. Nearly all the design effort goes into defining k⁺ (what counts as the same thing) and the negative set {k_i⁻}. PointContrast [2] established that point-level correspondence between two camera/LiDAR views of a scan is enough signal to pretrain a useful 3D backbone; DepthContrast [3] showed a format-agnostic version that works on single point clouds without registered pairs.

The driving-specific refinements add structure to the positive/negative sampling, because raw point-level contrast on a street scene creates many false negatives (two different points on the same road surface are pushed apart):

• ProposalContrast [6] contrasts region proposals rather than points, which is closer to the detection objective and reduces false negatives.
• SegContrast [7] contrasts class-agnostic geometric segments (ground-removed clusters), so the invariance is object-shaped.
• GCC-3D [4] harmonizes contrast with clustering so that semantically similar regions are not forced apart.
• STRL [5] takes temporally adjacent frames as natural augmentations, a BYOL-style predictor removing the need for explicit negatives.

The consistent empirical picture: contrastive pretraining transfers best to dense downstream tasks (LiDAR semantic segmentation) and to the low-label regime; its advantage on box detection is smaller and needs the proposal-level variants to show up at all.

৩Contrastive ও instance discrimination

driving point cloud-এর জন্য প্রথম দিকের transfer ফলাফল ছিল contrastive। সাধারণ objective হলো InfoNCE,

temperature τ সহ। প্রায় সমস্ত ডিজ়াইন-শ্রম যায় k⁺ (কোনটাকে একই ধরা হবে) এবং negative set {k_i⁻} সংজ্ঞায়িত করায়। PointContrast [2] দেখাল যে একটি scan-এর দুটি camera/LiDAR view-এর মধ্যে point-level correspondence একটি উপযোগী 3D backbone pretrain করার মতো যথেষ্ট signal; DepthContrast [3] একটি format-নিরপেক্ষ সংস্করণ দেখাল যা registered জোড়া ছাড়াই একক point cloud-এ কাজ করে।

driving-নির্দিষ্ট পরিমার্জনগুলো positive/negative sampling-এ গঠন যোগ করে, কারণ একটি street scene-এ raw point-level contrast অনেক false negative তৈরি করে (একই সড়ক-পৃষ্ঠের দুটি ভিন্ন point পরস্পর থেকে ঠেলে দেওয়া হয়):

• ProposalContrast [6] point-এর বদলে region proposal contrast করে, যা detection objective-এর কাছাকাছি এবং false negative কমায়।
• SegContrast [7] class-নিরপেক্ষ geometric segment (ground-সরানো cluster) contrast করে, তাই invariance object-আকৃতির।
• GCC-3D [4] contrast-কে clustering-এর সঙ্গে সমন্বয় করে যাতে semantically সদৃশ region-গুলো জোর করে আলাদা না হয়।
• STRL [5] সময়ে সন্নিহিত frame-কে স্বাভাবিক augmentation হিসেবে নেয়, একটি BYOL-ধাঁচের predictor explicit negative-এর দরকার মিটিয়ে দেয়।

সঙ্গতিপূর্ণ empirical ছবি: contrastive pretraining সবচেয়ে ভালো transfer করে dense downstream task-এ (LiDAR semantic segmentation) এবং low-label ক্ষেত্রে; box detection-এ এর সুবিধা কম এবং দেখাতেই হলে proposal-level variant লাগে।

4Temporal and 4D self-supervision

A driving log is a video, and time is the richest free signal in it. TARL [8] uses ego-motion to register consecutive scans, clusters the aggregated cloud into segments, and treats a segment seen across many frames as one positive group — a car viewed from ten poses becomes a single invariance target, far stronger than single-frame augmentation. This is currently one of the better label-efficient LiDAR-segmentation pretraining signals.

Two further temporal ideas:

• Motion / scene-flow self-supervision. Nearest-neighbour and cycle-consistency losses on consecutive clouds learn per-point motion without labels; the learned features transfer to detection and are useful for moving-object segmentation.
• Forecasting as pretext. Predicting the next scan (or its BEV / occupancy) from the past forces the encoder to model both geometry and dynamics. TREND [29] is an explicit "temporal forecasting" pretraining for LiDAR perception; the world-model methods in §9 are the large-scale version of the same idea.

৪Temporal ও 4D self-supervision

একটি driving log আসলে একটি video, আর সময়ই এতে সবচেয়ে সমৃদ্ধ free signal। TARL [8] পরপর scan register করতে ego-motion ব্যবহার করে, জমা-করা cloud-কে segment-এ cluster করে, এবং বহু frame-জুড়ে দেখা একটি segment-কে একটি positive group হিসেবে গণ্য করে — দশটি pose থেকে দেখা একটি গাড়ি একটিমাত্র invariance target হয়ে ওঠে, single-frame augmentation-এর চেয়ে অনেক শক্তিশালী। এটি এখন ভালো label-efficient LiDAR-segmentation pretraining signal-এর একটি।

আরও দুটি temporal ধারণা:

• Motion / scene-flow self-supervision। পরপর cloud-এ nearest-neighbour ও cycle-consistency loss label ছাড়াই per-point motion শেখে; শেখা feature detection-এ transfer করে এবং moving-object segmentation-এ উপযোগী।
• Pretext হিসেবে forecasting। অতীত থেকে পরবর্তী scan (বা তার BEV / occupancy) predict করা encoder-কে geometry ও dynamics দুটোই model করতে বাধ্য করে। TREND [29] LiDAR perception-এর জন্য একটি স্পষ্ট "temporal forecasting" pretraining; §৯-এর world-model পদ্ধতি একই ধারণার বড়-স্কেল সংস্করণ।

5Masked modeling

Following MAE in images [23], the masked-modeling line hides a large fraction of the input and trains the network to reconstruct it. For point clouds the design choices are the mask unit (points, voxels, pillars, range-image patches), the mask ratio (typically 60–80%), and the reconstruction target:

• Voxel-MAE [9] — binary voxel occupancy of the masked region, a cheap and surprisingly effective target.
• Occupancy-MAE [10] — a range-aware masking that accounts for LiDAR's radial density falloff, reconstructing occupancy at multiple scales.
• GD-MAE [11] — a generative decoder that hierarchically infers masked tokens, removing hand-designed masking of multi-scale features.
• MV-JAR [12] — combines masked voxel reconstruction with a jigsaw/ordering objective, and ships a matched pretraining/fine-tuning benchmark on Waymo, which is unusually rigorous for this subfield.
• BEV-MAE [13] — masks in BEV and reconstructs, aligning the pretext representation with where detectors actually operate.

Masked modeling scales more gracefully than contrastive (no large negative bank, no momentum encoder) and pairs naturally with transformer backbones. Its weakness is that pure geometric reconstruction learns little semantics — a wall and a truck side are locally similar — which is why the cross-modal methods in §7 often win on semantic downstream tasks.

৫Masked modeling

image-এ MAE-কে অনুসরণ করে [23], masked-modeling ধারা input-এর একটা বড় অংশ লুকিয়ে network-কে তা পুনর্গঠন করতে train করে। point cloud-এর জন্য ডিজ়াইন পছন্দ হলো mask unit (point, voxel, pillar, range-image patch), mask ratio (সাধারণত ৬০–৮০%), এবং reconstruction target:

• Voxel-MAE [9] — masked region-এর binary voxel occupancy, একটি সস্তা ও অবাক-করা-কার্যকর target।
• Occupancy-MAE [10] — একটি range-aware masking যা LiDAR-এর radial density falloff হিসাবে নেয়, একাধিক scale-এ occupancy পুনর্গঠন করে।
• GD-MAE [11] — একটি generative decoder যা masked token শ্রেণিক্রমে অনুমান করে, multi-scale feature-এর হাতে-নকশা masking সরিয়ে দেয়।
• MV-JAR [12] — masked voxel reconstruction-কে একটি jigsaw/ordering objective-এর সঙ্গে মেলায়, এবং Waymo-তে একটি matched pretraining/fine-tuning benchmark দেয়, যা এই উপক্ষেত্রের জন্য অস্বাভাবিকভাবে কড়া।
• BEV-MAE [13] — BEV-তে mask করে পুনর্গঠন করে, pretext representation-কে detector আসলে যেখানে কাজ করে তার সঙ্গে মেলায়।

Masked modeling contrastive-এর চেয়ে বেশি সাবলীলভাবে scale করে (বড় negative bank নেই, momentum encoder নেই) এবং transformer backbone-এর সঙ্গে স্বাভাবিকভাবে জোড়ে। এর দুর্বলতা হলো বিশুদ্ধ geometric reconstruction সামান্যই semantics শেখে — একটি দেয়াল আর একটি ট্রাকের পাশ স্থানীয়ভাবে একই রকম — এজন্যই §৭-এর cross-modal পদ্ধতি semantic downstream task-এ প্রায়ই জেতে।

6Occupancy and rendering pretext

ALSO [14] reframes pretraining as a query: "is this point in space on a surface?" The encoder must produce features from which a small decoder can answer occupancy queries anywhere in the volume, which forces it to learn scene geometry without a codebook or a heavy reconstruction decoder. It transfers well to both detection and segmentation and is cheap.

Differentiable rendering goes further. UniPAD [15] attaches a NeRF-style volumetric renderer to the encoded features and asks them to re-render the observed depth and RGB along camera/LiDAR rays. Its notable property is modality-agnosticism: the same pretext trains a LiDAR encoder, a camera encoder, or a fused one, so it drops directly into the fusion stacks discussed in the companion writeups. PonderV2 [16] generalizes the rendering pretext toward a "3D foundation model" recipe; VisionPAD [30] is a vision-centric variant using 3D Gaussian splatting as the rendering primitive and adding photometric consistency and voxel-velocity self-supervision. Rendering pretext is the current front-runner for camera pretraining because it supervises geometry directly, which vanilla masked-image modeling does not.

৬Occupancy ও rendering pretext

ALSO [14] pretraining-কে একটি query হিসেবে সাজায়: "space-এর এই point কি কোনো surface-এ?" encoder-কে এমন feature বানাতে হবে যা থেকে একটি ছোট decoder volume-এর যেকোনো জায়গায় occupancy query-র উত্তর দিতে পারে, যা তাকে একটি codebook বা ভারী reconstruction decoder ছাড়াই scene geometry শিখতে বাধ্য করে। এটি detection ও segmentation দুটোতেই ভালো transfer করে এবং সস্তা।

Differentiable rendering আরও এগোয়। UniPAD [15] encoded feature-এ একটি NeRF-ধাঁচের volumetric renderer জুড়ে দেয় এবং তাদের camera/LiDAR ray বরাবর observed depth ও RGB পুনরায় render করতে বলে। এর উল্লেখযোগ্য বৈশিষ্ট্য হলো modality-নিরপেক্ষতা: একই pretext একটি LiDAR encoder, একটি camera encoder, বা একটি fused encoder train করে, তাই এটি সঙ্গী রাইটআপে আলোচিত fusion stack-এ সরাসরি বসে যায়। PonderV2 [16] rendering pretext-কে একটি "3D foundation model" recipe-র দিকে সাধারণীকরণ করে; VisionPAD [30] একটি vision-centric variant, rendering primitive হিসেবে 3D Gaussian splatting ব্যবহার করে এবং photometric consistency ও voxel-velocity self-supervision যোগ করে। camera pretraining-এর জন্য rendering pretext এখন এগিয়ে, কারণ এটি geometry সরাসরি supervise করে, যা সাধারণ masked-image modeling করে না।

7Cross-modal distillation

If a strong 2D image encoder already exists, why relearn semantics from scratch in 3D? Cross-modal distillation imports it. The mechanism, established by SLidR [17]: project LiDAR points into the paired image, group points and pixels by superpixels, average each group's features on both sides, and pull the 3D group feature toward the corresponding 2D group feature from a frozen image backbone, with a contrastive loss over groups. The superpixel grouping is what makes it object-aware rather than pixel-noisy.

• ST-SLidR [18] makes the contrastive loss "semantically tolerant" — down-weighting negatives that are probably the same class — and adds a class-balancing term.
• Seal [19] replaces heuristic superpixels with segments from a vision foundation model (SAM), giving semantically coherent groups, and adds temporal consistency of point segments across scans.
• SuperFlow [20] adds spatiotemporal flow consistency across the sweep and dense-to-sparse regularization, so features are stable across point density.
• HVDistill [31] distills from both image-plane and BEV views of the 2D features.

This family currently gives the best low-label LiDAR-segmentation transfer, precisely because it imports web-scale 2D semantics for free. Its ceiling is bounded by how well image semantics map onto 3D structure — poorly for fine geometry, occluded extents, and rare vehicle types the 2D model also never saw well.

৭Cross-modal distillation

একটি শক্তিশালী 2D image encoder যদি আগে থেকেই থাকে, তবে 3D-তে scratch থেকে আবার semantics শেখা কেন? Cross-modal distillation তা আমদানি করে। SLidR [17]-এর প্রতিষ্ঠিত কার্যপদ্ধতি: LiDAR point-কে paired image-এ project করুন, point ও pixel-কে superpixel দিয়ে group করুন, দুই দিকেই প্রতিটি group-এর feature গড় করুন, এবং একটি frozen image backbone থেকে সংশ্লিষ্ট 2D group feature-এর দিকে 3D group feature টানুন, group-এর উপর একটি contrastive loss সহ। superpixel grouping-ই এটিকে pixel-noisy না করে object-aware করে তোলে।

• ST-SLidR [18] contrastive loss-কে "semantically tolerant" করে — যেসব negative সম্ভবত একই class তাদের weight কমিয়ে — এবং একটি class-balancing term যোগ করে।
• Seal [19] heuristic superpixel-এর বদলে একটি vision foundation model (SAM) থেকে segment ব্যবহার করে, semantically সুসংগত group দেয়, এবং scan-জুড়ে point segment-এর temporal consistency যোগ করে।
• SuperFlow [20] sweep-জুড়ে spatiotemporal flow consistency এবং dense-to-sparse regularization যোগ করে, তাই feature point density-জুড়ে স্থিতিশীল।
• HVDistill [31] 2D feature-এর image-plane ও BEV — দুটি view থেকেই distill করে।

এই পরিবার এখন সবচেয়ে ভালো low-label LiDAR-segmentation transfer দেয়, ঠিক এই কারণে যে এটি web-scale 2D semantics বিনামূল্যে আমদানি করে। এর সিলিং নির্ধারিত হয় image semantics কতটা ভালোভাবে 3D গঠনে মেলে তার দ্বারা — সূক্ষ্ম geometry, occluded বিস্তার, এবং যেসব বিরল গাড়ির ধরন 2D মডেলও ভালোভাবে দেখেনি — এসবে খারাপ।

8Camera pretraining and foundation-model priors

The trend since 2023 is that the strongest "self-supervised" perception methods are not purely self-supervised — they lean on a frozen 2D foundation model (DINOv2, CLIP, SAM, Metric3D) as the source of the training signal [27]. Concretely, swapping a from-scratch image backbone in a Lift-Splat BEV segmentation model for a frozen DINOv2 feature extractor plus a Metric3D depth prior has been reported to add several IoU points on vehicle segmentation while roughly halving the data and iterations needed [32]. CLIP distillation into 3D (CLIP2Scene [21], OpenScene [22]) yields language-queryable 3D features and label-efficient / zero-shot 3D semantic segmentation.

This changes the accounting in two ways: (a) the representation quality is inherited from a model trained on hundreds of millions of captioned web images, not learned from the driving logs, so comparisons should state clearly whether a method uses a 2D foundation prior; (b) the web-image biases come along for the ride — distribution over object types, geographies, and conditions — and can actively hurt on the long tail.

৮Camera pretraining ও foundation-model prior

২০২৩ থেকে প্রবণতা হলো সবচেয়ে শক্তিশালী "self-supervised" perception পদ্ধতি বিশুদ্ধভাবে self-supervised নয় — তারা training signal-এর উৎস হিসেবে একটি frozen 2D foundation model (DINOv2, CLIP, SAM, Metric3D)-এর উপর নির্ভর করে [27]। সুনির্দিষ্টভাবে, একটি Lift-Splat BEV segmentation মডেলে একটি from-scratch image backbone-কে একটি frozen DINOv2 feature extractor প্লাস একটি Metric3D depth prior দিয়ে বদলালে vehicle segmentation-এ কয়েক IoU point যোগ হয় বলে রিপোর্ট করা হয়েছে, সঙ্গে প্রয়োজনীয় data ও iteration মোটামুটি অর্ধেক হয় [32]। 3D-তে CLIP distillation (CLIP2Scene [21], OpenScene [22]) language-queryable 3D feature এবং label-efficient / zero-shot 3D semantic segmentation দেয়।

এটি হিসাবটা দুইভাবে বদলায়: (ক) representation-এর মান শত শত মিলিয়ন captioned web image-এ train করা একটি মডেল থেকে উত্তরাধিকারসূত্রে আসে, driving log থেকে শেখা নয়, তাই তুলনায় স্পষ্ট করে বলা উচিত একটি পদ্ধতি 2D foundation prior ব্যবহার করে কিনা; (খ) web-image-এর bias সঙ্গে চলে আসে — object-এর ধরন, ভূগোল, ও পরিস্থিতির উপর বণ্টন — এবং long tail-এ সক্রিয়ভাবে ক্ষতি করতে পারে।

9World-model pretraining

The largest-scale version of "forecasting as pretext" is world-model pretraining: predict future 4D occupancy or future point clouds from past multi-sensor observations and (optionally) ego actions, label-free, on the entire unlabeled corpus, then fine-tune.

• UniWorld [24] pretrains by predicting 4D geometric occupancy from image–LiDAR pairs, then fine-tunes for detection, tracking, and mapping.
• DriveWorld [25] learns compact spatiotemporal BEV representations by predicting 3D occupancy from past multi-camera frames and actions, targeting vision-centric downstream tasks.
• ViDAR [26] uses visual point-cloud forecasting — predict future LiDAR from past camera — as a scalable pretraining objective, reporting gains on detection, segmentation, and planning.

The appeal is a single label-free pretext that plausibly transfers to detection, mapping, and planning, because forecasting requires modelling dynamics and interaction, not just static geometry. The open question is whether the gains hold up against a strong from-scratch baseline at full labels, and against the cheaper occupancy/rendering pretext at equal compute.

৯World-model pretraining

"pretext হিসেবে forecasting"-এর বৃহত্তম-স্কেল সংস্করণ হলো world-model pretraining: অতীত multi-sensor observation ও (ঐচ্ছিকভাবে) ego action থেকে ভবিষ্যৎ 4D occupancy বা ভবিষ্যৎ point cloud predict করা, label ছাড়াই, পুরো unlabeled corpus-এ, তারপর fine-tune।

• UniWorld [24] image–LiDAR জোড়া থেকে 4D geometric occupancy predict করে pretrain করে, তারপর detection, tracking ও mapping-এর জন্য fine-tune করে।
• DriveWorld [25] অতীত multi-camera frame ও action থেকে 3D occupancy predict করে compact spatiotemporal BEV representation শেখে, vision-centric downstream task লক্ষ্য করে।
• ViDAR [26] একটি scalable pretraining objective হিসেবে visual point-cloud forecasting — অতীত camera থেকে ভবিষ্যৎ LiDAR predict — ব্যবহার করে, detection, segmentation ও planning-এ লাভ রিপোর্ট করে।

আকর্ষণটা হলো একটিমাত্র label-free pretext যা যুক্তিসঙ্গতভাবে detection, mapping, এবং planning-এ transfer করে, কারণ forecasting-এর জন্য কেবল static geometry নয়, dynamics ও interaction model করা লাগে। অমীমাংসিত প্রশ্ন হলো লাভগুলো পূর্ণ label-এ একটি শক্তিশালী from-scratch baseline-এর বিরুদ্ধে, এবং সমান compute-এ সস্তা occupancy/rendering pretext-এর বিরুদ্ধে টেকে কিনা।

10What actually transfers

Aggregating across the literature and independent reproductions, the robust findings are:

• The gain is concentrated in the low-label regime. Pretraining most reliably helps when fine-tuning on ~1–10% of labels; it often recovers most of the full-label score with a fraction of the annotations. At 100% labels the margin over a well-tuned from-scratch baseline is frequently small and sometimes within run-to-run noise.
• Dense tasks benefit more than detection. Per-point segmentation transfers more cleanly from contrastive and distillation pretext than box detection, which depends on object-level structure those tasks do not directly encode (hence ProposalContrast and BEV-MAE).
• Cross-dataset transfer is where pretraining earns its keep. A backbone pretrained on a large unlabeled corpus and fine-tuned on a small target-domain set generalizes better than a target-only model — more useful in practice than another point of in-domain nuScenes NDS.
• Negative transfer is real. A pretext mismatched to the downstream head (global contrastive for a dense head; pure geometric reconstruction for a semantic task) can initialize worse than random. Always run the from-scratch control.
• Backbone and schedule dominate. Many reported SSL gains shrink or vanish when the from-scratch baseline is given the same architecture, augmentations, and training budget as the fine-tuned SSL model.
• Cross-modal > single-modal for semantics; masked/rendering > contrastive for geometry. A rough but useful prior when choosing.

১০আসলে কী transfer হয়

literature ও স্বাধীন reproduction মিলিয়ে, শক্ত ফলাফলগুলো:

• লাভ low-label ক্ষেত্রে কেন্দ্রীভূত। Pretraining সবচেয়ে নির্ভরযোগ্যভাবে সাহায্য করে যখন label-এর ~১–১০%-এ fine-tune করা হয়; এটি প্রায়ই annotation-এর একটি ভগ্নাংশ দিয়ে full-label score-এর বেশিরভাগ পুনরুদ্ধার করে। ১০০% label-এ একটি ভালো-টিউন-করা from-scratch baseline-এর উপর ব্যবধান প্রায়ই ছোট এবং কখনো run-to-run noise-এর ভেতরে।
• Dense task detection-এর চেয়ে বেশি লাভবান। Per-point segmentation, box detection-এর চেয়ে contrastive ও distillation pretext থেকে বেশি পরিষ্কারভাবে transfer করে, কারণ box detection object-level গঠনের উপর নির্ভর করে যা ওই task-গুলো সরাসরি encode করে না (তাই ProposalContrast ও BEV-MAE)।
• Cross-dataset transfer-এই pretraining তার মূল্য প্রমাণ করে। একটি বড় unlabeled corpus-এ pretrained এবং একটি ছোট target-domain set-এ fine-tuned backbone একটি target-only মডেলের চেয়ে ভালো generalize করে — বাস্তবে in-domain nuScenes NDS-এর আরেকটি point-এর চেয়ে বেশি উপযোগী।
• Negative transfer সত্যি। downstream head-এর সঙ্গে অমিল একটি pretext (dense head-এর জন্য global contrastive; semantic task-এর জন্য বিশুদ্ধ geometric reconstruction) random-এর চেয়েও খারাপ initialize করতে পারে। সবসময় from-scratch control চালান।
• Backbone ও schedule প্রাধান্য নেয়। from-scratch baseline-কে fine-tuned SSL মডেলের মতো একই architecture, augmentation ও training budget দিলে রিপোর্ট-করা অনেক SSL লাভ কমে বা মিলিয়ে যায়।
• semantics-এর জন্য cross-modal > single-modal; geometry-র জন্য masked/rendering > contrastive। বাছাইয়ের সময় একটি স্থূল কিন্তু উপযোগী prior।

11A practical recipe

• Normalize sensors before pretraining. If the unlabeled pool mixes LiDAR configurations, canonicalize (range-image resampling, intensity calibration, beam subsampling) or the network learns to classify the sensor, not the scene.
• Point-cloud augmentations that matter: random rotation about gravity, scaling, flip, elastic distortion, random point/beam dropout, and — for distillation — the exact image augmentations used by the frozen 2D teacher.
• Compute. Pretraining is cheaper than people expect (no labels, aggressive frame subsampling is fine); the expensive part is the fine-tuning sweep needed to make a fair claim.
• Evaluation protocol. Report a full label-efficiency curve (1%, 5%, 10%, 50%, 100%), both linear-probe and full-fine-tune, on at least one detection and one segmentation head, with the from-scratch baseline under identical settings. A single 100%-label number is not evidence.
• Seeds. 3× at each label fraction; report mean ± std. Low-label variance is large.

১১একটি ব্যবহারিক recipe

• pretraining-এর আগে sensor normalize করুন। unlabeled pool-এ যদি একাধিক LiDAR configuration মেশানো থাকে, canonicalize করুন (range-image resampling, intensity calibration, beam subsampling) নয়তো network scene নয়, sensor শ্রেণিবদ্ধ করতে শেখে।
• যেসব point-cloud augmentation গুরুত্বপূর্ণ: gravity-র সাপেক্ষে random rotation, scaling, flip, elastic distortion, random point/beam dropout, এবং — distillation-এর জন্য — frozen 2D teacher-এর ব্যবহৃত হুবহু image augmentation।
• Compute। Pretraining লোকে যা ভাবে তার চেয়ে সস্তা (label নেই, আক্রমণাত্মক frame subsampling চলে); ব্যয়বহুল অংশ হলো একটি সুষ্ঠু দাবি করতে প্রয়োজনীয় fine-tuning sweep।
• মূল্যায়ন protocol। একটি পূর্ণ label-efficiency curve রিপোর্ট করুন (1%, 5%, 10%, 50%, 100%), দুটোই linear-probe ও full-fine-tune, অন্তত একটি detection ও একটি segmentation head-এ, অভিন্ন setting-এ from-scratch baseline সহ। একটিমাত্র 100%-label সংখ্যা প্রমাণ নয়।
• Seed। প্রতিটি label ভগ্নাংশে 3×; mean ± std রিপোর্ট করুন। Low-label variance বড়।

12Evaluation pitfalls

• Shortcut learning. Point clouds carry sensor fingerprints — ring patterns, azimuth quantization, intensity scaling. A contrastive model can satisfy the loss by recognizing the sensor or the augmentation, learning nothing transferable. Probe by testing on a held-out sensor.
• Weak from-scratch baseline. The most common way SSL papers overstate gains: the baseline gets fewer epochs, weaker augmentation, or no EMA.
• Backbone confound. Comparing an SSL method on backbone X to a baseline on backbone Y. Fix the architecture.
• Pretrain/fine-tune data leakage. If pretraining sees frames from the fine-tuning val scenes, the label-efficiency curve is optimistic. Enforce scene-level disjointness.
• Foundation-prior accounting. Methods that distill from CLIP/DINOv2/SAM/Metric3D should not be compared head-to-head with methods that do not, without saying so.
• Cherry-picked label fraction. Reporting only the 1% point, where gains are largest, and implying it holds everywhere.
• Linear-probe vs fine-tune conflation. A representation can be great under linear probe and no better than random init after full fine-tuning, or vice versa. Report both.

১২মূল্যায়নের ফাঁদ

• Shortcut learning। Point cloud-এ sensor-এর ছাপ থাকে — ring pattern, azimuth quantization, intensity scaling। একটি contrastive মডেল sensor বা augmentation চিনে loss মেটাতে পারে, transferable কিছু না শিখেই। একটি held-out sensor-এ পরীক্ষা করে যাচাই করুন।
• দুর্বল from-scratch baseline। SSL paper যেভাবে সবচেয়ে বেশি লাভ বাড়িয়ে বলে: baseline কম epoch, দুর্বল augmentation, বা কোনো EMA পায় না।
• Backbone confound। backbone X-এ একটি SSL পদ্ধতিকে backbone Y-তে একটি baseline-এর সঙ্গে তুলনা। architecture স্থির করুন।
• Pretrain/fine-tune data leakage। pretraining যদি fine-tuning val scene-এর frame দেখে, label-efficiency curve আশাবাদী। scene-স্তরে বিচ্ছিন্নতা কার্যকর করুন।
• Foundation-prior হিসাব। যেসব পদ্ধতি CLIP/DINOv2/SAM/Metric3D থেকে distill করে, তাদের না-করা পদ্ধতির সঙ্গে মুখোমুখি তুলনা করা উচিত নয়, তা না বলে।
• Cherry-picked label ভগ্নাংশ। কেবল 1% point রিপোর্ট করা, যেখানে লাভ সবচেয়ে বেশি, এবং এমন ভাব করা যে তা সর্বত্র সত্য।
• Linear-probe বনাম fine-tune গুলিয়ে ফেলা। একটি representation linear probe-এ দারুণ হতে পারে অথচ full fine-tuning-এর পর random init-এর চেয়ে ভালো নয়, বা উল্টোটা। দুটোই রিপোর্ট করুন।

13The pragmatic alternative: offboard auto-labeling

SSL improves an initialization; offboard auto-labeling attacks the label shortage head-on. An offboard model runs on full past-and-future sequences with no latency budget, aggregates hundreds of frames per object, and produces 3D box tracks at — in some regimes — near-human quality.

• 3DAL [33] introduced the object-centric formulation: detect and track across the sequence, then refine each object from its full multi-frame point history.
• Auto4D pioneered jointly optimizing box size and trajectory over the sequence.
• CTRL [34] is track-centric and reports parity with or above manual annotation on some Waymo classes.
• DetZero [35] adds attention-based long-sequence refinement modules for geometry, position, and confidence.

In practice a team runs both: auto-labels expand the effective training set, and SSL pretraining improves the model that consumes them. They are complementary, not competing — and the same unlabeled corpus feeds both.

১৩বাস্তবসম্মত বিকল্প: offboard auto-labeling

SSL একটি initialization উন্নত করে; offboard auto-labeling label-এর ঘাটতিকে সরাসরি আক্রমণ করে। একটি offboard মডেল কোনো latency বাজেট ছাড়াই পূর্ণ অতীত-ও-ভবিষ্যৎ sequence-এ চলে, প্রতি object-এ শত শত frame জমা করে, এবং — কিছু ক্ষেত্রে — কাছাকাছি-মানব মানের 3D box track তৈরি করে।

• 3DAL [33] object-centric গঠনটি এনেছিল: sequence-জুড়ে detect ও track করুন, তারপর প্রতিটি object-কে তার পূর্ণ multi-frame point ইতিহাস থেকে refine করুন।
• Auto4D sequence-জুড়ে box size ও trajectory একসঙ্গে optimize করার পথ দেখিয়েছিল।
• CTRL [34] track-centric এবং কিছু Waymo class-এ manual annotation-এর সমান বা তার উপরে ফল রিপোর্ট করে।
• DetZero [35] geometry, position ও confidence-এর জন্য attention-ভিত্তিক long-sequence refinement module যোগ করে।

বাস্তবে একটি দল দুটোই চালায়: auto-label কার্যকর training set বাড়ায়, এবং SSL pretraining সেগুলো ব্যবহারকারী মডেলকে উন্নত করে। এগুলো পরিপূরক, প্রতিযোগী নয় — এবং একই unlabeled corpus দুটোকেই খাওয়ায়।

14Open problems

• A single pretext that jointly pretrains the image and LiDAR encoders of a fusion stack and beats pretraining them separately.
• Scalable world-model / occupancy pretraining that transfers to detection, mapping, and planning from one initialization, with a fair full-label comparison.
• SSL that improves the long tail — rare vehicle types, construction, debris — rather than sharpening the head classes.
• Honest, standardized label-efficiency benchmarks (MV-JAR's matched protocol [12] is a start) so results are comparable across papers.
• Understanding when a 2D foundation prior helps 3D and when its web-image biases actively hurt.
• Radar and 4D-radar SSL — almost unexplored, and the modality most starved of labels.

১৪অমীমাংসিত সমস্যা

• একটিমাত্র pretext যা একটি fusion stack-এর image ও LiDAR encoder একসঙ্গে pretrain করে এবং আলাদাভাবে pretrain করার চেয়ে ভালো করে।
• Scalable world-model / occupancy pretraining যা একটি initialization থেকে detection, mapping, এবং planning-এ transfer করে, একটি সুষ্ঠু full-label তুলনা সহ।
• এমন SSL যা head class ধারালো করার বদলে long tail উন্নত করে — বিরল গাড়ির ধরন, নির্মাণ, ধ্বংসাবশেষ।
• সৎ, standardized label-efficiency benchmark (MV-JAR-এর matched protocol [12] একটি শুরু) যাতে ফলাফল paper-জুড়ে তুলনীয় হয়।
• কখন একটি 2D foundation prior 3D-তে সাহায্য করে এবং কখন তার web-image bias সক্রিয়ভাবে ক্ষতি করে তা বোঝা।
• Radar ও 4D-radar SSL — প্রায় অনাবিষ্কৃত, এবং label-এর জন্য সবচেয়ে ক্ষুধার্ত modality।