1What "complex scenarios" actually break

"Complex" is doing a lot of work in the vehicle-detection literature. Concretely it bundles several distinct distribution shifts, each of which stresses a different part of a detector:

• Taxonomic shift. The deployment region has vehicle classes the training set never named — three-wheeled auto-rickshaws, motorized vans, CNG cabs, animal-drawn carts. A closed-set head has no output neuron for them; at best it mislabels, at worst it suppresses them as background. This is the motivation behind region-specific datasets such as BNVD [1].
• Density and occlusion. Heavy inter-object overlap defeats anchor assignment and non-maximum suppression; a single confidence threshold cannot separate a truck behind a bus from a false positive.
• Photometric shift. Rain, fog, night, glare, motion blur — the appearance statistics the backbone learned no longer hold. Ensemble and explainability methods for adverse weather target exactly this regime [2].
• Scale and viewpoint. Small, distant, or unusually-posed vehicles (a flipped car, a tilted trailer) fall outside the training scale/pose distribution; small-object recall is the first thing to collapse.
• Class imbalance. Even within the known taxonomy, buses and rickshaws may be 100× rarer than cars, so the head is undertrained on them.
• Geographic / sensor domain gap. A model trained on one city's cameras, road furniture, and traffic mix transfers poorly to another's.

A closed-set CNN or transformer detector can be pushed through any one of these with enough matched data. The problem is that the tail is long and non-stationary — you cannot pre-collect labels for every region and condition — and that is the structural argument for bringing language into the loop: text is a zero-shot interface to categories you have no boxes for.

১"জটিল দৃশ্য" আসলে কী ভাঙে

"জটিল" শব্দটা vehicle-detection সাহিত্যে অনেক ভার বইছে। সুনির্দিষ্টভাবে এটি কয়েকটি স্বতন্ত্র distribution shift একসঙ্গে বাঁধে, প্রতিটি detector-এর আলাদা অংশে চাপ দেয়:

• Taxonomic shift। deployment অঞ্চলে এমন vehicle class আছে যাদের training set কখনো নাম দেয়নি — থ্রি-হুইলড অটোরিকশা, motorized ভ্যান, সিএনজি ক্যাব, পশু-টানা গাড়ি। একটি closed-set head-এর তাদের জন্য কোনো output neuron নেই; ভালো হলে ভুল label দেয়, খারাপ হলে background হিসেবে দমন করে। BNVD [1]-এর মতো অঞ্চল-নির্দিষ্ট dataset-এর পেছনে এটাই প্রেরণা।
• Density ও occlusion। object-এর মধ্যে ভারী ওভারল্যাপ anchor assignment ও non-maximum suppression-কে হারিয়ে দেয়; একটিমাত্র confidence threshold একটি বাসের পিছনের ট্রাককে একটি false positive থেকে আলাদা করতে পারে না।
• Photometric shift। বৃষ্টি, কুয়াশা, রাত, glare, motion blur — backbone যে appearance statistics শিখেছিল তা আর খাটে না। বৈরী আবহাওয়ার জন্য ensemble ও explainability পদ্ধতি ঠিক এই ক্ষেত্রটাই লক্ষ্য করে [2]।
• Scale ও viewpoint। ছোট, দূরের, বা অস্বাভাবিক-ভঙ্গির যানবাহন (উল্টে যাওয়া গাড়ি, কাত হওয়া ট্রেলার) training scale/pose distribution-এর বাইরে পড়ে; small-object recall-ই প্রথমে ভেঙে পড়ে।
• Class imbalance। জানা taxonomy-র মধ্যেও বাস ও রিকশা গাড়ির চেয়ে 100× বিরল হতে পারে, তাই head সেগুলোতে undertrained।
• Geographic / sensor domain gap। একটি শহরের camera, road furniture ও traffic মিশ্রণে train করা মডেল আরেকটি শহরে খারাপভাবে transfer করে।

যথেষ্ট matched data থাকলে একটি closed-set CNN বা transformer detector-কে এদের যেকোনো একটির মধ্য দিয়ে ঠেলে নেওয়া যায়। সমস্যা হলো tail দীর্ঘ ও non-stationary — প্রতিটি অঞ্চল ও পরিস্থিতির জন্য আগেভাগে label সংগ্রহ করা যায় না — আর এটাই ভাষাকে loop-এ আনার গঠনগত যুক্তি: text হলো যেসব category-র জন্য আপনার কোনো box নেই, তাদের একটি zero-shot ইন্টারফেস।

2Three families of detector

The Bipin Saha QPAIN 2026 study benchmarks exactly this axis — CNN, transformer, and vision-language detectors on complex-scene vehicle detection [13]. The rest of this writeup unpacks the mechanisms that make the families behave differently.

২detector-এর তিনটি পরিবার

Bipin Saha-র QPAIN 2026 গবেষণা ঠিক এই axis-টাই benchmark করে — জটিল-দৃশ্যে vehicle detection-এ CNN, transformer ও vision-language detector [13]। এই লেখার বাকিটা সেই কার্যপদ্ধতিগুলো খুলে দেখায় যা পরিবারগুলোকে ভিন্নভাবে আচরণ করায়।

3Closed-set detectors: CNN and transformer

CNN one-stage detectors (the YOLO line, RT-DETR [3]) predict a fixed grid of boxes with a fixed class vector, trained with a matching loss and pruned by NMS. They are the right default when the taxonomy is known and stable: real-time, tight boxes, cheap to fine-tune on a few thousand regional labels. Their structural limits on complex scenes: (a) the class vector is fixed at train time; (b) NMS collapses genuinely overlapping instances; (c) anchor / grid priors encode a scale distribution that distant or oversized vehicles violate.

Transformer detectors (DETR and descendants — Deformable DETR, DINO, Co-DETR [4]) replace the grid + NMS with a set of learned object queries and bipartite matching, so crowded and occluded scenes — where NMS is the failure — are handled more gracefully, and global self-attention gives scene context. The cost is data hunger (DETR-family models need long schedules or heavy augmentation) and higher latency. Neither family escapes the closed-set ceiling: both need labelled examples of every category they will ever emit.

৩Closed-set detector: CNN ও transformer

CNN one-stage detector (YOLO ধারা, RT-DETR [3]) একটি নির্দিষ্ট class vector সহ box-এর একটি নির্দিষ্ট grid predict করে, একটি matching loss দিয়ে train ও NMS দিয়ে ছাঁটাই। taxonomy জানা ও স্থিতিশীল হলে এটাই সঠিক ডিফল্ট: real-time, আঁটসাঁট box, কয়েক হাজার regional label-এ fine-tune সস্তা। জটিল দৃশ্যে এদের গঠনগত সীমা: (ক) class vector train-এর সময়ই স্থির; (খ) NMS সত্যিকারের ওভারল্যাপিং instance মিলিয়ে দেয়; (গ) anchor / grid prior এমন একটি scale distribution encode করে যা দূরের বা বড় যানবাহন লঙ্ঘন করে।

Transformer detector (DETR ও উত্তরসূরি — Deformable DETR, DINO, Co-DETR [4]) grid + NMS-এর জায়গায় learned object query-র একটি set ও bipartite matching বসায়, তাই ভিড় ও occluded দৃশ্য — যেখানে NMS-ই ব্যর্থতা — বেশি সাবলীলভাবে সামলানো হয়, এবং global self-attention scene প্রসঙ্গ দেয়। খরচ হলো data-ক্ষুধা (DETR-পরিবারের মডেলের দীর্ঘ schedule বা ভারী augmentation লাগে) ও বেশি latency। কোনো পরিবারই closed-set সিলিং এড়াতে পারে না: দুটোরই যত category কখনো emit করবে, প্রতিটির labelled উদাহরণ দরকার।

4Open-vocabulary by region–text alignment

The first open-vocabulary route reuses CLIP [16]. A class-agnostic region proposer produces boxes; each region is encoded to a vector v; each candidate class name is turned into a text embedding t_c via a prompt template ("a photo of a {class}"); the region is scored against class c by

with temperature τ. Because t_c can be any phrase, the detector is not restricted to a training taxonomy.

• ViLD [5] distils CLIP image-embeddings into the detector's region features so the alignment survives without running CLIP at inference.
• RegionCLIP pretrains region–text alignment on pseudo-labelled region–caption pairs, fixing CLIP's image-level bias.
• F-VLM shows a frozen VLM backbone plus a lightweight detection head is a strong, simple baseline.
• OWL-ViT / OWLv2 [6] attach detection heads to a contrastively pretrained ViT and, in OWLv2, scale via self-training on web image–text data.

Strengths: genuine zero-shot to new class names, minimal architecture change. Weaknesses: CLIP embeddings are image-level, so localization is loose — boxes are baggier and small objects suffer — and scores swing with prompt wording. This family is best as a recognition layer on top of a good proposer, not as a precise localizer.

৪region–text alignment দিয়ে open-vocabulary

প্রথম open-vocabulary পথটি CLIP [16] পুনর্ব্যবহার করে। একটি class-নিরপেক্ষ region proposer box তৈরি করে; প্রতিটি region একটি vector v-তে encode হয়; প্রতিটি candidate class নাম একটি prompt template ("a photo of a {class}") দিয়ে একটি text embedding t_c-তে রূপ নেয়; region-কে class c-এর সাপেক্ষে score দেওয়া হয়

temperature τ সহ। যেহেতু t_c যেকোনো phrase হতে পারে, detector একটি training taxonomy-তে সীমাবদ্ধ নয়।

• ViLD [5] CLIP image-embedding-কে detector-এর region feature-এ distil করে যাতে inference-এ CLIP না চালিয়েও alignment টেকে।
• RegionCLIP pseudo-labelled region–caption জোড়ায় region–text alignment pretrain করে, CLIP-এর image-level bias ঠিক করে।
• F-VLM দেখায় একটি frozen VLM backbone প্লাস একটি হালকা detection head একটি শক্তিশালী, সরল baseline।
• OWL-ViT / OWLv2 [6] একটি contrastively pretrained ViT-তে detection head জুড়ে দেয় এবং OWLv2-তে web image–text data-তে self-training দিয়ে scale করে।

শক্তি: নতুন class নামে সত্যিকারের zero-shot, ন্যূনতম architecture পরিবর্তন। দুর্বলতা: CLIP embedding image-level, তাই localization ঢিলে — box ঢলঢলে এবং ছোট object ভোগে — আর score prompt-এর শব্দচয়নে ওঠানামা করে। এই পরিবার সবচেয়ে ভালো একটি ভালো proposer-এর উপর একটি recognition স্তর হিসেবে, একটি নির্ভুল localizer হিসেবে নয়।

5Open-vocabulary by grounded pretraining

GLIP [7] reformulates detection as phrase grounding: instead of classifying a region into one of C classes, align each region to tokens of a text prompt. Detection and grounding data become one training signal. The core objective is a region–word alignment loss over the similarity matrix between region features and prompt token features, with the target matrix given by ground-truth box–phrase correspondences; GLIP also deep-fuses the two modalities in the backbone so the vision features are language-aware. This trains far better boxes than CLIP-alignment because localization is supervised end-to-end.

• Grounding DINO [8] plugs grounded pretraining into a DINO detector (query selection, cross-modality decoder); Grounding DINO 1.5 pushes an "Edge" real-time variant and a "Pro" high-accuracy one.
• YOLO-World [9] brings grounded OV detection into a CNN detector with a re-parameterizable vision–language path, reported ~20× faster than GroundingDINO at comparable zero-shot accuracy — currently the only real-time OV option.
• T-Rex2 [10] accepts visual prompts (example crops) alongside text, so a handful of exemplars of a local vehicle type specializes the detector with no training.
• DINO-X [14] unifies text, visual, and "anything" prompts with detection, segmentation, and captioning heads.

৫grounded pretraining দিয়ে open-vocabulary

GLIP [7] detection-কে phrase grounding হিসেবে নতুন করে সাজায়: একটি region-কে C-টি class-এর একটিতে শ্রেণিবদ্ধ করার বদলে, প্রতিটি region-কে একটি text prompt-এর token-এর সঙ্গে align করা। Detection ও grounding data একটিমাত্র training signal হয়ে ওঠে। মূল objective হলো region feature ও prompt token feature-এর মধ্যে similarity matrix-এর উপর একটি region–word alignment loss, target matrix দেওয়া হয় ground-truth box–phrase correspondence দিয়ে; GLIP backbone-এ দুই modality deep-fuse-ও করে যাতে vision feature language-aware হয়। এটি CLIP-alignment-এর চেয়ে অনেক ভালো box train করে, কারণ localization end-to-end supervised।

• Grounding DINO [8] grounded pretraining-কে একটি DINO detector-এ যুক্ত করে (query selection, cross-modality decoder); Grounding DINO 1.5 একটি "Edge" real-time variant ও একটি "Pro" high-accuracy variant আনে।
• YOLO-World [9] একটি re-parameterizable vision–language path সহ একটি CNN detector-এ grounded OV detection আনে, তুলনীয় zero-shot accuracy-তে GroundingDINO-র চেয়ে ~20× দ্রুত বলে রিপোর্ট করা হয় — এখন একমাত্র real-time OV বিকল্প।
• T-Rex2 [10] text-এর পাশাপাশি visual prompt (উদাহরণ crop) গ্রহণ করে, তাই একটি স্থানীয় vehicle ধরনের কয়েকটি exemplar কোনো training ছাড়াই detector-কে বিশেষায়িত করে।
• DINO-X [14] text, visual ও "anything" prompt-কে detection, segmentation ও captioning head-এর সঙ্গে একীভূত করে।

6MLLM detectors

Multimodal large language models can emit boxes by tokenizing coordinates — quantizing (x, y, w, h) into a fixed vocabulary of location tokens the model generates like any other text. Florence-2 [11] trains one prompt-conditioned model for detection, grounding, segmentation, and captioning; Qwen2-VL [12] and Griffon add grounding to a general instruction-tuned VLM. The payoff is compositional queries — "a truck partially occluded by a bus", "a vehicle with its hazard lights on" — that no closed-set head can express. The costs: the slowest option by far, weaker precise localization than grounded detectors, and a distinctive failure mode — confidently generating boxes for objects that are not there, which worsens under distribution shift.

৬MLLM detector

Multimodal large language model স্থানাঙ্ক tokenize করে box emit করতে পারে — (x, y, w, h)-কে location token-এর একটি নির্দিষ্ট vocabulary-তে quantize করা, যা মডেল অন্য যেকোনো text-এর মতো তৈরি করে। Florence-2 [11] detection, grounding, segmentation ও captioning-এর জন্য একটি prompt-conditioned মডেল train করে; Qwen2-VL [12] ও Griffon একটি সাধারণ instruction-tuned VLM-এ grounding যোগ করে। প্রতিদান হলো compositional query — "একটি বাসের দ্বারা আংশিক occluded ট্রাক", "হ্যাজার্ড লাইট জ্বালানো একটি যানবাহন" — যা কোনো closed-set head প্রকাশ করতে পারে না। খরচ: বহু ব্যবধানে সবচেয়ে ধীর বিকল্প, grounded detector-এর চেয়ে দুর্বল নির্ভুল localization, এবং একটি স্বতন্ত্র failure mode — যেসব object নেই তাদের জন্য আত্মবিশ্বাসের সঙ্গে box তৈরি করা, যা distribution shift-এ আরও খারাপ হয়।

7How language actually helps on complex scenes

• Naming the tail without labels. A text prompt — "three-wheeled auto rickshaw", "cycle van carrying goods" — instantiates a detector for a class you have zero boxes for, drawing on web-scale pretraining where such vehicles do appear.
• Compositional and attribute queries. Grounded and MLLM detectors localize predicates a closed-set head cannot represent.
• Open-set rejection. With a background / "other object" phrase and a calibrated similarity threshold, an OV detector can flag unknown objects rather than force-fit them to a known class — a safety net and a mining signal.
• Prompt ensembling. Averaging several paraphrases of a class ("rickshaw", "auto rickshaw", "three-wheeler", "tuk-tuk") measurably stabilizes recall, mirroring CLIP prompt-ensembling.

৭জটিল দৃশ্যে ভাষা আসলে কীভাবে সাহায্য করে

• label ছাড়াই tail-এর নামকরণ। একটি text prompt — "three-wheeled auto rickshaw", "cycle van carrying goods" — এমন একটি class-এর জন্য detector তৈরি করে যার আপনার কাছে শূন্যটা box, web-scale pretraining থেকে টেনে যেখানে এমন যানবাহন সত্যিই থাকে।
• Compositional ও attribute query। Grounded ও MLLM detector এমন predicate localize করে যা একটি closed-set head প্রকাশ করতে পারে না।
• Open-set rejection। একটি background / "other object" phrase ও একটি calibrated similarity threshold দিয়ে, একটি OV detector অজানা object-কে একটি জানা class-এ জোর করে বসানোর বদলে চিহ্নিত করতে পারে — একটি safety net ও একটি mining signal।
• Prompt ensembling। একটি class-এর কয়েকটি paraphrase ("rickshaw", "auto rickshaw", "three-wheeler", "tuk-tuk") গড় করলে recall পরিমাপযোগ্যভাবে স্থিতিশীল হয়, CLIP prompt-ensembling-এর মতো।

8The trade-offs, stated plainly

• Latency. GLIP / Grounding DINO / Florence-2 are too slow for on-vehicle real-time use. YOLO-World and distilled students are the only OV options in a real-time budget today.
• Localization precision. OV detectors, especially CLIP-alignment ones, produce looser boxes and lose more on small objects. If your metric is AP at high IoU, closed-set still wins on covered classes.
• Prompt sensitivity. Zero-shot scores swing with wording, articles, singular/plural. Tune the prompt set on a val split and report it, or the numbers are not reproducible.
• Calibration. Similarity scores are not probabilities and drift across prompts; per-class threshold calibration is mandatory before fusion or thresholding.
• MLLM hallucination. Instruction-tuned detectors emit confident phantom boxes under shift — the opposite failure from a closed-set miss.
• Evaluation difficulty. Open-vocabulary metrics need care: base vs. novel AP, and a fixed prompt set announced in advance.

৮আপসগুলো, সোজাসাপ্টা

• Latency। GLIP / Grounding DINO / Florence-2 on-vehicle real-time ব্যবহারের জন্য বড্ড ধীর। YOLO-World ও distilled student-ই আজ একটি real-time বাজেটে একমাত্র OV বিকল্প।
• Localization নির্ভুলতা। OV detector, বিশেষত CLIP-alignment-এরগুলো, ঢিলে box তৈরি করে এবং ছোট object-এ বেশি হারায়। আপনার metric যদি high IoU-তে AP হয়, cover-করা class-এ closed-set এখনও জেতে।
• Prompt সংবেদনশীলতা। Zero-shot score শব্দচয়ন, article, একবচন/বহুবচনে ওঠানামা করে। একটি val split-এ prompt set টিউন করুন ও তা রিপোর্ট করুন, নয়তো সংখ্যাগুলো reproducible নয়।
• Calibration। Similarity score probability নয় এবং prompt-জুড়ে drift করে; fusion বা thresholding-এর আগে per-class threshold calibration বাধ্যতামূলক।
• MLLM hallucination। Instruction-tuned detector shift-এ আত্মবিশ্বাসী phantom box emit করে — একটি closed-set miss-এর বিপরীত failure।
• মূল্যায়নের কাঠিন্য। Open-vocabulary metric-এ যত্ন লাগে: base বনাম novel AP, এবং আগেভাগে ঘোষিত একটি নির্দিষ্ট prompt set।

9Benchmarks and metrics

General OV detection is measured under a generalized setting — detect base and novel categories simultaneously:

• OV-COCO [17] — 48 base / 17 novel COCO categories; headline metric is novel-class box AP₅₀.
• OV-LVIS — 866 common+frequent base / 337 rare novel; headline metric is rare-class AP (AP_r).
• ODinW ("Object Detection in the Wild") [7] — 35 diverse datasets, average AP; the standard transfer-breadth test.
• Roboflow-100 — 100 small real-world datasets across domains.

For vehicle detection specifically, add nuImages and BDD100K [15] for scale, weather, and time-of-day diversity; region-specific sets such as BNVD [1] for the tail classes and the actual deployment domain; and adverse-weather splits with the clean–degraded AP gap reported, not just the degraded number. What to report: base-class AP and novel-class AP separately; the exact prompt set; AP at multiple IoU thresholds (OV methods look better at loose IoU); latency and parameter count; and a per-condition breakdown. A single mAP hides everything that matters here.

৯Benchmark ও metric

সাধারণ OV detection একটি generalized setting-এ মাপা হয় — base ও novel category একসঙ্গে detect:

• OV-COCO [17] — ৪৮ base / ১৭ novel COCO category; প্রধান metric হলো novel-class box AP₅₀।
• OV-LVIS — ৮৬৬ common+frequent base / ৩৩৭ rare novel; প্রধান metric হলো rare-class AP (AP_r)।
• ODinW ("Object Detection in the Wild") [7] — ৩৫টি বৈচিত্র্যময় dataset, গড় AP; স্ট্যান্ডার্ড transfer-breadth পরীক্ষা।
• Roboflow-100 — বিভিন্ন domain-জুড়ে ১০০টি ছোট বাস্তব-জগতের dataset।

বিশেষভাবে vehicle detection-এর জন্য, scale, weather ও time-of-day বৈচিত্র্যের জন্য nuImages ও BDD100K [15] যোগ করুন; tail class ও প্রকৃত deployment domain-এর জন্য BNVD [1]-এর মতো অঞ্চল-নির্দিষ্ট set; এবং adverse-weather split, কেবল degraded সংখ্যা নয় — clean–degraded AP gap সহ রিপোর্ট। কী রিপোর্ট করবেন: base-class AP ও novel-class AP আলাদাভাবে; হুবহু prompt set; একাধিক IoU threshold-এ AP (OV পদ্ধতি ঢিলে IoU-তে ভালো দেখায়); latency ও parameter সংখ্যা; এবং একটি per-condition breakdown। একটিমাত্র mAP এখানে যা কিছু গুরুত্বপূর্ণ সব আড়াল করে।

10Adapting an open-vocabulary detector to a region

Zero-shot is the starting point, not the destination. Ways to close the gap to a target domain, cheapest first:

• Prompt engineering and ensembling on a small labeled val set — often several AP points for no training.
• Visual prompting / few-shot. T-Rex2 [10] takes example crops, so a handful of exemplars of a local vehicle type specializes the detector without gradient updates.
• Prompt / adapter tuning. Freeze the backbone; learn continuous prompt embeddings or lightweight adapters on the few labels you have. Avoids the catastrophic forgetting that full CLIP fine-tuning causes.
• Pseudo-label distillation. Run the heavy OV detector as a teacher over unlabeled regional footage, filter, and train an efficient closed-set student — see §11.
• Weighted ensembling with explainability. Combine a fine-tuned closed-set detector with an OV detector via confidence-weighted box fusion, using saliency / attribution to diagnose which member fails under which condition — the approach behind the weighted-YOLO-ensemble + XAI work for adverse-weather detection [2].

১০একটি open-vocabulary detector-কে একটি অঞ্চলে খাপ খাওয়ানো

Zero-shot শুরু বিন্দু, গন্তব্য নয়। একটি target domain-এর সঙ্গে ব্যবধান মেটানোর উপায়, সস্তা আগে:

• Prompt engineering ও ensembling একটি ছোট labelled val set-এ — প্রায়ই কোনো training ছাড়াই কয়েক AP point।
• Visual prompting / few-shot। T-Rex2 [10] উদাহরণ crop নেয়, তাই একটি স্থানীয় vehicle ধরনের কয়েকটি exemplar gradient update ছাড়াই detector-কে বিশেষায়িত করে।
• Prompt / adapter tuning। backbone freeze করুন; হাতে থাকা কয়েকটি label-এ continuous prompt embedding বা হালকা adapter শিখুন। full CLIP fine-tuning যে catastrophic forgetting ঘটায় তা এড়ায়।
• Pseudo-label distillation। unlabeled regional ফুটেজের উপর ভারী OV detector-কে teacher হিসেবে চালান, filter করুন, এবং একটি efficient closed-set student train করুন — §১১ দেখুন।
• Explainability সহ weighted ensembling। একটি fine-tuned closed-set detector-কে একটি OV detector-এর সঙ্গে confidence-weighted box fusion দিয়ে মেলান, কোন member কোন পরিস্থিতিতে ব্যর্থ হয় তা নির্ণয়ে saliency / attribution ব্যবহার করে — adverse-weather detection-এর জন্য weighted-YOLO-ensemble + XAI কাজের পেছনের পদ্ধতি [2]।

11A deployment pipeline that uses the useful parts

The pattern that works in practice is discovery then distillation:

1. Discover. Run a strong, slow grounded OV detector (Grounding DINO 1.5 / DINO-X class) offline over unlabeled regional video with a curated prompt list covering the local vehicle taxonomy.
2. Filter. Keep a detection only if its score exceeds a threshold and it is consistent across prompt paraphrases — e.g. keep box b when min_k s_k(b) ≥ τ₁ and mean_k s_k(b) ≥ τ₂ over paraphrase set {prompt_k}. Optionally verify low-agreement classes with an MLLM or a human spot-check.
3. Distill. Train an efficient closed-set student (YOLO-class or RT-DETR) on the union of your real labels and the filtered pseudo-labels, with pseudo-label loss down-weighted.
4. Ensemble at the edge, if budget allows. Deploy the student plus a real-time OV head (YOLO-World) with weighted box fusion, so genuinely novel objects still surface.
5. Close the loop. Route low-confidence and open-set-flagged frames back to step 1.

The heavy VLM never runs on the vehicle; it is an auto-labeling and monitoring tool. The deployed model is small, fast, and closed-set — but its label set was built by language.

১১একটি deployment pipeline যা উপযোগী অংশগুলো ব্যবহার করে

বাস্তবে যে প্যাটার্ন কাজ করে তা হলো আবিষ্কার তারপর distillation:

1. আবিষ্কার। স্থানীয় vehicle taxonomy কভার করা একটি সাজানো prompt তালিকা সহ, unlabeled regional video-র উপর offline একটি শক্তিশালী, ধীর grounded OV detector (Grounding DINO 1.5 / DINO-X শ্রেণি) চালান।
2. Filter। একটি detection তখনই রাখুন যখন তার score একটি threshold ছাড়ায় এবং তা prompt paraphrase-জুড়ে সঙ্গতিপূর্ণ — যেমন, paraphrase set {prompt_k}-এর উপর min_k s_k(b) ≥ τ₁ এবং mean_k s_k(b) ≥ τ₂ হলে box b রাখুন। ঐচ্ছিকভাবে low-agreement class একটি MLLM বা একটি মানব spot-check দিয়ে যাচাই করুন।
3. Distill। আপনার আসল label ও filter-করা pseudo-label-এর সমষ্টিতে একটি efficient closed-set student (YOLO-শ্রেণি বা RT-DETR) train করুন, pseudo-label loss down-weighted রেখে।
4. বাজেট থাকলে edge-এ ensemble করুন। student-এর সঙ্গে একটি real-time OV head (YOLO-World) weighted box fusion সহ deploy করুন, যাতে সত্যিকারের novel object তবু উঠে আসে।
5. loop বন্ধ করুন। low-confidence ও open-set-চিহ্নিত frame আবার ধাপ ১-এ পাঠান।

ভারী VLM কখনো গাড়িতে চলে না; এটি একটি auto-labeling ও monitoring টুল। deployed মডেল ছোট, দ্রুত, ও closed-set — কিন্তু তার label set ভাষা দিয়ে তৈরি।

12Open-vocabulary detection in 3D and BEV

Almost all of the above is 2D image space. Open-vocabulary 3D detection is early: OV-3DET [18] learns to localize in point clouds with no 3D annotation by transferring boxes from a 2D open-vocabulary detector and aligning point features to CLIP text; follow-ups add better 2D→3D pseudo-labelling and de-biasing. For a driving stack the pragmatic near-term pattern is 2D open-vocabulary discovery lifted to 3D via LiDAR association — the 2D detector proposes and names, LiDAR supplies metric extent — feeding the auto-labeling loop rather than running open-vocabulary in BEV directly.

১২3D ও BEV-তে open-vocabulary detection

উপরের প্রায় সবটাই 2D image space। Open-vocabulary 3D detection সবে শুরু: OV-3DET [18] একটি 2D open-vocabulary detector থেকে box transfer করে এবং point feature-কে CLIP text-এর সঙ্গে align করে কোনো 3D annotation ছাড়াই point cloud-এ localize করতে শেখে; follow-up-গুলো ভালো 2D→3D pseudo-labelling ও de-biasing যোগ করে। একটি driving stack-এর জন্য বাস্তবসম্মত নিকট-মেয়াদি প্যাটার্ন হলো LiDAR association দিয়ে 3D-তে তোলা 2D open-vocabulary আবিষ্কার — 2D detector প্রস্তাব করে ও নাম দেয়, LiDAR metric বিস্তার জোগায় — BEV-তে সরাসরি open-vocabulary চালানোর বদলে auto-labeling loop-কে খাওয়ায়।

13Explainability as a working tool

Under distribution shift you need to know why a detection failed, not just that it did. Practical instruments: grounding / attention heat-maps for where a phrase attached; gradient- or perturbation-based saliency (Grad-CAM-style, D-RISE) on closed-set members; text-conditioned attribution for OV members; and a maintained failure taxonomy (missed-due-to-occlusion, wrong-class-taxonomic, hallucinated-under-glare) with counts per condition. Attribution also drives the ensemble weights in §10 — if saliency shows the closed-set member fixating on rain streaks, down-weight it in rain.

১৩কর্মক্ষম টুল হিসেবে ব্যাখ্যাযোগ্যতা

Distribution shift-এ আপনাকে জানতে হবে একটি detection কেন ব্যর্থ হলো, শুধু হয়েছে তা নয়। ব্যবহারিক যন্ত্র: একটি phrase কোথায় যুক্ত হলো তার জন্য grounding / attention heat-map; closed-set member-এ gradient- বা perturbation-ভিত্তিক saliency (Grad-CAM-ধাঁচের, D-RISE); OV member-এর জন্য text-conditioned attribution; এবং per-condition গণনা সহ একটি রক্ষণাবেক্ষণ-করা failure taxonomy (occlusion-এর কারণে মিস, ভুল-class-taxonomic, glare-এ hallucinated)। Attribution §১০-এর ensemble weight-ও চালায় — saliency যদি দেখায় closed-set member বৃষ্টির রেখায় আটকে আছে, বৃষ্টিতে তাকে down-weight করুন।

14Open problems

• Open-vocabulary detection directly in 3D / BEV, at driving quality — OV-3DET [18] and successors are early.
• Real-time grounded detection with GLIP-level accuracy — YOLO-World narrowed the gap but did not close it.
• Calibrated open-set rejection with a bounded false-alarm rate, suitable for a safety case.
• Temporal grounding — consistent open-vocabulary detection across a video, not per-frame.
• Standard adverse-weather OV benchmarks with agreed prompts and simulation fidelity.
• Prompt robustness — performance that does not depend on getting the wording right.

১৪অমীমাংসিত সমস্যা

• সরাসরি 3D / BEV-তে driving মানের open-vocabulary detection — OV-3DET [18] ও উত্তরসূরিরা সবে শুরু।
• GLIP-স্তরের accuracy সহ real-time grounded detection — YOLO-World ব্যবধান কমিয়েছে কিন্তু মেটায়নি।
• একটি safety case-এর উপযোগী, সীমাবদ্ধ false-alarm হার সহ calibrated open-set rejection।
• Temporal grounding — per-frame নয়, একটি video-জুড়ে সঙ্গতিপূর্ণ open-vocabulary detection।
• সম্মত prompt ও simulation বিশ্বস্ততা সহ স্ট্যান্ডার্ড adverse-weather OV benchmark।
• Prompt robustness — এমন পারফরম্যান্স যা শব্দচয়ন ঠিক করার উপর নির্ভর করে না।