Otonom araç raporlama verileri AV yeniliğini yoldan çıkarıyor

<pre>Otonom araç raporlama verileri AV yeniliğini yoldan çıkarıyor


Her takvim yılının sonunda, özerk araç şirketlerinden gelen şikayetler birikmeye başlar. Bu yıllık gelenek, Kaliforniya Motorlu Taşıtlar Departmanı tarafından AV şirketlerinin her yıl 1 Ocak'a kadar bir AV operatörünün aracı test ederken aracın otonom sürüş işlevini kaç kez devre dışı bırakması gerektiğini gösteren bir “ayrılma raporları” sunma gereksiniminin bir sonucudur. .

Bununla birlikte, tüm geri çekilme raporlarının ortak bir yanı vardır: Yararlılıkları, bunları sunmak zorunda olanlar tarafından her zaman eleştirilmektedir. San Francisco merkezli kendi kendini süren bir otomobil şirketinin CEO'su ve kurucusu, ayrımcılık raporlamasının “bir AV'nin ticari yayına hazır olup olmadığı hakkında anlamlı bir sinyal vermek için yetersiz” olduğunu belirtti. Kendi kendini yöneten bir teknoloji girişiminin CEO'su, metrikleri “yanlış yönlendirilmiş” olarak adlandırdı. Waymo bir tweet'te metriğin kendi kendini sürdürebilen teknolojisine "alakalı bilgiler sağlamadığını" veya "kendi kendini sürdürebilen alandaki performansını diğerlerinden ayırdığını" belirtti.

AV şirketleri neden California’nın geri çekilme raporlarına bu kadar güçlü bir şekilde itiraz ediyor? AV şirketlerinin çeşitli test stratejileri nedeniyle metriklerin bağlam eksikliğine bağlı olarak yanıltıcı olduğunu iddia ediyorlar. Ayrılmaları tanımlamak için kullanılan dile ilişkin rehberlik eksikliğinin de verilerin yanıltıcı olduğunu iddia ediyorum. Ayrıca, metrik daha az zor koşullarda testi teşvik eder ve daha kapsamlı sanal testlere göre gerçek dünya testlerini destekler.

California raporlama metriklerini anlama

Kaliforniya'daki halka açık yollarda otonom bir aracı test etmek için bir AV şirketinin bir AV Test İzni alması gerekir. 22 Haziran 2020 itibariyle, 66 Otonom Araç Test İzni sahipleri Kaliforniya'da ve bu şirketlerin 36'sı 2019'da Kaliforniya'da otonom araç testi yaptığını bildirdi. Bu şirketlerin sadece beşi yolcu taşıma iznine sahip.

Kaliforniya kamu yollarında çalışmak için, izin verilen her şirket olaydan sonraki 10 gün içinde maddi hasar, bedensel yaralanma veya ölümle sonuçlanan herhangi bir çarpışmayı rapor etmelidir.

2020 yılında şimdiye kadar 24 otonom araç çarpışma raporu var. Bununla birlikte, bu olayların çoğu otonom modda meydana gelmesine rağmen, kazalar neredeyse tamamen otonom aracın arkadan sonlandırılmasının sonucuydu. California'da, arkadan çarpmalar neredeyse her zaman arkadan gelen sürücünün hatası olarak kabul edilir.

Çarpışma verilerinin kullanışlılığı açıktır – tüketiciler ve düzenleyiciler, yayalar ve yolcular için özerk araçların güvenliği ile ilgilidir. Bir AV şirketi, araç otonom modda çalışırken araçta önemli bir hasara veya bir yaya veya yolcuya zarar veren bir kaza bile rapor ederse, şirketin (ve potansiyel olarak tüm AV endüstrisinin) etkileri ve yansımaları önemlidir.

Ancak, geri bildirim raporlama verilerinin yararlılığı çok daha tartışmalıdır. California DMV, AV operatörlerinin Kaliforniya kamu yollarında her yıl 1 Ocak'a kadar test yaparken ayrılma sayısını ve ayrıntılarını bildirmelerini şart koşmaktadır. DMV tanımlar bu, "testler sırasında araçlarının otonom moddan ne sıklıkla ayrıldığını (ister teknik arıza, isterse test sürücüsünün / operatörün aracın güvenli bir şekilde çalışmasını manuel olarak kontrol etmesini gerektiren durumlar olsun).

Operatörler ayrıca araçlarının otonom moddan ne sıklıkta ayrıldığını ve bu ayrılmanın yazılım arızası, insan hatası veya araç operatörü seçeneğinden kaynaklanıp kaynaklanmadığını da izlemelidir.

AV şirketleri ölçülebilir metriklere sıkı sıkıya bağlı kalmıştır ve genellikle yalnızca kontrollü ayarlarla yapılan gösterilerin sınırlı görüntülerini ve varsa çok az veriyi paylaşırlar. Bazı şirketler, AV performansı ile ilgili bir veri kaynağından ziyade promosyon amaçlı bir desteye benzeyen ara sıra “yıllık güvenlik raporunu” paylaştılar. Ayrıca, başka herhangi bir eyalette kamu testi yapan şirketler için neredeyse hiçbir raporlama şartı yoktur. Kaliforniya’nın ayrılma raporları istisnadır.

Bu AV bilgi çölü, Kaliforniya'daki ayrışma raporlarının çoğu zaman AV'ler hakkında tek bilgi kaynağımız olarak kabul edildiği anlamına gelir. Halk, AV hazırlığına ve göreceli performansına, en iyi şekilde eksik ve en kötü şekilde yanıltıcı olan bu ayrılma verilerine dayanarak karar vermek zorunda kalıyor.

Ayrılma raporlama verileri bağlam sunmaz

Çoğu AV şirketi, sayılar için bağlam eksikliği nedeniyle ayrılma raporlama verilerinin AV endüstrisindeki ilerlemeyi değerlendirmek için zayıf bir metrik olduğunu iddia ediyor: Ayrılma raporlarındaki verileri anlamak için bu millerin nereye sürüldüğünü ve bu yolculukların amacını bilmek çok önemlidir .

AV endüstrisinden bazıları, kurak iklime sahip seyrek nüfuslu bölgelerde sürülen kilometrelerden ve birkaç kavşaktan San Francisco, Pittsburgh veya Atlanta gibi bir şehirde kilometrelerce milden farklı olduğundan şikayetçi. Sonuç olarak, önceki coğrafyada ikinci coğrafyaya karşı test eden şirketler tarafından rapor edilen ayrılma sayısı karşılaştırılamaz.

Ayrılma raporlama gerekliliklerinin AV şirketlerinin nerede ve nasıl test edileceği konusundaki kararlarını etkilediğini anlamak da önemlidir. Güvenli olsa bile, önemli ölçüde ayrılma gerektiren bir test, şirketin ticari dağıtım için rakiplerinden daha az hazır görünmesini sağlayacağı için cesaret kırılacaktır. Gerçekte, bu tür testler ticari olarak en hazır araca neden olabilir. Gerçekten de, AV endüstrisindeki bazı kişiler, rakipleri gerçek ilerleme gibi görünmek için zaman içinde sürülen kilometrelerdeki zorlukları hafifleterek ayrılma raporlama metriklerini manipüle etmekle suçladı.

Ayrıca, veriler kolay sürücüler ve açık yollarla manipüle edildiğinde özellikle iyi görünmekle birlikte, AV yazılımını geliştirmek için stratejik olarak kullanıldığında veriler özellikle kötü görünebilir.

Bir düşünelim misal NPR’nin Pazar Alanı’na taşımacılığı kapsayan bir muhabir olan Jack Stewart tarafından sağlanmıştır:

“Diyelim ki bir şirket yazılımlarının yepyeni bir yapısını piyasaya sürdü ve bunu merkezde olduğu için Kaliforniya'da test ediyorlar. Bu yazılım başlangıçta ekstra bir hata olabilir ve bir sürü ayrılma görebilirsiniz, ancak aynı şirket benzer bir yerde ticari bir hizmet yürütüyor olabilir Arizona bu raporları toplamak zorunda olmadıkları yerde.

Bu hizmet süper sorunsuz çalışıyor olabilir. Bir şirketin genel performansının bir resmini elde edemezsiniz, sadece bu sıkı küçük metriğe bakarak. Birkaç yıl önce Kaliforniya'nın bazı bilgileri toplamaya başlaması iyi bir fikirdi, ama bugünlerde yapmayı amaçladığı şeyi gerçekten yapmıyor. ”

Geri çekilme raporlarında kuralcı dil yok

Ayrılma raporları, ayrılmaları tanımlamak için kullanılan dilde rehberlik ve tekdüzelik olmamasından dolayı yanıltıcıdır. Örneğin, AV şirketleri çeşitli dilleri kullanırken, “algı tutarsızlıkları”, Ayrılma nedenini tanımlamak için kullanılan en yaygın terimdir – ancak,“ algılama tutarsızlıkları ”teriminin belirli bir anlamı olduğu açık değildir.

Birçok operatör, bir nesnenin doğru bir şekilde tespit edilememesini tanımlamak için “algı tutarsızlığı” ifadesini kullanmıştır. Valeo Kuzey Amerika da benzer bir hatayı “nesnenin yanlış tespiti” olarak tanımladı. Toyota Araştırma Enstitüsü neredeyse tamamen ayrılmalarını belirsiz bir şekilde “Güvenlik Sürücüsü proaktif ayrılma” olarak tanımladı, bunun anlamı “her türlü ayrılma”. Oysa Pony.ai, her bir ayrılma örneğini özel olarak tanımladı.

Diğer pek çok operatör, “planlı testlerin ayrılması” ya da gerçekte anlamsız olacak kadar yetersiz bir şekilde tarif edilen ayrılmaları rapor etmiştir.

Örneğin, "planlı ayrılma", kasıtlı olarak yaratılan arızaların test edilmesi anlamına gelebilir ya da sadece yazılımın o kadar yeni ve karmaşık olmadığını, şirketin ayrılmayı beklediği anlamına gelebilir. Benzer şekilde, “algı uyuşmazlığı”, son derece tehlikeli yazılım arızaları nedeniyle ihtiyati önlemlerden ayrılmaya kadar her şey anlamına gelebilir. “Algı tutarsızlığı”, “planlı ayrılma” ya da diğer bazı belirsiz ayrılma tanımları AV operatörleri arasında karşılaştırmaları neredeyse imkansız hale getirir.

Bu nedenle, örneğin, San Francisco merkezli bir AV şirketinin ayrılmalarının tamamen ihtiyati olduğu görünse de, ayrılmaların nasıl tanımlanacağı konusunda rehberlik eksikliği ve AV şirketleri tarafından sağlanan birçok belirsiz açıklama, onları tamamen çağırarak, ayrılma açıklamalarına gölge düşürdü. söz konusu.

Yönetmelikler sanal testlerden vazgeçiyor

Bugün AV şirketlerinin yazılımı gerçek bir üründür. AV araçlarının donanım ve fiziksel bileşenleri – lidar, sensörler, vb. Çok üniform hale geldi, neredeyse hazırlar. Test edilen gerçek bileşen yazılımdır. Yazılım hatalarının en iyi yazılımı mümkün olduğunca sık çalıştırarak bulunduğu bilinmektedir; yol testi, tüm hataları bulmak için gereken şeffaf sayılara ulaşamaz. Bu sayılara ulaşabilecek şey sanal testtir.

Bununla birlikte, yönetmelikler, daha düşük rapor edilen yol milleri bir şirketin yola hazır olmadığını ima ettiği için sanal testi cesaretlendiriyor.

NPR’nin Pazar Yeri'nden Jack Stewart ifade benzer bir bakış açısı:

“Nispeten piyasadan satın alınabilecek şeyler var ve bu günlerde, ihtiyacınız olan donanımı alabileceğiniz birkaç şirket var. Bu yazılım ve hiçbir simülasyon olmadan hem simülasyonda hem de gerçek yollarda yazılımın kaç kilometre yol kat ettiği. ”

Peki, AV şirketlerini karşılaştırmamız için gereken gerçek verileri nerede bulabiliriz? Bir şirket, uçtan uca üç boyutlu simülasyon ortamı sayesinde günde 30.000'in üzerinde örnek çalıştırmaktadır. Başka bir şirket, dahili simülasyon aracı ile günde milyonlarca off-road testi gerçekleştirerek yayalar, şerit birleştirme ve park edilmiş otomobiller içeren yollarda test edemediği senaryoları içeren sürüş modelleri çalıştırıyor. Waymo, Carcraft simülasyon platformunda günde 20 milyon mil sürüyor – halka açık yollarda 100 yılı aşkın gerçek dünya sürüşüne eşdeğer.

Bir CEO, tek bir sanal milin açık yolda toplanan 1.000 mil kadar kavrayıcı olabileceğini tahmin etti.

Waymo’nun simülasyon ve otomasyon ürün lideri Jonathan Karmel de benzer şekilde Carcraft'ın “en ilginç kilometre ve faydalı bilgiler” sağladığını açıkladı.

Buradan nereye gidiyoruz

Açıkça, hem içerideki verilere hem de AV şirketleri için oluşturdukları olumsuz teşviklere dayanarak, geri çekilme raporlarıyla ilgili sorunlar var. Ancak, gönüllü AV endüstrisinin bu sorunların bazılarıyla mücadele etmek için atabileceği adımlar:

  1. Sanal testlere öncelik verin ve yatırım yapın. Sağlam bir sanal test sistemi geliştirmek ve işletmek AV şirketlerine yüksek bir maliyet getirebilir, ancak aynı zamanda daha karmaşık, daha yüksek risk ve daha yüksek sayı senaryolarını test etme yeteneği ile ticari dağıtım yolunu önemli ölçüde kısaltma fırsatı sunar.
  2. Sanal testten veri paylaşma. Sanal test verilerinin gönüllü olarak ifşa edilmesi, halkın geri çekilme raporlarına olan bağımlılığını azaltacaktır. AV şirketleri halka sürdürülebilir bir süre boyunca AV hazırlığı konusunda güvenilir veri sağlamadığı sürece ticari hazırlık anlamsız olacaktır.
  3. Yoldaki millerden en yüksek değeri elde edin. AV şirketleri Kaliforniya'da yol testlerini kullanmaya devam etmeli, ancak sanal testteki boşlukları doldurmak için bu milleri kullanmalıdır. Bu yavaş millerde mümkün olan en yüksek değeri aramalı, raporlamaları gereken daha yüksek ayrılma yüzdesini kabul etmeli ve bu milleri rapor ederken, bağlamlarını özel olarak tanımlamalıdırlar.

Bu adımlar ile AV şirketleri, Kaliforniya’nın ayrılma raporlama verilerinin acısını azaltabilir ve AV'ye hazır bir geleceğe daha hızlı ilerleyebilir.