[Waymo] 보는 것이 아는 것: 예상치 못한 형세을 위한 자율주행 기술의 이미지 인식 훈련과 검색 향상

>

Waymo에서는 기계학습(Machine Learning)을 사용하여 다양한 유형의 물체 및 도로 특성을 감지하여 분류합니다. 우리의 인식 시스템을 구성하는 강력한 신경망은 Waymo Driver가 직면한 모든 것의 레이블된 예제부터 조깅하는 사람, 자전거 타는 사람, 교통 신호, 입니다.도로 표지판, 나아가 본사무와 관목까지 물체와 그와 관련된 행동을 인식하는 것을 학습합니다. 지난 하나 0년간 우리의 강력한 맞춤형 설계된 하드웨어에 의해서 발견된 도저히 나야 양의 물체를 축적했다.​

>

이 풍부한 경험은 매우 귀중하지만, 도전 과제이기도 하잖아요: 이 센서 데이터 바다에서 가장 유용한 예제 찾는 방법. 우리 차가 스케이트보드를 타고 있는 사람을 관찰한 경우와 함께, 특정 예를 찾자는 것은 마치 건초더미에서 버거의 매일을 찾는 것과 같습니다. 그리고 Waymo와 Google Research의 협력을 얻어 우리는 우리의 콘텐츠 검색 툴을 개발하기 위한 구글의 웹 검색에 대한 전문지식을 지원받았습니다. Google포트와 Google이미지 검색 기능과 유사한 기술을 사용하여 우리의 엔지니어들은 한국의 운전 이력과 데이터 로그에 있는 사실에 일의 모든 물체를 신속히 찾을 수 있는 것처럼 하여 기본적으로 Waymo의 Content Search는 2천만마일에 달하는 도로 주행 경험을 수십억개의 물체의 검색 가능한 카가면 로그로 바꿀 수 있습니다.검색문재로서 데이터 마이닝 접속 중국에 우리의 Waymo Driver는 시각과 경험에 의해서 아주 영리한 됩니다:1대의 자동차가 배우는 모든 것은 전체 fleet사이에서 공유할 수 있습니다. 우리의 운전 환경이 끊임없이 천정부지로 변천하고 있기 때문에 이런 학습 능력은 특히 중요할 것입니다. 예를 들면, 개인 모빌리티 솔루션이 트랜드를 끌면서(특히 도시지상에서), Waymo Driver는 정기적으로 새로운 형태의 교통 수단을 만과합니다. 우리는 차량과 자전거를 타는 사람을 구별할 수 있을 뿐만 아니라 보행자와 스쿠터를 타는 사람을 구별할 수 있도록 시스템을 지속적으로 훈련시켜 나갈 것입니다.과거 우리 운전 일지에서 이러한 분명한 예를 찾기 위해 우리 조사원들은 물체의 추정 속도와 높이와 같은 다양한 특징에 증거하여 우리 데이터를 분석하는 경험적 방법에 의존했습니다. 예를 들면, 스쿠터를 타는 사람의 예를 찾으려고 우리는 우리의 로그 자료를 통해서 0에서 20mph사이의 속도로 이동하는 특정 음높이를 가진 물체를 조사했는지도 모릅니다. 이 방법은 관련 예를 제시했는데 많은 개체가 그런 속성을 공유하기 때문에 결과는 어떤 것이다.굉장히 광범위했어요.Content Search를 통해 우리는 지금 이런 유형의 데이터 마이닝에 검색 문재로 접근할 수 있습니다. 이 새로운 도구의 기본원리는 지식전달(knowledge transfer)이다.즉, 하나의 문재를 해결함으로써 얻어진 지식(Google Photos 앨범의 모든 "개"를 찾는 등)을 서로 다르지만, 관련된 문재(예: 우리의 Waymo Driver가 개를 지과인하여 운전한 모든 시각을 식별하기 위해 우리의 운전 일지를 검색하는 것)에 적용하는 것이다. 우리 운전 데이터의 방대한 카 가면 로그를 색인화함으로써 우리 엔지니어는 우리 신경망을 훨씬 빠르게 훈련하고 향상시킬 수 있는 관련 데이터를 찾을 수 있습니다.자율주행차의 이미지 인식력이 발휘되는 Content Search를 통해 엔지니어들은 다소 소리와 같은 다양한 방법으로 센서 로그를 통해 전 세계를 검색할 수 있습니다. 우리는 유사성 검색(similarity search)을 할 수 있으며, 매우 세세한 범주의 물체를 추적할 수 있으며, 현장에서 텍스트로 검색할 수 있습니다.

>

이름의 귀하(True to its name), 유사성 검색은 앞서 비교 쿼리를 실행하여 운전 로그에서 부여된 개체와 유사한 항목을 쉽게 찾을 수 있도록 합니다. 예를 들어 선인장 주변의 모델을 식물로 개선하기 위해 우리는 선인장의 어떤 선인장부터 시작할 수 있습니다. 운전 연혁에서 먼저 발견한 경우든, 온라인에서 발견한 선인장 사진이든 선인장 그림이든 이 이야기입니다. Content Search는 우리의 자율주행차가 실제로 세계에서 비슷한 물체를 관찰한 표시로 반환합니다.이 핵심 리드 검색 모델은 Waymo의 운전 한 곳에 있는 모든 물체, 즉 공원 벤치, 길가의 쓰레기통 또는 움직이는 물체를 이다베딩(embeddings)으로 변환하는 방식으로 작동하는데, 이는 물체가 서로 어느 정도 대등한 정도로 순위를 매기는 기계학습(ML) 기법입니다. 속성을 기반으로 각 객체에 대한 이다베딩을 만들고, 구글 타임리 시에 이다베딩 유사점 매칭 서비스와 유사한 프로세스를 배치함으로써 우리는 운전 로그의 리드와 어떤 쿼리도 효율적으로 비교하고, 단 몇 초만에 쿼리와 유사한 개체를 찾을 수 있습니다.

>

​ 단 1클래스의 물체는 모양, 형태, 유형별로 다를 수 있슴니다. 예를 들어, 도로의 잔해는 비닐 봉지도 나쁘지 않고, 타이어 스크랩부터 판지 상자도 나쁘지 않고 잃어버린 바지까지 무엇이든 할 수 있습니다. 도로에서 마주칠 수 있는 다양한 것(한국 차가 이전에 본 적이 없음)을 1반화, 감지할 강력한 기계 학습 모델을 구축하기 때문에 엔지니어들은 다양한 사례로 우리의 신경망을 훈련시킵니다.이를 위해 우리는 초정밀 검색을 이용하여 특정 범주에 속하는 물체를 찾습니다. 이 검색의 배경은 특정 객체 카테고리가 이미지로 발견되었는지를 Content Search 툴이 이해하는 데 도움이 되는 카테고리형 머신 학습(Categorical Machine Learning) 모델입니다. 이러한 깊은 수준의 이해는 자동차의 제작이나 모델, 심지어 개의 특정 품종과 같은 특정 특성을 공유하는 물체에 대해 특별히 틈새(niche) 검색을 할 수 있는 능력을 열 수 있습니다.​

>

마지막으로 도로에 있는 많은 물체들은 도로표지나 대형트럭의 '대형(oversized)'과 같은 운전에 관한 텍스트를 포함하고 있습니다. Content Search는 첨단 광학문자 인식 모델을 사용하여 한 장면에서 발견되는 텍스트와 단어를 기반으로 운전일지 주석을 달아 도로표지, 비상차량, 표지가 있는 다른 자동차와 트럭을 읽을 수 있습니다.대규모 데이터 레이블링 Content Search를 통해 우리는 자동으로 수십억 개의 오브젝트에 주석을 붙일 수 있었고 이는 우리가 라벨을 붙이기 위해 보내는 데이터의 속도와 품질을 기하급수적으로 증가시켰습니다. 라벨 부착을 가속화하는 능력은, 보도에 발을 내딛는 아이들이 있는 스쿨버스나 전기 스쿠터를 타는 사람들로부터 길을 건 고양이와 개에 이르기까지, 우리의 시스템 전반에 걸쳐서 많은 개선을 가져왔습니다. Waymo가 더 많은 도시로 확장됨으로써 우리는 새로운 대상과 시나리오를 계속 만나게 될 것입니다. Content Search는 우리가 더 빨리 배울 수 있도록 하고 더 많은 사람에게 자율주행 기술을 공급하는 우리의 목표를 이룰 수 있도록 돕습니다.새치기 시의 자율주행 차량에 대해 기술적인 것을 말하고 있으면, 분명 듣는 것이 AI가 아닐까 생각합니다. 아무래도 자율주행차가 사람을 대신할 로봇이 필요하기 때문에 이런 로봇의 머리 역할을 하는 AI는 필수입니다. 하지만 단순히 머리 역할을 하는 AI뿐만 아니라 자율주행차가 운전을 하는 데 필요한 인지능력을 높이기 위해서도 분명히 필요한 것이 이 AI 기술입니다. 이러한 이유로 많은 자율주행차량을 위해 부품을 개발하고 있는 기업들은 기존의 단순한 기계적, 전기적 조합이 아닌 소프트웨어를 포함시키기 위한 노력을 하고 있습니다. 선택이 아닌 필수로 되어 있는 거죠.자율주행차 개발을 시작한 후 모든 것을 개발해 온 Waymo의 경우는 잘 알려져 있지 않습니다. 자율주행을 위한 HW, SW를 통합하는 모든 것을 가진 몇 안 되는 기업이 아닐까 생각합니다. 오직 Waymo가 없는 것은 자동차뿐입니다.이번 공지는 지금까지 본인이 개발하고 있는 기술에 대해 외부에 잘 공개하지 않는 Waymo가 본인이 어떻게 외부인을 인지하고 적용시키고 있는지에 대해 간단히 설명하는 것이었습니다. 이러한 기술을 언제부터 사용했는지에 대해서는 언급이 없습니다만, 아무래도 지금까지 Tesla의 자동 Labelling이 가능한 Deep Learning 기술에 대한 우호적인 여론을 의식한 뉴스가 아니냐는 의견이 글을 읽고 내내 들었습니다.기업의 기술은 비밀스러운 것이 많지만 Waymo의 경우는 상장사도 아니기 때문에 외부에 기업 뉴스가 나오는 경우가 거의 없습니다. 때때로 Waymo CEO, John Krafcik의 입이나 공식 블로그를 통해 전달되는 것이 전체입니다. 기본적으로 Waymo의 Software 팀은 구글 엔지니어가 많이 파견되거나 옮겨서 이루어지고 있습니다. Google이 너무 많은 프로젝트를 진행하고 있고 Waymo는 그중에서도 미래의 성장 동력으로 제시하고 있습니다. 그래서 어느 정도 성과를 이룬 프로젝트입니다. 20일 9년까지 Waymo는 자율 주행 기술 개발에 35억달러를 투입한 것으로 알려지고 있습니다. 기존 자율주행차 개발업체 중 가장 많은 투자입니다. 투자가 많아졌다고 기술력이 뛰어나다고는 할 수 없지만 Waymo가 현재까지 보여주고 있는 모습은 충분한 기술을 확보했다고 볼 수 있습니다. 물론 내부에 어느 정도의 기술을 가지고 있는지는 현재로서는 알 수 없습니다.​ 20일 9년부터 Waymo는 본인들의 영역을 확장하기 위한 노력을 꾸준히 하고 있습니다. 2020년에도 그런 움직입니다가 빨라져이프니다니다. 하지만 분명한것은 테크기업임에도 불구하고 Waymo가 보여주고 있는 모습은 안전을 우선시하는 기존 자동차제조업체와 비슷비슷한 부분이 많이 있습니다. 이런 이유들이 본인의 기술력을 외부에 보여주는데 인색할지도 모릅니다.p.s 검색으로 보시고 만약 원하시는 단어를 보시지 않으시면 '태그' 또는 '검색'을 해보시면 더 많은 자료를 찾을 수 있습니다. 그래도 뭐 찾을 게 없으시면 저한테 연락 주시면 (이메일, 편지) 제가 아는 범위 내에서 도와드리고 싶습니다. 붓다음을 가지지 않아도 됩니다.Over the Vehicle!!!참고 자료

​