Inside Technology – Biztonsági megoldások a magával ragadó hangkommunikációban

Inside Technology – Biztonsági megoldások a magával ragadó hangkommunikációban

Az Inside the Tech egy kísérő blogsorozat kiadványunkhoz. Technology Talks podcast. A The Evolution of Roblox Avatars című podcast 20. epizódjában a Roblox vezérigazgatója, David Baszucki beszélt Kiran Bhat műszaki igazgatóval, Mahesh Ramasubramanian termékosztály vezető igazgatójával és Effie Goenawan termékmenedzserrel. A magával ragadó kommunikáció jövője az avatárokon és a technikai kihívásokon keresztül, amelyeket megoldottunk ennek érdekében. Az Inside the Tech jelen kiadásában Andrew Portner mérnöki vezetővel beszélgettünk, hogy többet megtudjunk az egyik technikai kihívásról: a magával ragadó hangkommunikáció biztonságáról, és arról, hogy a csapat munkája hogyan segít biztonságos és civil digitális környezet kialakításában mindenki számára. a platformunk.

Melyek a legnagyobb technikai kihívások, amelyekkel csapata szembesül?

Prioritásként kezeljük a biztonságos és pozitív felhasználói élmény fenntartását. Biztonság és udvariasság Számunkra mindig ezek állnak az első helyen, de ennek valós idejű kezelése óriási technikai kihívást jelenthet. Valahányszor probléma adódik, azt szeretnénk, hogy kivizsgálhassuk, és valós időben intézkedhessünk, de ez a mi méretünkhöz képest meglehetősen nehéz. Ahhoz, hogy ezt a léptéket hatékonyan kezelhessük, ki kell használnunk az automatikus biztonsági rendszerek előnyeit.

Egy másik technikai kihívás, amelyre összpontosítunk, az auditálási biztonsági intézkedéseink pontossága. Két moderálási megközelítés létezik az irányelvsértések kezelésére és a valós idejű pontos visszajelzésre: reaktív és proaktív moderálás. A reaktív moderálás érdekében gépi tanulási (ML) modelleket fejlesztünk ki, amelyek a platformon lévő személyek bejelentéseire reagálva pontosan észlelik a különböző típusú irányelvsértéseket. Proaktívan dolgozunk a potenciál valós idejű észlelésén Irányelveinket sértő tartalom, a felhasználók felvilágosítása a viselkedésükről. A kimondott szó megértése és a hangminőség javítása összetett folyamat. Már látunk előrelépést, de végső célunk egy olyan rendkívül érzékeny modell, amely valós időben képes észlelni a politikát sértő magatartást.

Melyek azok az innovatív megközelítések és megoldások, amelyeket ezeknek a technikai kihívásoknak a leküzdésére használunk?

Kifejlesztettünk egy végpontok közötti gépi tanulási modellt, amely képes elemezni a hangadatokat, és az irányelvsértések típusa alapján (pl. mekkora valószínűséggel zaklatás, káromkodás stb.) biztosít bizonyos szintű bizalmat. Ez a modell jelentősen javította bizonyos jelentések automatikus bezárásának lehetőségét. Ha a modellünk biztos abban, hogy jobban teljesít, mint az emberek, lépéseket teszünk. Alig néhány hónappal az indulás után ezzel a modellel szinte az összes angol nyelvű hangvisszaélés-jelentést sikerült ellenőriznünk. Ezeket a modelleket házon belül fejlesztettük ki, és ez bizonyítja a sok nyílt forráskódú technológia együttműködését, valamint a mögötte álló technológia létrehozásán végzett saját munkánkat.

Meglehetősen bonyolultnak tűnik annak meghatározása, hogy mi áll rendelkezésre valós időben. Hogy működik ez?

Sokat gondolkodtak azon, hogy a rendszer környezettudatos legyen. A cselekvés előtt megvizsgáljuk az idő múlásával kapcsolatos mintákat is, így megbizonyosodhatunk arról, hogy tetteink indokoltak. Irányelveinket az adott személy életkorától függően árnyalják, akár nyilvános, akár privát beszélgetésben vesznek részt, valamint sok más tényezőt. Új módszereket keresünk a kedvesség valós idejű ösztönzésére, és ennek középpontjában a gépi tanulás áll. Nemrég bevezettük az automatikus push értesítéseket (vagy „bökéseket”), hogy emlékeztessük a felhasználókat irányelveinkre. Más tényezőket is megvizsgálunk, például a hangszínt, hogy jobban megértsük a személy szándékait, és megkülönböztethessük az olyan dolgokat, mint a szarkazmus vagy a tréfálkozás. Végül egy többnyelvű modellt is építünk, mert vannak, akik egynél több nyelvet beszélnek, és még a mondat közepén is nyelvet váltanak. Ahhoz, hogy mindez lehetséges legyen, pontos modellre van szükségünk.

Jelenleg a visszaélések legnyilvánvalóbb típusaira összpontosítunk, mint például a zaklatás, a diszkrimináció és a káromkodás. Ezek alkotják a visszaélésekről szóló jelentések többségét. Célunk, hogy jelentős hatást érjünk el ezeken a területeken, és iparági normákat határozzunk meg a civil online beszélgetés előmozdítása és fenntartása terén. Izgatottan várjuk az ML valós idejű használatának lehetőségét, mivel ez lehetővé teszi számunkra, hogy hatékonyan fejlesszünk biztonságos és civil élményt mindenki számára.

Hogyan egyediek a Robloxon megoldott kihívások? Mit tudunk először megoldani?

A miénk Csevegés a Spatial Voice segítségével a technológia még magával ragadó élményt teremt a valós kommunikáció utánzásával. Például, ha valakitől balra állok, akkor a bal fülével hall. Analógiát készítünk arra vonatkozóan, hogyan működik a kommunikáció a való világban, és ez egy olyan kihívás, amelyet először meg tudunk oldani.

Játékosként rengeteg zaklatásnak és zaklatásnak lehettem tanúja az online játékok során. Ez egy olyan probléma, amelyet gyakran nem ellenőriznek a felhasználói névtelenség és a következmények hiánya miatt. De a technikai kihívások, amelyekkel itt foglalkozunk, kifejezetten arra vonatkoznak, amellyel más platformok néhány területen szembesülnek. Egyes játékplatformokon az interakciók a csapattársakra korlátozódnak. A Roblox számos módot kínál a való életet jobban utánzó közösségi környezetben való lógásra. Az ML és a valós idejű jelfeldolgozás fejlődésének köszönhetően hatékonyan észlelhetjük és orvosolhatjuk a rosszindulatú viselkedést; Ez azt jelenti, hogy nem csak hitelesebb környezet vagyunk, hanem olyan környezet is, ahol mindenki biztonságban érzi magát, hogy kapcsolatba léphessen másokkal. Technológiánk, átfogó platformunk és a felhasználóknak irányelveinkről való tájékoztatása iránti elkötelezettség kombinációja lehetővé teszi számunkra, hogy eleget tegyünk ezeknek a kihívásoknak.

Milyen fontos dolgokat tanult meg e technikai munka során?

Úgy érzem, tanultam valami fontosat. Nem vagyok gépi tanulási mérnök. Leginkább a játékok előlapján dolgoztam, így hatalmas dolog volt mélyebben belemerülni ezeknek a modelleknek a működésébe. Remélem, hogy a kedvesség ösztönzésére tett lépéseink olyan szintű empátiát eredményeznek, amely hiányzik az online közösségből.

Az egyik végső tanulság az, hogy minden a megadott edzésadatoktól függ. Ahhoz, hogy az adatok pontosak legyenek, az embereknek meg kell állapodniuk az irányelvet sértő magatartások kategorizálására használt címkékben. Nagyon fontos a minőségi adatok képzése, amelyekben mindenki egyetért. Ez egy nagyon nehéz probléma megoldani. Elkezded látni azokat a területeket, ahol az ML mindennél jóval megelőz, majd más területeket, ahol még a korai szakaszban van. Sok olyan terület van, ahol az ML még mindig növekszik, ezért kulcsfontosságú, hogy tisztában legyünk jelenlegi korlátaival.

Melyik Roblox értékhez ragaszkodik a legjobban a csapata?

A társadalom tisztelete a mi irányadó értékünk ebben a folyamatban. Először is az udvariasság javítására és a szabályzatsértések csökkentésére kell összpontosítanunk platformunkon. Ez jelentős hatással van az általános felhasználói élményre. Másodszor, alaposan át kell gondolnunk, hogyan biztosítjuk ezeket az új funkciókat. Óvakodnunk kell a modell hamis pozitívumaitól (például amikor valami helytelenül visszaélésként van megjelölve), és kerülni kell a felhasználók helytelen megbüntetését. Kulcsfontosságú, hogy nyomon kövessük modelljeink teljesítményét és a felhasználói elköteleződésre gyakorolt ​​hatásukat.

Mi izgat a legjobban a Robloxban, és merre tart a csapata?

Jelentős előrelépést tettünk a nyilvános hangkommunikáció javítása terén, de még mindig sok a tennivaló. A privát kommunikáció izgalmas terület, amelyet érdemes felfedezni. Úgy gondolom, hogy óriási lehetőség kínálkozik a privát kommunikáció javítására, lehetővé téve a felhasználók számára, hogy kifejezzék magukat közeli barátaikkal, hanghívást kezdeményezzenek az élmények között, vagy miközben kommunikálnak a barátaikkal az élmény során. Úgy gondolom, hogy lehetőség van arra is, hogy javítsuk ezeket a közösségeket jobb eszközökkel, amelyek lehetővé teszik a felhasználók számára, hogy önszerveződjenek, részt vegyenek a közösségekben, megosszák a tartalmakat és megosszák ötleteiket.

Miközben folyamatosan növekszünk, hogyan méretezhetjük csevegési technológiánkat, hogy támogassuk ezeket a bővülő közösségeket? Sok dolognak csak a felszínét kapargatjuk, amit tehetünk, és úgy gondolom, hogy van esély az online kommunikáció és együttműködés udvariasságának javítására az egész iparágban, oly módon, ahogyan korábban nem volt. A megfelelő technológiával és ML-képességekkel egyedülálló helyzetben vagyunk a civil online kommunikáció jövőjének alakításában.

Related Posts

Read also x