- NVIDIA Broadcast izmanto mākslīgo intelektu, lai samazinātu troksni un atbalsi, un uzlabo video ar virtuāliem foniem un automātisku kadrēšanu.
- Tas darbojas līdzīgi kā virtuālās ierīces: jūs atlasāt jauno mikrofonu vai kameru jebkurā lietotnē.
- Nepieciešama NVIDIA RTX GPU ar Tensor kodoliem; nav paredzēts GTX bez šiem kodoliem.
Ja straumējat tiešraidi, piedalāties videozvanos vai spēlējat komandas spēles, jūs droši vien esat iepazinušies ar šādām problēmām: trokšņaina rakstīšana, ventilatoru dūkoņa, mikrofona statiskā skaņa vai atbalss kas atbalsojas visā telpā. NVIDIA priekšlikums cenšas tās risināt ar vienu rīku: lietojumprogrammu, kas izmanto reāllaika mākslīgo intelektu, lai uzlabotu jūsu balss un attēla skanējumu un izskatu, nepārslogojot jūs ar tehniskām korekcijām.
Mēs runājam par NVIDIA apraide, programmatūra, kas, pēc paša uzņēmuma teiktā, spēj pārvērst jebkuru istabu par sava veida mājas biroju un uzlabojiet straumēšanas, balss tērzēšanas un videozvanu kvalitāti ar viediem efektiem. Skaistums slēpjas apstāklī, ka tas tiek darīts neatkarīgi no izmantotās programmas, novēršot troksni un atbalsi, retušējot fonu un kadrēšanu, un pat palīdzot jums panākt, lai tas izskatītos kā Tu skaties kamerā, pat ja pārbaudīsi savas piezīmes..
Kas ir NVIDIA Broadcast un kāpēc par to runā visi?
NVIDIA Broadcast ir bezmaksas lietojumprogramma lietotājiem ar RTX grafiskā karte kas attiecas mākslīgā intelekta modeļi jūsu audio un video vajadzībāmTās mērķis ir ļaut jums pārraidīt tiešraidē, apmeklēt sanāksmes vai spēlēt spēles ar balss tērzēšanu, neatrodot klusāko mājas stūri vai neizveidojot profesionālu studiju.
Rīka pieeja ir praktiska: ar dažiem klikšķiem jūs aktivizējat filtrus, kas Tie novērš nevēlamu troksni un telpas atbalsi.Tie aizstāj zaļo ekrāna fonu un pielāgo kameras kadrējumu, lai jūs saglabātu centrālo attēlu. Tas viss ir paredzēts straumētājiem, ikdienas lietotājiem un profesionāļiem, kuri strādā vai sadarbojas attālināti.
Papildus skaidriem tehniskiem uzlabojumiem NVIDIA Broadcast vēlas, lai jūs aizmirstu par ierasto vairāku programmu konfigurēšanas apgrūtinājumu. Tāpēc lietotne atklāj virtuālas ierīces, kuras citi atpazīst kā īstas. mikrofons vai tīmekļa kamera plusizvairoties no sarežģītām integrācijām un strādājot ar ierastajiem rīkiem.
Priekšlikums iederas plašākā zīmola stratēģijā, kas koncentrējas uz satura veidotājiem un straumētājiem. Galvenās tehnoloģijas šajā stratēģijā ietver... NVENC aparatūras kodētājs, kas ļauj straumēt, patērējot mazāk resursu, un tagad šie mākslīgā intelekta efekti, kas koncentrējas uz audio un video uzlabošanu bez dārgiem piederumiem vai īpaši paredzētām vietām.
Ar mākslīgo intelektu darbināta audio: trokšņu samazināšana un atbalss slāpēšana
Skaņas galvenā iezīme rodas no tā, ko mēs pazinām kā RTX Voice — Mākslīgā intelekta balstīta trokšņu slāpēšanas tehnoloģija kas kļuva populāra jau no sākotnējās beta versijas. Ar Broadcast nāk tā nobriedušākā versija: stabilāka, labāk apmācīta un ar jaunām iespējām, kas paplašina to, ko tā jau tik labi paveica.
Viena no būtiskajām izmaiņām ir tā, ka tai ir trīskāršoja skaņas profilu skaitu ar kuru mākslīgais intelekts zina, kā strādāt. Citiem vārdiem sakot, modelis precīzāk atpazīst un apslāpē plašāku dažādu trokšņu klāstu, sākot no datora ventilatoriem un tastatūras klikšķiem līdz neregulāriem klauvējiem vai rosīgas ielas troksnim.
Vēl viena praktiska jauna funkcija ir iespēja filtrēšanu piemērot ne tikai mikrofonam, bet arī balss signālam, ko saņemat no citiem cilvēkiem. Ja jums ir komandas biedrs ar trokšņaina audio iestatīšanaJūs varat aktivizēt filtru viņa ienākošajam audio signālam, lai viņu skaidri dzirdētu, neciešot no fona trokšņiem, it kā viņš arī izmantotu trokšņu slāpēšanu.
Līdztekus trokšņu samazināšanai lietotnē ir integrēta arī telpas atbalss slāpēšana Lai cīnītos pret atbalsi, kas raksturīga telpām ar cietām virsmām. Tas neaizstāj fizisku akustisko apstrādi, bet ļoti palīdz, ja telpu nav iespējams apstrādāt un nepieciešams, lai jūsu balss skanētu sausāk un tuvāk.
Ir vērts atcerēties, ka, tāpat kā jebkura šāda veida tehnoloģija, var būt neliela ietekme uz tembra kvalitāti vai noteiktu uztverto balss apstrādi. Pats zīmols atzīst, ka ietekme tiek samazināta ar apraides optimizāciju, taču tas joprojām ir faktors. papildinošs risinājums labam mikrofonam un labi uzturētai telpai.
Runājot par veiktspēju, NVIDIA apgalvo, ka ieviestās optimizācijas samazina izmaksas salīdzinājumā ar pirmajiem RTX Voice mēģinājumiem. Tiek solīts, ka neliela ietekme uz GPUTas ir ļoti svarīgi, vienlaikus spēlējot un straumējot. Tomēr precīzs šī uzlabojuma apmērs ir atkarīgs no katras ierīces, spēles un konfigurācijas.
Ar mākslīgo intelektu darbināts video: virtuāls fons un automātiska kadrēšana
Kameras sadaļā Broadcast piedāvā divus efektus, kas paredzēti, lai uzlabotu jūsu klātbūtni ekrānā. Pirmais ir virtuāls fons bez nepieciešamības pēc hroma atslēgas, kas izmanto RTX GPU AI paātrinājumu, lai precīzi atdalītu objektu no vides un novietotu attēlu vai izpludinājumu aiz jums.
Šī fona aizstāšana ir noderīga, ja nevarat kontrolēt apkārtni vai vēlaties profesionālāku izskatu, neiestatot zaļu ekrānu. Agrīnās demonstrācijas versijās tā darbojas pārliecinoši, lai gan, tāpat kā jebkura šāda veida funkcija, Tas ir jāpielāgo dažādos apgaismojuma apstākļos un kadrējumā., un uzņēmums to ir uzskatījis par funkciju, kas sākotnēji tika izlaista beta versijā.
Otrais efekts ir automātiskā kadrēšana — sistēma, kas sejas izsekošana Tā apgriež un pārvieto kadru, lai jūs saglabātu centrā pat kustībā. Tā ir vienkārša, bet praktiska funkcija, kas piešķir kadram dinamiku vai novērš jūsu sasvēruma iespaidu, ja sarunas laikā noliecaties uz vienu pusi.
Papildus šiem efektiem lietotnē ir iekļauti uzlabojumi, kas paredzēti, lai jūsu attēls izskatītos dabiskāks tiešsaistes sanāksmju vai nodarbību laikā. Tie ietver viedu apgaismojuma regulēšanu un funkciju, kas palīdz jums izskatīties dabiskākam... Tu skaties kamerā, lai gan tava uzmanība ir pievērsta kaut kur citur.Tas atvieglo acu kontakta uzturēšanu, pārskatot piezīmes vai dokumentus.
Ir vērts atzīmēt, ka, lai gan fona aizstāšana bez hroma taustiņu izmantošanas jau pastāv citās lietojumprogrammās, galvenais ir veiktspēja un kvalitāte, ko iegūst, izmantojot GPU. Ja algoritms ir pareizs, panākt tīrāku malu un mazāk artefaktu, labvēlīgās situācijās tuvojoties hroma atslēgas rezultātam.
Saderība: Kuras grafikas kartes darbojas?
NVIDIA Broadcast lietošanas pamatprasība ir NVIDIA GPU ar Tenzoru kodoli, tas ir, RTXŠie īpašie mākslīgā intelekta kodoli paātrina modeļus, kas nodrošina trokšņu slāpēšanu, atbalss noņemšanu un video efektus, nepārslogojot datoru.
Tas nozīmē, ka iepriekšējās sērijas bez Tensor kodoliem, piemēram, Pascal (GTX 1000) un agrākie modeļi, ir izslēgti. Izslēgti arī ir GTX 16, kuras pamatā ir TjūringsNeskatoties uz arhitektūras koplietošanu, jo tie neietver tos kodolus, kas ir atbildīgi par AI apstrādi, ko izmanto lietojumprogramma.
Saderība aptver RTX 20 un RTX 30 saimes un sniedzas tālāk. GeForce un klēpjdatori ar RTX GPUkā arī Quadro RTX profesionālos risinājumus. Īsāk sakot, ja jūsu grafikas karte ir RTX, Broadcast ietilpst plānotajā atbalsta diapazonā.
Tiem, kas iepriekš, izmantojot ielāpus, piespieda RTX Voice darboties GTX GPU, jāņem vērā, ka šis triks nav oficiālā Broadcast pieeja. Šajā gadījumā lietotne koncentrējas uz RTX grafikas kartes tenzora kodoli un standarta kārtībā neparedz izpildi modeļos bez tiem.
Integrācija ar jūsu programmām un trešo pušu lietotnēm
Viena no NVIDIA Broadcast praktiskajām priekšrocībām ir tā, ka jums nav nepieciešams jūsu iecienītākā programma, piemēram, OBS Studio Tas ir īpaši pielāgots. Lietojumprogramma izveido virtuālās ievades ierīces (piemēram, jauns mikrofons vai kamera), ko varat atlasīt jebkurā videozvanu, straumēšanas vai ierakstīšanas programmatūrā.
Tādā veidā darbplūsma ir ļoti vienkārša: jūs aktivizējat efektus programmā Broadcast, izvēlaties virtuālo ierīci savā programmā un viss ir gatavs. Šī pieeja novērš gaidīšanu uz trešajām pusēm. integrēt konkrētus API vai izstrādāt papildinājumus, samazinot tehniskās problēmas lietotājam.
Turklāt NVIDIA partneri var integrēt Broadcast tehnoloģijas tieši savās lietojumprogrammās. Šim nolūkam ir pieejamas pakotnes. oficiāli izplatāmie materiāli kas dažos gadījumos jums būs jālejupielādē un jāinstalē, ja gatavojaties izmantot lietotni, kas tos izmanto.
Ir svarīgi uzsvērt, ka šie pārdalāmie resursi nav neatkarīgi: Viņi nestrādā paši par sevi. un nepieciešama lietojumprogramma, kurā jau ir ieviestas šīs funkcijas. Ja jūsu izvēlētajā rīkā tās ir iekļautas, instalētājs jūs informēs un vadīs cauri procesam, lai iegūtu visu nepieciešamo.
Veiktspēja, kvalitāte un reālistiskas cerības
Kad tika izlaista RTX Voice beta versija, viens no trūkumiem bija resursu patēriņš un neliela mikrofona kvalitātes samazināšanās. NVIDIA apgalvo, ka Broadcast optimizācijas ir veiktas. Tie samazina ietekmi uz FPS vai GPU slodzi.To novērtēsiet, ja vienlaikus spēlēsiet un straumēsiet. Precīzs pastiprinājums būs atkarīgs no spēles, izšķirtspējas un iestatījumiem.
Pozitīvi ir tas, ka trokšņu samazināšanas demonstrācijas ir bijušas pārsteidzošas jau no paša sākuma: korpusi ar galda ventilatoru vai pat sitieni, kas gandrīz pilnībā izzūd kamēr balss paliek saprotama. Šie ir ekstremāli scenāriji, kas parāda filtrēšanas potenciālu, ja vide nav noderīga.
Pat ja tā, būsim reāli: trokšņu slāpēšana neaizstāj kvalitatīvu mikrofonu vai labi koptu vidi. Ja problēma rodas bojāta aprīkojuma vai piesātināta vai izkropļota uztveršanaMākslīgais intelekts nevar paveikt brīnumus. Tā vērtība slēpjas tajā, ka tas izlīdzina bieži sastopamas nepilnības un padara klausīšanos ērtāku.
Videoklipā fona aizstāšana bez zaļa ekrāna sniedz ļoti noderīgus rezultātus, īpaši ar labu apgaismojumu un skaidriem kadriem. Tikmēr sejas izsekošana Tas atvieglo plaknes kompozīcijas saglabāšanu. nekustoties no savas vietas vai nepieskaroties kamerai. Šie uzlabojumi summējas, lai gan tie nav paredzēti, lai aizstātu profesionālu studijas aprīkojumu.
Zīmola filozofija attiecībā uz Broadcast atbilst tā centieniem tiešraides sektorā: līdzās NVENC, kas ir pierādījis augsta retranslācijas efektivitāte Nepārāk sodot spēli, šie mākslīgā intelekta efekti ir paredzēti, lai padarītu RTX GPU vēl pievilcīgākus satura veidotājiem vai tiem, kas strādā attālināti.
Pieejamība un kā iegūt lietotni
NVIDIA pozicionēja Broadcast palaišanu ap septembra vidus, kas sakrīt ar nosēšanos jaunas paaudzes RTX GPUKopš tā brīža jebkurš lietotājs ar GeForce RTX karti var bez maksas lejupielādēt lietotni un sākt to testēt ar savām ierastajām programmām.
Instalēšana ir vienkārša, un, tiklīdz būsiet iekļuvis lietotnē, redzēsiet audio un video opcijas, kas sakārtotas pēc efektiem. Aktivizējiet tās, pielāgojiet intensitāti un pārbaudiet rezultātu ar lietotnes piedāvātajiem testiem. Pēc tam jums atliek tikai… izvēlēties virtuālās ierīces videozvanu vai straumēšanas rīkā, lai efekts sāktu darboties.
Lietošanas gadījumi: no straumēšanas līdz komandas sanāksmēm
Tiešraides straumēšanas laikā trokšņu samazināšana ļauj rakstīt, pārvietot objektus vai darbināt datoru ar pilnu jaudu, auditorijai nedzirdot nepārtrauktu dūkoņu. Vienlaikus virtuālais fons palīdz piešķirt savam zīmolam vizuālu konsekvenci JŪSU straumēšanas programma lai paslēptu telpu, kuru nevēlaties rādīt, un automātiskā kadrēšana piešķir dinamiku bez papildu aparatūras.
Tiem, kas strādā attālināti, apraides funkcija nodrošina skaidrību sanāksmēs pat tad, ja atbildat uz zvaniem trokšņainā vidē. Pateicoties iespējai piemērot ienākošā audio atcelšanu, jūs varat labāk saprast kolēģus ar pieticīgiem mikrofoniem vai kas savienojas no sarežģītām vietām, mazinot klausīšanās nogurumu.
Izglītības jomā skolotāji var skanēt skaidrāk, netraucējot atbalsīm, un skolēni var radīt tīrāku attēlu pat tad, ja vide nav ideāla. Acu kontakts ar kameru palīdz... labāk sazināties ar auditoriju kad skaidrojuma laikā ir jāiepazīstas ar materiālu.
Tāpat šī funkcija ir noderīga spēlētājiem, kuri sacensību spēlēs izmanto balss tērzēšanu. Iespēja apklusināt tastatūras klikšķus vai ventilatora troksni atvieglo koordināciju ar komandu. Un, ja kādam jūsu grupā ir problēmas ar mikrofonu, filtrēšana... Ienākošajam audio var būt izšķiroša nozīme lai saprastu ātrus zvanus kritiskos brīžos.
Pat neregulāriem satura veidotājiem vai tiem, kas filmē īsus video, fona izpludināšana un kadrs, kas seko jums, palīdz sasniegt izsmalcinātāku rezultātu, neieguldot līdzekļus īpašos piederumos. Tas neaizstāj rūpīgi plānotu videoseansu, bet... paceļ latiņu ar pāris klikšķiem kad apstākļi nav labvēlīgi.
Priekšrocības, ierobežojumi un ko jūs varat sagaidīt
Pie skaidrām priekšrocībām pieder lietošanas ērtums, ievērojami audio uzlabojumi reālās pasaules vidē un saderība ar jūsu esošajiem rīkiem bez sarežģītām konfigurācijām. Apvienojumā ar trokšņu un atbalss samazināšana Tas ir īpaši novērtēts telpās ar atbalsi, un virtuālais fons pievieno punktus, kad nepieciešama privātums vai vizuāla vienveidība.
Runājot par ierobežojumiem, RTX GPU prasība neattiecas uz sistēmām ar GTX kartēm, kurām trūkst Tensor Cores. Turklāt, ja esat īpaši jutīgs pret mikrofona skaņas kvalitāti, pamanīsiet filtrēšanu. Tas varētu nedaudz traucēt dabiskumam Ja to spiež līdz maksimumam. Video ierakstā attālums starp objektu un fonu ir atkarīgs no gaismas un attēla kontrasta.
Vissaprātīgāk to uzskatīt par sabiedroto: tas neaizstāj labu mikrofonu, rūpīgu apgaismojumu vai akustisko apstrādi, taču tas piedāvā ātrs un ievērojams uzlabojums kad visus šos faktorus nevar kontrolēt. Daudziem lietotājiem šis lēciens ir tieši tas, kas nepieciešams, lai izklausītos un izskatītos profesionālāk.
Interesanta ir arī ekosistēma, kas paveras, pateicoties pārdalāmai integrācijai: tā kā arvien vairāk lietojumprogrammu iekļauj šīs tehnoloģijas, Jūs redzēsiet pieejamos AI efektus neizejot no iecienītākajām programmām. Un, ja vēlaties visu centralizēt, apraide kā lietotne joprojām ir tiešais un vienkāršais veids.
Tomēr NVIDIA Broadcast ir sevi pozicionējusi kā vēl vienu RTX GPU vērtības pakotnes daļu. Starp tiem NVENC spiediens uz retranslāciju Un ar mākslīgā intelekta palīdzību audio un video uzlabošanā straumēšanas un attālinātās sadarbības pieredze ir uzlabota lietotājiem, kuri pieprasa kvalitāti bez tehniskām sarežģījumiem.
Mūsdienās lietojumprogramma apvieno noderīgas funkcijas un stabilus rezultātus ar ļoti vienkāršas darbplūsmas ērtībām. Ja jums ir RTX GPU, ir vērts to iespējot un redzēt, cik tālu tā var tikt. Tas pasargā jūs no trokšņa, atbalss un uzmācīgiem foniem. ikdienas dzīvē — gan spēlēs, gan sanāksmēs, gan tiešsaistes nodarbībās.
