Върнете се в началото
Неделя, 14 юли 2024 г
домНовиниПионерската инвестиция на Netflix във високотехнологични техники за видео компресия

Пионерската инвестиция на Netflix във високотехнологични техники за видео компресия


Ан Арън просто не може да се сдържи.

Aaron, Netflix's senior encoding technology , was watching the company's livestream of the Screen Actors Guild Awards earlier this year. And while the rest of the world marveled at all those celebrities and their glitzy outfits sparkling in a sea of flashing cameras, Aaron's mind immediately started to analyze all the associated visual challenges Netflix's encoding tech would have to tackle. “Oh my gosh, this content is going to be so hard to encode,” she recalled thinking when I recently interviewed her in Netflix's office in Los Gatos, California.

Aaron has spent the past 13 years optimizing the way Netflix encodes its and TV shows. The work she and her team have done allows the company to deliver better-looking streams over slower connections and has resulted in 50 percent bandwidth savings for streams alone, according to Aaron. Netflix's encoding team has also contributed to industrywide efforts to improve streaming, including the development of the AV1 video codec and its eventual successor.

Сега Аарон се готви да се заеме със следващото за Netflix: Не се задоволяваше само с това да бъде услуга за преяждане, компанията се впусна в облачни игри и стрийминг на живо миналата година. Досега Netflix се занимава предимно с еднократни събития на живо като наградите SAG. Но от следващата година компанията ще предава WWE RAW на живо всеки понеделник. Стриймърът грабна кеч франчайза от мрежата на Comcast в САЩ, където отдавна беше No. 1 оценено предаване, редовно привличащо публика от около 1.7 милиона зрители. Задоволяването на тази публика седмица след седмица поставя някои много нови предизвикателства.

„Това е напълно различен тръбопровод за кодиране от това, което имахме за VOD“, каза Аарон, използвайки индустриалната стенограма за стрийминг на видео при поискване. „Моето предизвикателство към (моя) екип е да достигна до същите изисквания за честотна лента като VOD, но да го направя по по-бърз начин в реално време.“

За да постигнат това, Арън и нейният екип трябва да започнат отначало и да пренебрегнат почти всичко, което са научили по време на повече от десетилетие на оптимизиране на потоците на Netflix - десетилетие, през което видео инженерите на Netflix прекодираха целия каталог на компанията няколко пъти, започна използвайки машинно обучение, за да се уверят, че потоците на Netflix изглеждат добре, и бяха принудени да променят подхода си, когато шоу като Приключенията на Barbie Dreamhouse спънаха енкодерите на компанията.

Когато Арън се присъедини към Netflix през 2011 г., компанията се приближаваше към стрийминг като всички останали в онлайн видео индустрията. „Трябва да поддържаме огромно разнообразие от устройства“, каза Арън. „Наистина стари телевизори, нови телевизори, мобилни устройства, декодери: всяко от тези устройства може да има различни изисквания за честотна лента.“

За да отговори на тези нужди, Netflix кодира всеки видеоклип с куп различни битрейтове и разделителни способности според предварително определен списък от параметри за кодиране или рецепти, както Арън и нейните колеги обичат да ги наричат. В онези дни зрител с много бавна връзка автоматично получаваше 240p поток с битрейт 235 kbps. По-бързите връзки биха получили 1750 kbps 720p видео? Качеството на стрийминг на Netflix достигна 1080p с битрейт от 5800 kbps. 

Сървърите на компанията за доставка на съдържание автоматично ще изберат най-добрата версия за всеки зрител въз основа на тяхното устройство и скорост на широколентов достъп и ще коригират качеството на стрийминг в движение, за да отчетат забавянето на мрежата.

За Аарон и нейното проницателно съзнание за предизвикателствата на кодирането този подход изглеждаше неадекватен. Защо да харчите една и съща честотна лента, за да предавате поточно нещо толкова визуално сложно като екшън филм с преследвания с коли (много движение) и експлозии (мигащи светлини и целия този шумен дим) като много по-проста визуална тарифа? „Имате нужда от по-малко битове за анимация“, обясни Арън. 

Моето малко пони, който беше хит в услугата по онова време, просто нямаше същата визуална сложност като заглавията на живо. Нямаше смисъл да се използват едни и същи рецепти за кодиране и за двете. Ето защо през 2015 г. Netflix започна да прекодира целия си каталог с фини настройки за всяко заглавие. С този нов, специфичен за заглавието подход, анимираният билет може да се предава в 1080p с едва 1.5 Mbps.

Ше-Ра и принцесата на силата е друг добър пример за анимационно шоу с доста проста визуална сложност срещу екшън на живо.
Изображение: Netflix

Switching to per-title encoding resulted in bandwidth savings of around 20 percent on average — enough to make a notable difference for consumers in North America and Europe, but even more important as Netflix was eyeing its next chapter: in January of 2016, then-CEO Reed Hastings announced that the company was expanding into almost every country around the world — including markets with subpar broadband infrastructure and consumers who primarily accessed the from their mobile phone.

Оттогава кодирането за заглавие е прието от повечето доставчици на комерсиални видео технологии, включително AWS на Amazon, който използва подхода за оптимизиране Видеотеката на PBS миналата година. Но докато стратегията за кодиране на компанията е била подкрепен от все сърце by streaming tech experts, it has been largely met with silence by Hollywood's клас.

Режисьори и актьори като Джъд Апатоу и Арън Пол се разпалиха, когато Netflix започна да позволява на хората да променят скоростта на възпроизвеждане на своите видеоклипове през 2019 г. Промените в начина, по който кодира видеоклипове, от друга страна, никога не правеха същите заглавия. Това може да се дължи на факта, че алгоритмите за кодиране са твърде невероятни за тази тълпа, но има и по-просто обяснение: новата схема за кодиране беше толкова успешна в спестяването на честотна лента, без да прави компромис с визуалната прецизност, че никой не забеляза разликата. 

Направете това почти никой: Арън бързо осъзна, че базираният на заглавие кодиращ подход на компанията не е без грешки. Един проблем й стана ясен, докато гледаше Приключенията на Barbie Dreamhouse. Това е едно от онези анимирани предавания на Netflix, които трябваше да се възползват най-много от подхода за заглавие. 

Въпреки това, . „Ето един човек с много искрящ костюм и искрящ воден фонтан зад него“, каза Арън. Сцената изглеждаше доста ужасна с новите правила за кодиране, което я накара да осъзнае, че те трябва да бъдат по-гъвкави. „В (други) части от заглавието имате нужда от по-малко части“, каза Арън. „Но за това трябва да го увеличите.“

Това е много блясък за правилно кодиране.
Екранна снимка: Netflix

Решението на този проблем беше да стане много по-подробен по време на процеса на кодиране. Netflix започна да разделя видеоклиповете по кадри и да прилага различни настройки за кодиране към всеки отделен сегмент през 2018 г. Двама души, които говорят пред обикновена бяла стена, са били кодирани с по-ниски битрейт от същите двама души, участващи в преследване с коли? Барби, която излиза с приятелите си у дома, изисква по-малко данни от сцената, в която Mr. Sparklesuit се появява.

Тъй като Netflix прие 4K и HDR, тези разлики станаха още по-явни. "(В) Короната, има епизод, в който е много опушен“, каза Арън. „Има много замърсяване. Тези сцени са наистина трудни за кодиране. С други думи: те изискват повече данни, за да изглеждат добре, особено когато се показват на голям 4K телевизор в HDR, отколкото по-малко визуално сложната цена.

Умът на Арън никога не спира да търси този вид визуални предизвикателства, независимо дали гледа Netflix след работа или излиза навън, за да се разходи. Това дори се разбра с нейните деца, като Аарон ми каза, че от време на време те сочат към нещата в реалния свят и крещят: „Виж, това е размазано място!“

Това е навик, който идва с работата и също малко проклятие – едно от онези неща, които просто не можете да изключите. По време на нашия разговор тя вдигна телефона си, само за да спря и да посочи калъфа за телефон, покрит с кристали. Това й напомни за онази трудна за кодиране сцена от Приключенията на Barbie Dreamhouse. Още едно визуално предизвикателство!

Все пак дори обсебващият ум може да ви отведе само дотук. От една страна, Арън не може да гледа хиляди видеоклипове на Netflix и да решава кои настройки за кодиране да приложи към всеки един кадър. Вместо това нейният екип състави няколко дузини кратки клипове, произхождащи от различни предавания и филми в Netflix, и кодира всеки клип с набор от различни настройки. След това позволяват на тестовите субекти да гледат тези клипове и да оценяват визуалните несъвършенства от незабележими до много досадни. „Трябва да направите субективно тестване“, каза Аарон. „Всичко се основава на основна истина, субективно тестване.“

Смогената мъгла на Лондон от началото на 50-те години Короната създаден за друго предизвикателство за кодиране.
Екранна снимка: Netflix

Прозренията, получени по този начин, са използвани от Netflix за обучение на модел за машинно обучение, който може да анализира качеството на видеото на различни настройки за кодиране в целия каталог на компанията, което помага да се разберат оптималните настройки за всеки малък отрязък от шоу или филм. Компанията си сътрудничи с Университета на Южна Калифорния за разработването на тези алгоритми за оценка на качеството на видеото и с отворен код тях през 2016 г. Оттогава той е възприет от голяма част от индустрията като начин за анализиране на качеството на поточно видео и дори спечели Netflix награда Еми. През цялото време Арън и нейният екип работят, за да наваксат развиващите се нужди на Netflix – като HDR. 

„Трябваше да разработим още един показател за измерване на качеството на видеото за HDR“, каза Арън. „Трябваше да проведем субективни тестове и да преработим тази работа специално за HDR.“ Това в крайна сметка позволи на Netflix да кодира и HDR заглавия със специфични за всеки кадър настройки, което компанията най-накрая направи миналата година. Сега нейният екип работи върху HDR-базирана оценка на качеството на видеото с отворен код.

Нарязване на филм по кадър и след това кодиране на всеки отрязък поотделно, за да сте сигурни, че изглежда страхотно, като същевременно спестява възможно най-голяма честотна лента: цялата тази работа се извършва независимо от видео кодеците, които Netflix използва за кодиране и компресиране на тези файлове. Това е нещо като как можете да промените разделителната способност или цветовете на картина във Photoshop, преди да решите дали да я запазите като JPEG или PNG. Въпреки това, видео инженерите на Netflix също работят активно върху усъвършенстването на видео кодеци за допълнително оптимизиране на потоците на компанията.

Netflix е член-основател на Алианс за отворени медии, чиито други членове включват компании като Google, Intel и Microsoft. Аарон е член на борда на организацията с нестопанска цел, която ръководи разработването на отворения, безплатен видео кодек AV1. Netflix започна да предава някои видеоклипове в AV1 към телефони с Android в началото на 2020 г. и оттогава се разшири до избрани смарт телевизори и устройства за стрийминг, както и iPhone. „Ние сме кодирали около две трети от нашия каталог в AV1“, каза Арън. Процентът на стрийминг часовете, предавани в AV1, е „двуцифрен“, добави тя.

И докато пускането на AV1 продължава, вече се работи по неговия наследник. Може да отнеме още няколко години, преди устройствата действително да поддържат този кодек от следващо поколение, но това ще има значение. „В този момент виждаме близо 30 процента намаление на битрейта със същото качество в сравнение с AV1“, обясни Аарон. „Мисля, че това е много, много обещаващо.“

Меридиан беше кратък филм, направен от Netflix специално за тестване и обучение на кодеци и алгоритми за стрийминг.
Екранна снимка: Netflix

Докато допринасяха за разработването на нови видео кодеци, Аарон и нейният екип се натъкнаха на друга клопка: видео инженерите в цялата индустрия разчитат на сравнително малък корпус от свободно достъпни видео клипове, за да обучават и тестват своите кодеци и алгоритми и повечето от тях клиповете изобщо не изглеждаха като типичното шоу на Netflix. „Съдържанието, което те използваха, което беше отворено, не беше наистина пригодено за типа съдържание, което предавахме поточно“, спомня си Арън. „И така, създадохме съдържание специално за тестване в индустрията.“

В 2016, Netflix пусна 12-минутен 4K HDR късометражен филм, наречен, който трябваше да поправи това. Меридиан изглежда като филм ноар криминална история, пълна с кадри в прашен офис с вентилатор на заден план, облачна плажна сцена с блестяща вода и тъмна поредица от сънища, пълна с контрасти. Всеки от тези кадри е създаден за предизвикателства при кодиране на видео и целият филм е пуснат под лиценз Creative Commons. Оттогава филмът е използван от института Фраунхофер намлява други за оценка на кодеци и неговото освобождаване беше приветстван от фондация Creative Commons като отличен пример за „дух на сътрудничество, който създава по-добри технически стандарти“.

Авангардни стратегии за кодиране, нови показатели за качество, създадени по поръчка видео активи и усъвършенствани кодеци: в много отношения Netflix е водеща в индустрията, когато става въпрос за предоставяне на най-добре изглеждащите потоци по най-ефективните начини на потребителите. Ето защо последните 14 месеца бяха особено смиряващи.

Netflix стартира първото си предаване на живо през март 2023 г., успешно излъчва специална комедия на Крис Рок за своите абонати. Месец по-късно се опита отново със събитие за събиране на живо за своето риалити шоу Любовта е сляпа – и се провали гръмко, като зрителите чакаха повече от час шоуто да започне.

Неуспешното предаване на живо беше особено смущаващо, защото опетни имиджа на Netflix като технологична мощ, която е на светлинни години пред конкуренцията си. Съ-изпълнителният директор на Netflix Грег Питърс издаде рядка mea culpa по-късно същия месец. „Наистина съжаляваме, че разочаровахме толкова много хора“, Питърс каза на инвеститорите. „Не изпълнихме стандарта, който очакваме от себе си, за да обслужваме нашите членове.“

Netflix иска да избегне по-нататъшни подобни провали, поради което компанията играе на сигурно и се придвижва бавно към оптимизиране на кодирането за съдържание на живо. „Доста рано сме в предаването на живо“, каза Арън. „Засега основните цели са стабилност, устойчивост на системата и възможност да се справи с мащаба на Netflix.“ На практика това означава, че екипът на Арън изобщо не променя настройките за кодиране за тези предавания на живо за момента, дори ако това я принуждава да гледа предаването на живо на шоуто на SAG Awards, без да може да подобри нищо. „Започваме с малко по-стандартни за индустрията начини да го направим“, каза ми тя. „И след това оттам нататък ще оптимизираме.“

Същото важи в много отношения и за облачните игри. Netflix започна да тества игри на телевизори и настолни компютри миналото лято и оттогава бавно разшири тези усилия, за да включи допълнителни пазари и заглавия. Тъй като игрите се изобразяват в облака, а не на устройството, облачните игри по същество са специализирана форма на поточно предаване на живо, с изключение на едно съществено разграничение. „Те са доста различни“, каза Арън. „[С] облачните игри вашето забавяне е дори по-строго, отколкото на живо.“ 

Monday Night RAW идва в Netflix през следващата година и ще донесе със себе си още повече възможности за предизвикване на технологията за видео кодиране на стриймъра.
Снимка: WWE/Getty Images

Екипът на Арън в момента озадачава различни подходи към двата проблема, което ги налага да пренебрегнат много от това, което са научили през последното десетилетие. „Урокът е да не мислите за това като за VOD“, каза Арън. Един пример: нарязването и нарязването на видеоклип по кадър и след това прилагането на оптималната настройка за кодиране за всеки кадър е много по-трудно, когато не знаете какво ще се случи след това. „На живо е още по-трудно да се предвидят сложни сцени“, каза тя.

На живо е непредсказуемо: това не е вярно само за кодирането, но и за бизнеса на Netflix. Компанията току-що подписа сделка за показване на две игри на NFL на Коледа и ще започне да предава седмични мачове на WWE през януари. Това се случва, когато спортът като цяло, който отдавна е последният бастион на кабелната телевизия, преминава към стрийминг. Apple показва MLS игри, Amazon показва хвърлят тонове пари в спорта, и ESPN, Fox и Warner Bros. се обединяват, за да стартират своя собствена услуга за стрийминг на спорт. За да бъдете в крак с тези конкуренти, не само се изисква Netflix да харчи много за спортни права, но и всъщност да стане добър в предаването на живо. 

Всичко това означава, че Арън и нейният екип няма да останат без работа в скоро време — особено след като следващото предизвикателство винаги е точно зад ъгъла. „Ще има още събития на живо. Ще има, може би, 8K в някакъв момент“, каза тя. „Има всички тези други преживявания, които ще се нуждаят от повече честотна лента.“

В светлината на всички тези предизвикателства, Аарон някога страхува ли се, че няма начини за оптимизиране на видеоклипове? С други думи: колко пъти Netflix може да прекодира целия си каталог с още една нова стратегия за кодиране или нов кодек, преди тези усилия да се сблъскат със стената и вече да не правят голяма разлика?

„В областта на кодеците хората казваха това преди 20 години“, каза Арън. „Въпреки това все още намираме области за подобрение. Така че съм обнадежден.“

И винаги с орлови очи, за да забележите следващото визуално предизвикателство, независимо дали е море от светкавици на фотоапарат или изненадваща поява на Mr. Искрящ костюм.



VIA: theverge.com

Маризас Димитрис
Маризас Димитрисhttps://www.techwar.gr
Отдаден фен на мобилните телефони Samsung, Димитрис е развил специално отношение към продуктите на компанията, оценявайки дизайна, производителността и иновациите, които предлагат. Писане и четене на технологични новини от цял ​​свят.
СВЪРЗАНИ СТАТИИ

ОСТАВЕТЕ КОМЕНТАР

въведете своя коментар!
моля, въведете вашето име тук

Най - популярни

Последни статии