Skunkworks1 ― так называют команды, наделённые правом играть без правил, или группы разработчиков с особыми полномочиями.
Есть несколько ярких примеров, когда внутри большой корпорации, классического научного течения или устоявшегося рынка появляются команды, действующие как конкурирующая сила, бросая вызов существующему положению вещей и стимулируя инновации изнутри.
Кроме упомянутой в сноске Lockheed Martin, хрестоматийными являются примеры Apple Macintosh Division, Sony Playstation, Amazon Prime Video, GE Healthcare «Imagination Lab”, IBM Watson Health и X от Google (ныне Alphabet Inc.)
Здесь мы не будем подробно рассказывать о них. Тем, кому интересно узнать, что общего под капотом у похожих процессов из самых разных областей жизни и даже познакомиться с инновационным уравнением, можно порекомендовать книгу физика и предпринимателя Сафи Бэколла “Безумные идеи. Как не упустить кажущиеся бредовыми идеи, способные выигрывать войны, искоренить болезни и менять целые отрасли?”.
Если бы нам пришлось назвать только одну сферу, в которой подобные подходы работают в промышленных масштабах, пожалуй, это была бы информационная безопасность с её внутрикорпоративными и независимыми стартапами, этичными (и не очень) хакерами, красными и синими командами и, конечно, программами Bug Bounty.
Об этом и ещё паре смежных тем мы поговорили с командой R&D Guardora: ML-инженерами, криптографами и математиками.
1. Ощущаете ли вы себя в такой команде, наделённой правом играть без правил? Сколько, на ваш взгляд, во всём этом романтики и сколько реальности?
И да, и нет. С одной стороны, наша команда работает над задачей, не имеющей на текущий момент стандартного и устраивающего все заинтересованные стороны решения. Это, безусловно, подразумевает новаторство и нешаблонность мышления. С другой стороны, мы ограничены приемлемым для наших клиентов уровнем требований к вычислительным ресурсам, которые может задействовать наше решение. А также корпоративными и государственными нормативными документами. Соответствовать им должно любое наше предложение, если мы хотим, чтобы оно применялось на практике.
Если посмотреть шире, в нашем случае речь идёт не только о праве играть без правил, но и о необходимости или даже обязанности играть без правил, ввиду их отсутствия в той области, которую мы избрали своим полем деятельности. И весь романтический ореол, безусловно окружающий подобную деятельность, каждый день подвергается столкновению с реальностью, потому что создаваемый продукт должен успешно вписываться в существующие практики разработки и применения технологий ML.
Skunkworks – это определенно про нас! В IT-мире образовалось куча мишуры вокруг процесса создания продуктов. На данном этапе для нас важен один-единственный критерий – польза нашего решения. Реальность здесь заключена в том, что прорывные идеи реже рождаются внутри крупных игроков IT-рынка, чем в сумасбродных стартапах, которые впоследствии покупают первые. Так что порой чистое творчество требует устранения рамок.
Действительно, ограничение правилами, по ощущениям, ― это не про нас 😊 Команда у нас замечательная, тема актуальная; если что-то и улучшать, то хочется пожелать ещё большего драйва и энтузиазма.
2. Отличается ли прорывное R&D в классических, устоявшихся областях, где накоплена критическая масса общепринятых подходов, от R&D на переднем краю науки? В первом случае нужно найти брешь в чётко видимых стенах замка, а во втором — пробираться сквозь туман, постоянно ощупывая дно.
Скорее, да. В том числе из-за уже упомянутой вынужденной нешаблонности подходов к решению. Зачастую даже до опытных ML-разработчиков при беседе довольно непросто бывает донести суть того или иного нашего подхода, кажущегося им невозможным в рамках устоявшегося R&D в ML.
Однако и схожесть в них определенно есть: и там и там должен быть значительный фундамент накопленных знаний и опыта.
Что отличает второе от первого, так это непризнание авторитетов. Не стоит отказываться от воплощения идеи, даже если кто-то авторитетный сказал, что так не работает. В начале пути это может даже и не быть похоже на науку. Зачастую новые направления признаются антинаучными ветвями. Принятие того факта, что найденное решение может оказаться «тыквой» (страх проигрыша), не должно мешать полёту мысли.
Всё зависит от человека. Если человек сам пришёл к некоторой проблеме и захотел её решить, то он найдёт способ это сделать, независимо от того, насколько устоявшаяся это область. Причём “пробираться сквозь туман” даже интереснее! В целом же, чтобы заниматься R&D на переднем крае науки, надо быть более смелым и любопытным. Это как пойти в лес за грибами: ты можешь идти по уже протоптанным дорожкам и собирать пропущенные твоими предшественниками грибы, а можешь свернуть туда, где еще не ступала нога человека. Во втором варианте больше риска, но по большому счёту в обоих случаях можно остаться как ни с чем, так и с полными корзинами грибов.
3. Как часто вы используете метафоры? Подсказывают ли вам что-то полезное для работы аналогии из природы, поп-культуры или других наук?
Кажется, что метафоры могут быть полезны при объяснении наших подходов и идей неспециалистам в области математики и криптографии. Для специалистов же более привычными и понятными будут строгие формулировки. Поэтому внутри команды разработчиков метафоры и аналогии серьёзно мы не используем, но довольно часто прибегаем к их помощи при общении с нетехническими специалистами и клиентами.
К этим средствам выразительности внутри команды мы с юмором прибегаем, когда речь идёт о неожиданных результатах продукта или обсуждении идей. Это тоже полезно.
Сложно вспомнить, когда примеры из природы были заимствованы с пользой для нашей работы. Но зачастую именно так и происходят прорывы в исследованиях. Нейросети же, например, придумали не на пустом месте, а по аналогии с работой нейронов в мозге, то есть позаимствовали знания из биологии.
4. Отрицательные числа не имеют прямых аналогов в реальной природе. Как вы справляетесь с такими абстрактными концепциями, которые, на первый взгляд, кажутся «неестественными»?
Те, кто связал свою профессиональную деятельность с точными науками, воспринимают отрицательные числа и подобные сущности, не имеющие аналогов в природе, вполне естественными, даже не задумываясь над этим. Профессиональная деформация, наверное. 😊
Мозг на этапе обучения долгое время привыкал к математическому стилю мышления. А сейчас легче мыслить, воспринимать и излагать в рамках конкретных структур. Проблемы порой возникают в объяснении своих размышлений сторонним людям.
Математика в целом представляет собой набор абстрактных концепций. Однако их «неестественность» позволяет строить на их базе различные выводы, которые невозможно построить на базе объектов реальной природы. Периодическое возвращение от абстракций к реальным объектам с целью проверки полученных в абстрактном мире умозаключений позволяет не оторваться от реальности.
Принимайте отрицательные числа как есть. 😊
5. Среди представителей творческих профессий (а R&D — это творчество) есть крылатая фраза: “Вдохновение для любителей. Профессионалы берут и делают”. Каково ваше соотношение дисциплины и таланта? Нужны ли для R&D фреймворки, процессы и метрики?
Во всём необходим баланс, и в этом вопросе в том числе. Каким бы талантливым ни был сотрудник, он должен иметь в себе силы доводить свои идеи до, как минимум, рабочего прототипа. Так же, каким бы дисциплинированным и работоспособным сотрудник ни был, он должен сам генерировать идеи, которые стоит проверить, а не только ждать заданий от других. Внедрение фреймворков, процессов и метрик в R&D, пожалуй, становится актуальным, когда команда вырастает до такого числа сотрудников, что техлид даже в течение недели не успевает лично переговорить с каждым из них и обсудить его задачу. Для небольших команд подобное внедрение не слишком актуально и лишь отнимает рабочее время у сотрудников.
За любым творчеством стоит определённая база подготовки. Чем она шире и качественнее, тем успешнее творческий процесс. Отлаженные процессы позволяют быстро решать рутинные задачи и делиться с командой их результатами. А решение рутинных задач, отработка стандартных гипотез — неотъемлемая часть R&D.
Есть люди, воспринимающие средства внешнего контроля больше негативно, как что-то вторичное и отвлекающее. Их внутренний критик и так вполне справляется с работой и редко когда вечером позитивно оценивает свои результаты прошедшего дня. Опасность метрик в том, что члены команды могут начать прижимать свои результаты и обмен мыслями ради личных достижений, что негативно скажется на продукте. Понятно, что это принято в индустрии, но, кажется, все метрики – это инструменты для организаций с более сложной иерархией и менеджментом.
Для некоторых главное — вдохновение. Можно ли заставить человека придумать что-то новое? Пожалуй, нет, и это должно прийти изнутри. Человек должен созреть для какого-то открытия.
6. Вы предпочитаете талантливых членов команды или дисциплинированных?
Пожалуй, более важный критерий — это ответственность. Если сотрудник ответственно подходит в своей задаче, то неважно, в рабочее ли время он будет её решать или ночью, с помощью вдохновения или за счёт силы воли и усидчивости: важна лишь уверенность, что он её решит или, по крайней мере, испробует все возможные варианты для её решения.
Предпочтительнее честные и открытые к диалогу. Талант — понятие субъективное; дисциплинированность сама по себе не может дать результат. А открытость в обсуждении стоящих перед командой вопросов, честность по отношению к полученным результатам, готовность делиться с командой своими успехами и неудачами позволяют всей команде быстрее нащупать правильный путь.
Вообще это очень сложный вопрос. Мало кому нравятся как талантливые разгильдяи, так и усердные тугодумы. И те и те вредны, но если уж выбирать, то, пожалуй, предпочтение отдают талантам, при условии использования их как генераторов идей, без возложения и, соответственно, ожидания исполнительской части.
Пожалуй, талантливые побеждают. Хотя сложно представить себе, как измерить степень таланта. Поэтому мы любим всех членов команды одинаково 🙂
7. Как вы понимаете, что перед вами гениальный специалист или гениальное решение?
Пожалуй, подобные выводы никогда нельзя делать скоропалительно, доверяя лишь словам человека о себе или отзывам о нём, равно как и по поверхностной информации о каком-либо решении. Лишь в ходе глубокого и детального анализа решения или оценки уже выполненной специалистом работы может быть сформировано то или иное мнение.
Делать преждевременные выводы всегда опасно. Нужно время, чтобы разобраться как в человеке, так и в решении.
Некоторым дано это просто почувствовать. Это сложно объяснить, но хорошего специалиста (неважно, исследователь это, врач или просто консультант в магазине) всегда можно почувствовать, ему сразу доверяешь (особенно если он отвечает на все твои вопросы еще даже до того, как ты их задашь).
8. С одной стороны, кажется, что представители точных наук меньше подвержены когнитивным искажениям, так как они чаще работают с экспериментами, доказательствами и количественными данными. С другой стороны, известно, что корни таких искажений уходят в эмоциональную сферу. А она действует молниеносно. Как это устроено у вас?
Да, в нашей сфере деятельности всё просто: как только появляются предпосылки к уверенности, что какая-то идея точно работает, нужно провести её экспериментальное исследование, и всё сразу же встаёт на свои места. Встречаются, по правде, иногда тяжёлые случаи, когда многократные эксперименты указывают на неработоспособность идеи, однако её автор снова и снова ищет ошибки в процедуре проведения эксперимента, оставаясь убеждённым в своей правоте. Но у нас в команде таких нет. 😊
В нашем случае ловушка расположена в сложности. Когда видишь достаточно сложную новую информацию, которую не можешь сразу освоить и понять, происходит внутреннее упрощение, что крайне опасно.
Безусловно, выводы из экспериментов строятся в том числе и на субъективных ощущениях. Но не всегда можно проверить, правдивы ли эти ощущения (имеющийся опыт) или нет (возможно, когнитивные искажения).
У каждого есть дни, когда эмоции решают всё 😊 Но все важные решения надо стараться принимать в состоянии душевного равновесия, опираясь только на свои внутренние ощущения (интуицию) с учётом всех имеющихся фактов.
9. В научпопе иногда можно услышать высказывания о том, что законы физики что-то “запрещают” или “разрешают”. В этом смысле математика кажется менее консервативной. Когда вы строите гипотезы для проверки, часто ли прикидываете, что обречено на провал, согласно общепринятым нормам, а у чего есть шансы? Это происходит в результате расчётов или интуиции? Значит ли это, что вы знаете все законы своей науки?
При постановке экспериментов мы, конечно, ранжируем проверяемые гипотезы в соответствии с ожидаемым профитом. При большом количестве гипотез, требующих проверки, или при ограниченном времени проведения экспериментов ранжировать приходится часто интуитивно, но, разумеется, на интуицию большое влияние оказывает уже накопленный опыт, поэтому это всё же не бессознательные решения. Но вот всех законов математики знать невозможно: регулярно возникают ситуации, когда экспериментальная проверка некой гипотезы выходит за рамки ожиданий, а иногда и преподносит сюрпризы.
Любые гипотезы должны быть проверены экспериментально, любые выявленные аномалии могут быть объяснены в рамках существующих норм, вопрос скорее в глубине проработки проблемы.
Есть мнение, что математика — это не вполне наука, но язык, на котором говорят точные науки. Наша практика — ML — очень специфический прикладной раздел математики, на который крайне сильно влияют и меняют его облик вычислительные возможности. Так что зачастую внутреннее представление, что “так будет работать”, приходится проверять на экспериментах, а не думать над доказательством. ML продолжает оставаться искусством, а не ремеслом; траектория движения знаний здесь: гипотеза -> практическое подтверждение -> строгое обоснование -> публикация.
Действительно, математика более гибкая😊 Если есть некоторое утверждение, например, 2+2=4, то его можно обойти, создав условия, в которых оно не выполняется. Продолжая пример: 2+2=11 в троичной системе счисления или 2+2=10 в четверичной. Можно ведь сначала опираться и на интуицию, а потом уже искать подтверждение своих гипотез. Все законы мы точно не знаем (и думаем, что это в принципе невозможно).
10. Упомянутая выше практика Bug Bounty в кибербезопасности подразумевает, что ваши разработки — практически ваше детище — будут подвергаться всяческим атакам, а в случае успеха атакующие ещё и получат весомое вознаграждение. Это вызывает в вас азарт соревнования или вы бы предпочли избежать связанных с этим тревог?
Это крайне полезный и более чем эффективный подход в ходе анализа стойкости защиты ПО от злоумышленников. Разработчику защиты бывает элементарно некогда следить за всеми новациями в арсенале атакующего, публикуемыми в тематических сообществах и литературе, и будет лучше выявить уязвимость на предварительном этапе, нежели позже разбираться с последствиями. Но, конечно, отдельной эмоциональной наградой разработчику защиты служит факт безрезультатного Баунти, указывающий на то, что ты всё сделал как надо.😊
Это нормальная практика для сферы информационной безопасности. Здесь разработчик продукта всегда более уязвим, нежели тот, кто атакует. Потому что если атака прошла, то разработчик в дураках, а атакующий молодец. В противном случае никаких выводов не удаётся сделать, кроме тех, что у конкретного атакующего не получилось, и это не даёт разработчику право спокойно спать. Единственные тревоги связаны с тем, чтобы атакующие действовали в рамках той модели угроз, в которой мы подразумеваем использование продукта.
Вообще, игра на поле без правил сама по себе связана с тревогами. И если мы сами не можем протестировать свои разработки путем проведения тестирования по регламентированному набору правил, то их передача на тестирование всем желающим — единственный способ подтвердить или опровергнуть их надёжность и безопасность.
Ведь любой создатель хочет, чтобы его детище было идеально (ну или приближено к идеалу). Поэтому конструктивная критика, которая позволяет улучшить продукт, должна восприниматься положительно, как толчок к дальнейшему развитию продукта и его усовершенствованию. Хотя на практике, конечно, не удаётся избежать тревог и расстройства.
11. Говорят, что математики, работающие с абстракциями, могут чувствовать иррациональное. Как вы считаете, есть ли что-то недоступное для объяснения даже языком математики, не говоря уже о простом человеческом языке?
Мы не можем говорить за всех, поэтому лучше воздержаться от неоправданных собственным опытом рассуждений.
В данном случае всё зависит от объясняющего. Отдельный опыт говорит о том, что чем больше специалист разбирается в исследуемой им области, тем легче ему что-либо объяснить не только своим коллегам, но и людям, далеким от предметной области.
Математики — люди со своими чувствами и убеждениями, религиозными верованиями. И так как даже в этом они не смогли прийти к общему знаменателю, то вполне законно можно утверждать, что математике не под силу описать мир чувств. Просто те, кто занимается математикой, более критичны к своим умозаключениям, оставляя вероятность ошибки самих аксиом, из которых они выведены.
Может быть, и есть что-то недоступное… А может, мы просто ещё не до конца изучили язык математики. Ведь любой язык расширяется с появлением в нашей жизни новых объектов и явлений, которые становится необходимо как-то описать.
12. Существует ли какой-либо иррациональный фактор, влияющий на результат в вашей сфере деятельности?
Такой фактор есть, и этот фактор — вера в успешное решение поставленной задачи, без которой ни дисциплина, ни талант не помогут достичь результата. Вера в то, что мы на правильном пути, дает мотивацию, заставляет искать идеи там, где, казалось бы, всё уже проверено и не позволяет огорчаться, когда очередная идея не дала эффекта.
13. Вдохновляет ли вас история Сринивасы Рамануджана, который часто полагался на интуицию в своих математических открытиях? Насколько интуиция важна в вашем подходе?
Да, его история удивительна, но его открытия основаны не на интуиции, а на уникальном строении связей нейронов его мозга. Это человек-уникум, другим просто такого не дано — а то, что человеку сложно самому себе объяснить логически, он объясняет случайностью, интуицией, судьбой и прочим. На интуицию в математике зачастую списывают то, к чему автор долго шёл, обрабатывая массивы информации в подсознании. Не зря же, согласно легендам, многим великим первооткрывателям их главные результаты приснились во сне.
Случай Сринивасы Рамануджана пугает и поражает одновременно. По нашему опыту, предпочтительно увязывать интуитивные предположения с удачным складыванием пазла из знаний в подсознательных глубинах разума.
Нас восхищают люди, глубоко чувствующие закономерности. Важна интуиция или нет, зависит больше не от подхода, а от человека. На что человек привык опираться в своих открытиях, то и надо использовать.
14. Квантовые компьютеры могут взломать любые пароли — это правда или преувеличение? Каким вы видите потенциал квантовых вычислений в области безопасности?
Безусловно, это преувеличение. Уже сейчас стандартизовано множество различных алгоритмов шифрования, доказано стойких к атакам, выполняемым на квантовых компьютерах. Однако стоит иметь в виду, что алгоритмы защиты информации, широко используемые в настоящее время, стойкостью к квантовым компьютерам не обладают, а переход на стойкие алгоритмы требует времени, ресурсов и желания. Поэтому если квантовый компьютер на 256 q-битов появится завтра, его владелец сможет получить доступ к огромному количеству защищаемых данных от банковских транзакций до личной переписки в мессенджерах.
Квантовые компьютеры не универсальны и способны дать вычислительное преимущество только в определенном круге задач. В настоящее время разработан широкий спектр алгоритмов защиты информации, стойких к атакам, вычислительное преимущество по которым способен предоставить квантовый компьютер. Тем не менее развитие квантовых вычислений может привести к прорыву во многих областях, и ML тут не исключение.
Квантовые вычислители несут угрозу вполне ограниченному перечню средств защиты информации. Даже в этом случае взлом будет происходить не по щелчку пальцев: максимум — квадратичное сокращение времени перебора. Криптографы давно готовятся противостоять “квантовому апокалипсису”, и уже могут предложить техники, устойчивые к квантовым вычислениям. Более интересны способы применения квантовых компьютеров в AI. Как это скажется на отрасли и к чему приведет?..
1 Термин «skunkworks» произошел от программы перспективных разработок компании Lockheed Martin, известной как Skunk Works. Она была создана во время Второй мировой войны для быстрой разработки инновационных самолетов вне рамок обычных бюрократических процессов компании. Skunk Works была ответственна за некоторые из самых новаторских конструкций самолетов, включая самолет-шпион U-2, SR-71 Blackbird и F-117 Nighthawk, первый операционный стелс-самолет. Команде была предоставлена автономия, ресурсы и мандат на инновации без ограничений со стороны основной корпоративной структуры. Это позволило им действовать как внутренние конкуренты, расширяя границы и мысля нестандартно.
