Яндекс разместил исходный код платформы YTsaurus. Это собственная разработка компания, применяемая для вычислительных задач различных сервисов Яндекса. YTsaurus постоянно применяют для проведения аналитики, а также для машинного обучения моделей с параметрами, где их число легко может превышать шестизначные значения.
Более того, Поиск использует разработку компании для расчетов индексов поисковых результатов. Беспилотные проекты (автомобили) применяют технологию для обработки и анализа данных о поездках с целью последующего улучшения алгоритмов платформы.
Максим Бабенко, глава по технологиям распределенных вычислений, в своем интервью для пресс-службы поделился, что процесс создания YTsaurus началась в далеком 2010 году. Идея и мотивация появились из-за того, что готовые решения, существовавшие на тот момент, не покрывали высокие запросы компании.
На сегодняшний день YTsaurus стал неотъемлемой частью внутренней инфраструктуры Яндекса, и большая команда опытных разработчиков постоянно трудятся над ее улучшением.
Алексей Башкеев, занимающий пост главы облачных технологий, рассказал, что разработка YTsaurus будет особенно полезна для больших компаний. Как правило, именно они нуждаются в мощностях для обработки крупных объемов данных на многочисленных серверах.
Более того, с развитием компаний растет и нагрузка на них. Он отмечает, что платформа отличается отказоустойчивостью и масштабируемостью. Кроме того, она умеет работать с различными распространенными методами обработки данных, включая взаимодействие с ClickHouse и Apache Spark.
Руководство по применению разработки YTsaurus уже опубликована на GitHub. Тип лицензии у платформы — Apache 2.0. Следовательно, компании могут применять разработку Яндекса в своих целях, а также модифицировать ее при необходимости.
