OlmoEarth v1.3: спутниковые данные о планете превращаются в готовые признаки для анализа

Ai2 представила OlmoEarth v1.3 — модель спутниковых эмбеддингов, для которой опубликованы готовые данные по планете, открытые веса, код и браузерный инструмент для анализа изменений. Разбираемся, как технология работает и что она дает исследователям и практическим командам.

Что произошло

Ai2 выпустила OlmoEarth v1.3 — модель, которая преобразует спутниковые временные ряды в компактные числовые представления, или эмбеддинги. Одновременно команда опубликовала заранее рассчитанные годовые эмбеддинги для всей планеты, браузерный OlmoEarth Embeddings Explorer и материалы, необходимые для самостоятельного использования технологии.

Речь идет не о готовой универсальной карте землепользования. Эмбеддинг описывает, что модель «увидела» в конкретном участке территории, а затем эти признаки можно использовать для решения прикладной задачи: например, классификации культур, анализа вырубки или поиска территорий, похожих друг на друга.

По данным исходной публикации, модель формирует вектор из 128 чисел для каждого пикселя размером 10 метров. Первые 64 компонента можно использовать отдельно — это более компактный вариант, рассчитанный на ситуации, где важны экономия места и скорость обработки.

Зачем нужны готовые эмбеддинги

Раньше работа с OlmoEarth в основном строилась вокруг дообучения модели на спутниковых снимках. Такой подход требует вычислительных ресурсов, доступа к графическим процессорам, а также загрузки и хранения исходных данных.

Эмбеддинги меняют порядок действий. Самая ресурсоемкая часть — обработка спутниковых временных рядов — выполняется заранее. Пользователь получает готовые признаки и может обучить поверх них небольшой классификатор. В результате задача превращается из полноценного запуска большой модели в более легкий эксперимент с локальным моделированием.

OlmoEarth v1.3 использует данные радарных Sentinel-1 и мультиспектральных Sentinel-2 и Landsat. Архитектура включает vision transformer, модуль Attention Pooler, который собирает информацию в один вектор для участка, и линейный слой, уменьшающий представление до 128 чисел.

Практический смысл такой схемы — возможность переиспользовать один и тот же набор признаков для разных задач. Команде не нужно заново обрабатывать всю спутниковую историю, если требуется перейти, например, от карты типов земного покрова к анализу изменений.

Заявленные результаты

В публикации говорится, что OlmoEarth v1.3 сравнивали с AlphaEarth Foundations и Tessera v2 в 27 оценках, охватывающих шесть континентов и разные типы задач. 128-мерная версия получила наивысший результат в 20 испытаниях из 27 и заняла первое место по совокупной оценке. 64-мерный вариант, занимая вдвое меньше места, лидировал в 18 испытаниях.

В рамках оценки также представлен бенчмарк PLANTEUR для определения типов сельскохозяйственных культур в тропических регионах. Авторы заявляют, что модель лучше обобщалась на территории, которых не было в обучении классификатора. Однако эти результаты следует рассматривать именно как сведения из опубликованного технического отчета: для конкретного проекта потребуется отдельная проверка на собственных данных и условиях.

Команда также сообщает о снижении стоимости обучения по сравнению с предыдущими версиями. Для v1.3 потребовалось 53% вычислительного времени от v1.2 и 18% от первой версии. Указанные в публикации оценки выбросов составили соответственно 50% и 22% от прежних уровней. При этом модель сохранила способность работать в режиме дообучения и, по утверждению авторов, сопоставима с v1.2 на исследовательских и партнерских наборах разметки.

Explorer: анализ без собственного GPU

OlmoEarth Embeddings Explorer позволяет просматривать эмбеддинги как карту с ложными цветами. Пользователь может перемещаться по территории, сравнивать разные годы, открывать исходные спутниковые изображения и искать похожие места.

Еще одна функция — обучение небольшого классификатора прямо в интерфейсе. Пользователь отмечает несколько точек с известными метками, запускает первичный анализ и может экспортировать результат в формате GeoTIFF. Согласно источнику, регистрация и настройка вычислительной инфраструктуры для такого сценария не требуются.

Это полезно прежде всего на этапе проверки идеи. Вместо многочасового запуска дообучения можно быстро оценить, различимы ли нужные объекты в представлениях модели, хватает ли разметки и стоит ли переходить к более затратной обработке.

Временной ряд и происхождение данных

Архив Explorer содержит эмбеддинги с разрешением 10 метров. Его объем оценивается примерно в 150 ТБ на год; покрываются суша и прилегающие прибрежные воды. На момент запуска глобальными заявлены данные за 2023–2025 годы, а период 2017–2022 годов доступен для отдельных стран. Авторы обещают расширять покрытие.

Для каждого 20-километрового фрагмента и года публикуются таблицы происхождения данных. В них указаны сцены Sentinel-1, Sentinel-2 и Landsat, использованные моделью, а также ссылки на открытые каталоги. Это дает возможность проследить, какие исходные материалы стоят за конкретным участком карты.

В качестве демонстрации публикация описывает район Мадре-де-Дьос в Перу. Сравнение векторов за разные годы позволяет увидеть зоны, где менялся характер территории, включая участки, связанные с золотодобычей и последующим восстановлением. Такой пример показывает, что эмбеддинги можно применять не только для разовой классификации, но и для поиска пространственно-временных изменений.

Что доступно разработчикам

В релиз входят базовая модель OlmoEarth v1.3, предварительно рассчитанные глобальные эмбеддинги, Explorer и технический отчет. Также опубликованы веса модели, данные предварительного обучения и код. Для задач с нестандартным временным интервалом или собственным набором параметров остается OlmoEarth Studio: он запускает ту же модель на выбранных датах, модальностях и разрешении.

Таким образом, v1.3 предлагает несколько уровней работы: быстрый визуальный поиск и эксперименты в браузере, обучение небольших моделей на готовых признаках и полноценное дообучение при необходимости. Но итоговые карты все равно потребуют проверки человеком, качественной разметки и оценки ошибок на конкретной территории.