Fotoğraftan 3D objeye: Meta, SAM 3 ve SAM 3D’yi tanıttı

Fotoğraftan 3D objeye: Meta, SAM 3 ve SAM 3D’yi tanıttı

Meta Platforms Inc., açık kaynaklı Segment Anything model ailesini genişleterek SAM 3 ve SAM 3D’yi duyurdu. Yeni modeller, obje tanıma doğruluğunu artırırken iki boyutlu manzaraları gerçekçi üç boyutlu modellere dönüştürebiliyor.

Gelişmiş obje algılama: SAM 3 neler sunuyor?

Meta’nın yeni Segment Anything 3 modeli, imaj ve görüntülerdeki objeleri yazılı komutlarla tespit edip izleyebiliyor. Bu sayede kullanıcılar, yalnızca “kırmızı şapka takan kişi” üzere bir sözle bile sahnedeki ilgili objeyi kolay kolay işaretleyebiliyor.

Önceki versiyonlarına nazaran çok daha yüksek doğruluk vadeden SAM 3, hem kolay hem de karmaşık obje tanımlamalarını anlayarak imajları “akıllı halde parçalayabiliyor”. Böylelikle kullanıcılar, fotoğraflardaki aşikâr objeleri seçip düzenleyebiliyor; örneğin mavi gömlekli bir kişinin üzerindeki gömleği kırmızıya çevirmek artık çok daha kolay.

Doğal lisan — Görsel kontağında büyük iyileşme

Meta’ya nazaran uzun müddettir birçok yapay zeka modeli, doğal lisan ile manzaradaki spesifik objeleri eşleştirmekte zorlanıyordu. Bilhassa “sarı okul otobüsü” üzere daha ayrıntılı betimlemelerde yanılgılar sık görülüyordu.

SAM 3 bu manisi aşarak çok daha kapsamlı tanımlamaları gerçek halde eşleştirebiliyor.

Ayrıca, multimodal büyük lisan modelleriyle birlikte çalışarak daha uzun komutları da yorumlayabiliyor:
“Oturmuş şahıslar lakin kırmızı şapka takmayanlar” üzere.

Meta, SAM 3’ü kendi görüntü düzenleme uygulaması Edits içinde de test ediyor ve kullanıcıların görüntülerindeki objelere özel efektler ekleyebileceğini söylüyor. Ayrıyeten kısa, yapay zekâ takviyeli görüntü uygulaması Vibes için de model entegre ediliyor.

Üç boyutlu tekrar inşa: SAM 3D sahneye çıkıyor

SAM 3D, SAM 3’ün obje ayırma yeteneklerini bir üst düzeye taşıyor. Bu model, imajdaki objeleri, insanları ya da hayvanları gerçekçi üç boyutlu modellere dönüştürebiliyor.

Örneğin bir kullanıcı, vefat etmiş bir aile üyesinin fotoğrafını yükleyerek kişinin 3D bir modelini oluşturabilir. Bu model daha sonra görüntülere yahut sanal gerçeklik ortamlarına eklenebilir.

İki model bir arada

SAM 3D iki farklı alt modelden oluşuyor:

SAM 3D Objects: Objelerin ve sahnelerin üç boyutlu rekonstrüksiyonu için kullanılıyor.

SAM 3D Body: Tek bir 2D fotoğraftan insan bedeninin biçimini ve duruşunu kestirim ederek 3D insan modelleri oluşturuyor.

Meta, bu teknolojinin robotik, bilimsel araştırmalar, spor tıbbı, oyun geliştirme ve artırılmış gerçeklik üzere pek çok alanda ihtilal yaratabileceğini düşünüyor.

SAM 3D ayrıyeten Facebook Marketplace’teki “Odanızda Görünüm” özelliğini güçlendiriyor. Kullanıcılar, satın almak istedikleri mobilyayı meskenlerinin içinde nasıl görüneceğini 3D olarak inceleyebiliyor.

Herkese açık oyun alanı: Segment Anything Playground

Meta, SAM 3 ve SAM 3D’yi herkesin deneyebilmesi için yeni Segment Anything Playground ortamında erişime açtı.

Kullanıcılar:

• Bir imaj yahut görüntü yükleyip metin komutlarıyla obje çıkarabiliyor,

• Sahneyi farklı açılardan görebiliyor,

• Nesneleri tekrar düzenleyip özel efektler ekleyebiliyor,

• 3D modelleri farklı perspektiflerden inceleyebiliyor.

Açık kaynak paylaşımlar ve yeni data setleri

Meta, SAM 3’ün model yüklerini ve kodunu açık kaynak olarak yayımlıyor. Ayrıyeten yeni bir “açık söz haznesi segmentasyonu” bilgi seti ve kıymetlendirme kriteri de araştırmacıların kullanımına sunuluyor.

SAM 3D ise şimdi büsbütün açık kaynak değil. Lakin Meta, modelin denetim noktalarını, çıkarım kodunu ve üç boyutlu rekonstrüksiyon için özel hazırlanmış yeni data setini paylaşıyor.

Chip Alıntıdır…