رفع صورة والحصول على وصف يتم إنشاؤه بواسطة الذكاء الاصطناعي
Moondream2 هو نموذج يحتوي على 1.86 مليار معامل يُبدأ الاستخدام به من SigLIP و Phi-1.5. تسمح هذه العمارة المضغوطة بالمعالجة الفعالة مع الحفاظ على قدرات قوية.
صُمِّمَ Moondream2 للعمل على الأجهزة ذات إعدادات منخفضة الموارد، ويحسِّن استخدام الذاكرة وقوة المعالجة؛ مما يجعله مثاليًا للاستخدام على الهواتف الذَّكية وأجهزة IoT في سيناريوهات حاسوب حافَّة.
تم تقييم Moondream2 على مهام مختلفة بما في ذلك فهم الجدول والنموذج والوثيقة المعقدة، حيث أظهرت نتائج واعدة لنموذج صغير. يستطيع استخراج المعلومات الرئيسية من أنواع مختلفة من الوثائق بدقة مبهرة.
شاهد هذا العرض التوضيحي لرؤية Moondream2 في العمل، حيث يُظهر قدراته في مختلف السيناريوهات.
Moondream2 يمكنها التعرف على الصور في الوقت الحقيقي على أجهزة المحمول، مما يسمح بالمعالجة الفعالة دون الحاجة إلى اتصال سحابي.
import { Moondream2 } from 'moondream2'
const model = await Moondream2.load()
const image = await loadImageFromCamera()
const result = await model.recognizeImage(image)
console.log(result)
خاصية | موندريم2 | GPT-4V | LLaVA |
---|---|---|---|
حجم النموذج | 1.86B पॅरामीटर्स | ~1.8T पॅरामीटर्स (مقدر) | 13B पॅरामीटर्स |
توافق جهاز الحافة | ✓ | ✗ | ✗ |
حجم بيانات التدريب | صغير | كبير جداً | كبير |
तात्पर्य वेगः | سريع | يبطئ | متوسط |
ملاحظة: تعتمد هذه المقارنة على المعلومات العامة المتاحة وقد لا تعكس أحدث التحديثات على هذه النماذج. يكمن ميزة Moondream2 الرئيسية في حجمها المدمج وكفاءتها، مما يجعلها مناسبة لنشر الأجهزة على حافة الشبكة.
To get started with Moondream2, follow these steps:
1. Install the Moondream2 library: `pip install moondream2`
2. Import the library in your Python script
3. Load the pre-trained model
4. Prepare your input image
5. Use the model to process the image or answer questions about it
import moondream2
# Load the model
model = moondream2.Model.load()
# Prepare your image
image = moondream2.Image.from_file("path/to/your/image.jpg")
# Process the image
result = model.process_image(image)
print(result)
دون الوصول إلى الشفرة المصدرية ، والمساهمة في المشروع ، والبقاء على اطلاع بآخر التطورات.
زيارة GitHubमहाधिपोक्तिاستكشف نموذج Moondream2 على Hugging Face، قُم بتنزيل الأوزان المدرّبة مسبقًا، وامزجها في مشاريعك.
زيارة Hugging Face