‫استخراج داده‌های ساخت‌یافته از تصاویر با استفاده از Ollama در .NET

در این مقاله، روشی برای استخراج داده‌های ساخت‌یافته از تصاویر با استفاده از مدل‌های دیداری (LLM) و Ollama در محیط .NET معرفی شده است. هدف اصلی، تبدیل تصاویر رسیدهای خرید به داده‌های JSON ساخت‌یافته شامل اقلام، مقادیر و قیمت‌ها است. این روش به طور کامل بر روی دستگاه محلی با استفاده از Ollama و مدل llama3.2-vision اجرا می‌شود. برای راه‌اندازی، ابتدا مدل llama3.2-vision را با استفاده از دستور ollama pull llama3.2-vision:latest دانلود کرده و سپس با دستور ollama run llama3.2-vision:latest آن را اجرا می‌کنید. در سمت .NET، از Microsoft.Extensions.AI و OllamaSharp برای برقراری ارتباط با مدل LLM استفاده می‌شود. این روش به شما امکان می‌دهد تا بدون نیاز به مدیریت کلیدهای API یا وابستگی‌های ابری، به راحتی با مدل تعامل داشته باشید. برای ارسال تصویر به مدل، ابتدا داده‌های باینری تصویر را با استفاده از File.ReadAllBytes خوانده و سپس آن‌ها را در یک شی DataContent با نوع MIME مناسب (image/png) قرار می‌دهید. این DataContent را به یک شی ChatMessage اضافه کرده و سپس آن را به IChatClient ارسال می‌کنید. پاسخ مدل به صورت متن خام دریافت می‌شود که می‌تواند با استفاده از روش‌های مختلف پردازش و تجزیه شود. یکی از مزایای استفاده از IChatClient، انعطاف‌پذیری آن است. شما می‌توانید به راحتی مدل Ollama را با سایر ارائه دهندگان LLM مانند OpenAI یا Azure جایگزین کنید بدون اینکه نیاز به تغییرات اساسی در کد برنامه خود داشته باشید. این امر به شما امکان می‌دهد تا به راحتی بین مدل‌های مختلف جابجا شوید و بهترین گزینه را برای نیازهای خود انتخاب کنید. در نهایت، این روش به توسعه‌دهندگان .NET این امکان را می‌دهد تا به راحتی داده‌های ساخت‌یافته را از تصاویر استخراج کنند و از آن‌ها در برنامه‌های خود استفاده کنند. با استفاده از Ollama و مدل‌های دیداری، می‌توان فرآیندهای خودکارسازی را بهبود بخشید و کارایی را افزایش داد.