‫جستجوی برداری (Vector Search) با استفاده از Azure SQL، Semantic Kernel و Entity Framework Core

1. Azure SQL: پایگاه داده‌ای که نوع داده برداری را پشتیبانی می‌کند و امکان ذخیره و جستجوی بردارها را فراهم می‌آورد.
2. Semantic Kernel: یک کتابخانه متن‌باز از مایکروسافت که توسعه برنامه‌های مبتنی بر هوش مصنوعی را ساده می‌کند. این ابزار برای تولید تعبیه‌ها (Embeddings) و مدیریت تعاملات با مدل‌های هوش مصنوعی استفاده می‌شود.
3. Entity Framework Core: ابزاری برای دسترسی به داده‌ها در دات‌نت که با افزونه EFCore.SqlServer.VectorSearch، عملیات برداری را پشتیبانی می‌کند.

dotnet add package Microsoft.EntityFrameworkCore.SqlServer
dotnet add package EFCore.SqlServer.VectorSearch --prerelease
dotnet add package Microsoft.SemanticKernel

public class Document
{
    public int Id { get; set; }
    public string FileName { get; set; }
    public string Content { get; set; }
    public float[] Embedding { get; set; }
}

public class DocumentContext : DbContext
{
    public DbSet<Document> Documents { get; set; }

    public DocumentContext(DbContextOptions<DocumentContext> options) : base(options) { }

    protected override void OnModelCreating(ModelBuilder modelBuilder)
    {
        modelBuilder.Entity<Document>()
            .Property(d => d.Embedding)
            .HasColumnType("vector(1536)");
    }
}

var builder = Kernel.CreateBuilder();
builder.Services.AddAzureOpenAITextEmbeddingGeneration(
    "text-embedding-ada-002",
    "https://your-openai-endpoint",
    "your-api-key"
);
var kernel = builder.Build();
var embeddingService = kernel.GetRequiredService<ITextEmbeddingGenerationService>();

async Task<float[]> GenerateEmbedding(string content)
{
    var embeddings = await embeddingService.GenerateEmbeddingAsync(content);
    return embeddings.ToArray();
}

using var context = new DocumentContext(options);
var document = new Document
{
    FileName = "sample.pdf",
    Content = "متن نمونه از سند PDF",
    Embedding = await GenerateEmbedding("متن نمونه از سند PDF")
};
context.Documents.Add(document);
await context.SaveChangesAsync();

async Task<List<Document>> SearchDocuments(string query, int limit)
{
    var queryEmbedding = await GenerateEmbedding(query);
    using var context = new DocumentContext(options);
    return await context.Documents
        .OrderBy(d => EF.Functions.VectorDistance("cosine", d.Embedding, queryEmbedding))
        .Take(limit)
        .ToListAsync();
}

app.MapPost("/api/search", async (string query, DocumentContext context) =>
{
    var results = await SearchDocuments(query, 5);
    return Results.Ok(results);
});