Süni intellekti öz kompüterinizdə işlədin: lokal modellər, avadanlıq və məxfilik hədləri

Süni intellekti lokal işlətmək nə deməkdir?

Dil modelini lokal işlətmək o deməkdir ki, modelin hesablamaları uzaq provayderin inferens xidmətində deyil, istifadəçinin nəzarətində olan kompüterdə aparılır. Model faylları və icra mühiti əldə edildikdən sonra lokal çat internet bağlantısı olmadan işləyə bilər. LM Studio bildirir ki, model mövcud olduqdan sonra onun əsas funksiyaları—çatlar, sənədlərlə çat və lokal server daxil olmaqla—bağlantı tələb etmir. ^[1]

Bu tərif diqqət tələb edir. “Lokal” iş axınının hər hissəsini deyil, inferensin harada baş verdiyini təsvir edir. Model axtarmaq, model fayllarını endirmək, yeniləmələri yoxlamaq, bulud seçimindən istifadə etmək və ya uzaq aləti çağırmaq yenə də şəbəkə trafiki göndərə bilər. LM Studio model axtarışını, yeni modellərin endirilməsini, icra mühitlərinin endirilməsini və yeniləmə yoxlamalarını açıq şəkildə bağlantı tələb edən əməliyyatlar kimi sadalayır. ^[1] Quruluş yalnız ayrı-ayrı komponentləri və şəbəkə parametrləri nə dərəcədə lokaldırsa, o dərəcədə lokaldır.

Lokal işin praktik faydaları var. O, internet kəsintisi zamanı işləyə bilər, kənar xidmətin hər sorğu üçün tutduğu ödənişlərdən yayınmağa imkan verir və seçilmiş tətbiq lokal istifadə üçün tənzimləndikdə adi sorğuları və əlavə edilmiş sənədləri kompüterdə saxlaya bilər. ^[1][4] Onun xərcləri də var: model faylları böyük ola bilər, cavabların keyfiyyəti dəyişir, avadanlıq yavaş ola bilər və yeniləmələr, endirmələr, saxlama və giriş nəzarəti üçün məsuliyyət istifadəçinin üzərinə düşür.

Sağlam ilk məqsəd təvazökardır: bir kiçik modeli bir kompüterdə, bir lokal tətbiq vasitəsilə, həssas olmayan sınaq mətni ilə işlətmək. Bu, vacib sənədlər işə qarışmazdan əvvəl avadanlığı, icra mühitini və fayl formatını sınaqdan keçirir. Həm də məhdudiyyətin modeldə, kontekst uzunluğunda, mövcud yaddaşda, yoxsa tətbiqin konfiqurasiyasında olduğunu ayırd etməyi asanlaşdırır.

Hansı lokal süni intellekt tətbiqi ilə başlamalısınız?

Qrafik masaüstü təcrübəsi üçün LM Studio sadə başlanğıc nöqtəsidir. Hugging Face onu lokal modelləri endirmək, işlətmək və onlarla təcrübə aparmaq üçün qrafik interfeysi, model brauzeri və tərtibatçı alətləri olan masaüstü tətbiq kimi təsvir edir. O, Hub-ın lokal tətbiq inteqrasiyaları vasitəsilə uyğun GGUF və MLX fayllarını dəstəkləyir. ^[4]

Əmr sətri iş axını və sadə lokal xidmət üçün Ollama geniş yayılmış seçimdir. Hugging Face Ollama-nı dil modellərini sadə əmr sətri interfeysi ilə lokal işlədən tətbiq kimi təsvir edir və GGUF uyğunluğunu qeyd edir. Ollama macOS, Linux və Windows üçün endirmələr təqdim edir. ^[3][4] Onun endirmə səhifəsi həm də lokal işlədilən modelləri Ollama-nın serverlərində işləyən bulud modellərindən fərqləndirir, ona görə də iş axını yalnız lokal model seçildikdə lokaldır. ^[3] Bu, onu yalnız çat pəncərəsindən istifadə etmək deyil, modeli lokal skriptə və ya tətbiqə inteqrasiya etmək istəyən şəxs üçün uyğun edir.

Daha aşağı səviyyəli nəzarət istəyən Apple silicon istifadəçiləri üçün MLX-LM Apple-a yönəlmiş yoldur. Apple MLX-i Apple silicon üçün açıq mənbəli massiv freymvorku kimi təsvir edir və bildirir ki, MLX-LM dil modellərini yükləyə, işlədə, kvantlaşdıra və incə tənzimləyə bilər. Onun MLX-LM Server-i OpenAI ilə uyğun lokal interfeys təqdim edir. ^[5] Bu, tərtibatçılar üçün faydalıdır, lakin ilk təcrübə üçün qrafik tətbiq adətən daha sadədir.

Tətbiqi yalnız onun kataloqunda model adı göründüyünə görə seçməyin. Fayl formatı və icra mühiti vacibdir. Hugging Face qeyd edir ki, onun model səhifəsi inteqrasiyası lokal tətbiqi yalnız modelin uyğun olduğu yerdə göstərir—məsələn, llama.cpp və ya Ollama ilə GGUF, LM Studio ilə GGUF və ya MLX, MLX LM ilə isə MLX mətn generasiyası modelləri. ^[4] Seçilmiş işəsalıcının həqiqətən dəstəklədiyi model formatını seçin.

Praktik qayda belədir: öyrənərkən qrafik interfeysi (GUI), avtomatlaşdırma vacib olduqda lokal əmr sətri işəsalıcısını, tətbiq qurarkən və ya ona xidmət göstərərkən isə inferens freymvorkunu seçin. Bu kateqoriyalar üst-üstə düşür, ona görə də onlara rəqabət aparan ideoloji seçimlər kimi yanaşmaq əvəzinə dəqiq iş axınını sınaqdan keçirin.

Lokal modeli işlətmək üçün hansı avadanlıq lazımdır?

Mövcud yaddaş ilk məhdudiyyətdir. Model çəkiləri əməliyyat sistemi, icra mühiti, sorğu konteksti və müvəqqəti işçi yaddaşla yanaşı yerləşməlidir. Model texniki cəhətdən yüklənə bilər və yenə də bezdirici dərəcədə yavaş ola və ya tələb olunan kontekst uzandıqda sıradan çıxa bilər. Maşının nəzəri maksimumundan daha kiçik modellə başlayın, sonra xeyli böyük modeli endirməzdən əvvəl cavab sürətini və yaddaş yükünü ölçün.

Fayl ölçüsü faydalı xəbərdarlıqdır, tam cavab deyil. Qwen-in Qwen3.8-27B model kartı dil modeli üçün 27B parametr göstərir (Hugging Face səhifəsinin fayl xülasəsi saxlanılan çəkiləri 28B parametrə yuvarlaqlaşdırır), nə qədər saxlama yeri və yaddaş lazım olduğunu isə endirilən model forması və kvantlaşdırma müəyyən edir. ^[6] 11 noyabr 2026-cı il tarixinə Ollama-da sadalanan Qwen3.8 27B teqləri təqdimat formasından asılı olaraq 18 GB-dan 56 GB-a qədər dəyişir. ^[8] 18 GB rəqəmi 18 GB yaddaşlı kompüterin onu rahat işlədəcəyinə vəd deyil, çünki kontekst, icra mühiti və əməliyyat sistemi də yaddaş sərf edir.

Kimi K3.1 Pro “açıq çəki”nin niyə “noutbuka uyğun” demək olmadığını göstərir. Onu dərc edənin model kartı 104B aktivləşdirilmiş parametri və bir milyon tokenlik kontekst pəncərəsi olan 2.8T parametrli ekspertlər qarışığı (mixture-of-experts) modelini təsvir edir. ^[7] Kartda yaddaş və ya GPU tələbi göstərilmir; o, vLLM, SGLang və TokenSpeed inferens mühərriklərini tövsiyə edir. ^[7] Bu, yığcam lokal modeldən çox fərqli miqyasdır. Endirilə bilən faylların olması adi fərdi kompüterin modeli lokal olaraq faydalı şəkildə işlədə biləcəyinə sübut deyil.

Apple silicon-da ümumi yaddaş tutumu praktik tavandır. Apple MLX-LM server iş axınlarını Mac-da nümayiş etdirir və qeyd edir ki, hətta 512 GB RAM-ı olan maşın bəzi modellər üçün çox kiçik ola bilər; 2026-cı ilin iyun sessiyasında o, ən son DeepSeek modelinin təkcə çəkilər üçün 800 GB-dan çox yaddaşa ehtiyac duyduğunu misal gətirir və daha böyük hallar üçün modelin bir neçə Mac arasında paylanmasını təsvir edir. ^[5] Bu, qabaqcıl infrastrukturdur, adi başlanğıc tələbi deyil.

Güclü GPU lokal inferensi sürətləndirir: Ollama-nın endirmə səhifəsində deyilir ki, güclü GPU-su olmayan kompüterdə böyük modellər yavaş işləyir, Hugging Face isə llama.cpp-ni həm CPU, həm də GPU üçün optimallaşdırılmış kimi təsvir edir; deməli, kifayət qədər kiçik modellər və təvazökar gözləntilər üçün yalnız CPU ilə işlətmək mümkün qalır. ^[3][4] Avadanlıq seçimi faktiki tapşırıqdan başlamalıdır: arabir şəxsi qaralama yazmaq, lokal sənəd axtarışı, kod yazmaqda kömək və ya bir neçə nəfərə xidmət göstərmək kimi işlərin hər biri fərqli cavab müddəti və model miqyası tələb edir. Avadanlığı yalnız parametr sayına əsaslanaraq almayın.

Lokal modeli necə seçməlisiniz?

İnternetdəki populyarlığa görə seçməzdən əvvəl tapşırığa, lisenziyaya, formata və avadanlığa uyğunluğa görə seçin. Kiçik təlimat modeli qaralama yazmaq, kritik olmayan qeydləri ümumiləşdirmək və sadə lokal avtomatlaşdırma üçün yetərli ola bilər. Şəkillər tapşırığın bir hissəsi olduqda görmə-dil modeli aktual ola bilər. Daha böyük model bəzi tapşırıqları yaxşılaşdıra bilər, lakin daha çox yaddaş, saxlama yeri, enerji və vaxt tələb edir. Təkcə reytinq cədvəlinə etibar etmək əvəzinə namizəd modellərdə eyni qısa sorğunu və cavabı məlum olan yoxlamanı sınaqdan keçirin.

Qwen3.8-27B aydın lokal paylanma yolları olan cari nümunələrdən biridir. Onun rəsmi model kartı onu 27B parametrli doğma görmə-dil modeli kimi təsvir edir, Hugging Face səhifəsi llama.cpp, Ollama və LM Studio-da istifadə üçün kvantlaşdırmalara keçid verir, Ollama-nın öz kitabxanası da modeli sadalayır. ^[6][8] Bu, onu yalnız seçilmiş kvantlaşdırmanı və konteksti qaldıra bilən avadanlıq üçün namizəd edir. Model kartındakı imkan iddiaları dərc edənin bəyanatlarıdır, modelin konkret oxucu üçün düzgün cavablar verəcəyinə təminat deyil.

Kimi K3.1 Pro endirmədən əvvəl miqyas yoxlamasına sövq etməli olan model nümunəsidir. Onun model kartı onu açıq çəkili və multimodal kimi qeyd edir, lakin həm də 2.8T ümumi parametrli arxitekturanı və Apache 2.0 deyil, xüsusi lisenziya adını göstərir. ^[7] İstifadəçi onun lokal istifadə edilə, yenidən paylana və ya kommersiya məqsədilə istifadə oluna biləcəyini güman etməzdən əvvəl lisenziyanı və yerləşdirmə qeydlərini oxumalıdır. Böyük şöhrət onu düzgün ilk lokal model etmir.

Kvantlaşdırma modeli işlətməyi asanlaşdırmaq üçün azaldılmış ədədi dəqiqliklə saxlama və ya hesablama praktikasıdır. O, disk istifadəsini və yaddaş ehtiyaclarını xeyli dəyişə bilər, lakin çıxışın keyfiyyətinə, sürətə və ya dəstəklənən funksiyalara da təsir göstərə bilər. Məsələn, Ollama-da eyni Qwen3.8 27B modelinin q4_K_M, q8_0 və bf16 teqləri 18 GB, 30 GB və 56 GB kimi göstərilir. ^[8] Buna görə də eyni baza modelinin adını daşıyan iki endirmənin tələbləri fərqli ola bilər. Nəticələri müqayisə edərkən dəqiq model repozitorisini, reviziyanı, kvantlaşdırmanı və icra mühitini qeyd edin.

Tapşırıq olmadan heç bir modeli “ən yaxşı” adlandırmayın. Oflayn qeyd qaralamaları üçün stabil işləyən və rahat yerləşən model tez-tez yaddaşı tükəndirən daha böyük modeldən yaxşı ola bilər. Kod yazmaqda kömək üçün onu faktiki istifadə olunan proqramlaşdırma dili və layihə üslubu ilə sınaqdan keçirin. Şəxsi və ya peşə məlumatı olan sənədlər üçün əvvəlcə tətbiqin lokal qaldığını və modelin bulud konnektoru vasitəsilə yönləndirilmədiyini yoxlayın.

Lokal modeli işlətməyə təhlükəsiz şəkildə necə başlamaq olar?

Birincisi, işəsalıcını onun rəsmi saytından və ya etibarlı paket mənbəyindən quraşdırın. İcra olunan faylı və ya model paketini çatdakı, video təsvirindəki və ya reklamdakı tanış olmayan keçiddən endirməyin. Ollama dəstəklənən endirmələrini öz endirmə səhifəsindən təklif edir, Hugging Face isə istifadəçiləri uyğun model səhifələri və lokal tətbiq inteqrasiyaları vasitəsilə yönləndirir. ^[3][4]

İkincisi, həmin işəsalıcının dəstəklədiyi formatda kiçik model seçin. Onu etibar etdiyiniz bağlantı üzərindən endirin, sonra dərc edəni, modelin dəqiq adını, reviziyanı, lisenziyanı və fayl ölçüsünü qeyd edin. Bu qeyd vacibdir, çünki model adları icma tərəfindən hazırlanan konvertasiyalar və kvantlaşdırmalar üçün tez-tez təkrar istifadə olunur. Fayl dərc edəndən və ya tanınmış konvertasiya müəllifindən deyilsə, icra etməzdən əvvəl onu diqqətlə yoxlayın.

Üçüncüsü, ilk serveri kompüterin özü ilə məhdudlaşdırın. LM Studio bildirir ki, onun lokal serveri localhost-a və ya lokal şəbəkəyə xidmət göstərə bilər, Apple isə MLX-LM Server-i lokal ünvandan istifadə etməklə nümayiş etdirir. ^[1][5] Lokal şəbəkə serverinə həmin şəbəkədəki digər cihazlar qoşula bilər; bu, localhost-dan fərqli təhlükəsizlik vəziyyətidir. Sadəcə telefonun və ya başqa kompüterin qoşulması üçün model API-sini açıq internetə çıxarmayın.

Dördüncüsü, zərərsiz sorğularla sınaqdan keçirin. Modelin sadə təlimata əməl edib-etmədiyini, nəzərdə tutulan dillə işləyib-işləmədiyini və cavabı məlum olan sualda imtina edib-etmədiyini və ya hallüsinasiya edib-etmədiyini yoxlayın. Lokal modellər əminliklə məlumat uydura bilər. Sağlamlıq, hüquq, maliyyə, təhlükəsizlik və ya mühafizə ilə bağlı qərarlar üçün hər hansı model çıxışına yekun cavab kimi yanaşmaq əvəzinə nüfuzlu cari mənbələrdən və lazım olduqda ixtisaslı yardımdan istifadə edin.

Beşincisi, yalnız bundan sonra sənədlərlə çat və ya avtomatlaşdırma barədə düşünün. LM Studio bildirir ki, lokal emal olunan sənədlər maşında qalır, lakin bu bəyanat onun sənədlərində təsvir edilən lokal funksiyaya aiddir. ^[1] Həssas materialı daxil etməzdən əvvəl faktiki quruluşda aktivləşdirilmiş hər aləti, plaqini, uzaq son nöqtəni və bulud seçimini nəzərdən keçirin.

Lokal süni intellekt məxfi və oflayndırmı?

O, hər sorğunu kənar serverdəki xidmətə göndərməkdən daha məxfi ola bilər, lakin hər mənada avtomatik məxfi deyil. LM Studio bildirir ki, model endirildikdən sonra lokal çatlar və sənədlərin lokal emalı cihazı tərk etmir. Onun məxfilik siyasətində də deyilir ki, istifadəçinin bulud xidmətlərini seçdiyi hallar istisna olmaqla, çatlar və sənədlər şirkət tərəfindən emal olunmur. ^[1][2] Bu bəyanatlar həmin məhsul və konfiqurasiya üçün faydalıdır, bütün tətbiqlər, plaqinlər və ya əməliyyat sistemi xidmətləri üçün ümumi zəmanət deyil.

Modellərin endirilməsi şəbəkə hadisəsidir. Kataloqdakı bir çox axtarış və yeniləmə yoxlaması da belədir. LM Studio bu məhdudiyyətləri açıq şəkildə sənədləşdirir, məxfilik siyasətində isə deyilir ki, yeniləmə yoxlamaları IP ünvanı ilə yanaşı cihaz və tətbiq haqqında məlumat göndərir. ^[1][2] Model repozitorisi endirmə fəaliyyətini qeydə ala bilər, kompüterdə isə yenə də adi şəbəkə xidmətləri, ehtiyat nüsxələr, brauzerlər və son nöqtə proqram təminatı var. Təhdid modeli ciddi təcrid tələb edirsə, yoxlanılmış endirmələrdən sonra maşını şəbəkədən ayırmaq və bütün sistem konfiqurasiyasını nəzərdən keçirmək “lokal” nişanından daha vacibdir.

Lokal saxlama da məsuliyyət yaradır. Model çatları, sənədlər, keşlər və jurnallar diskdə qala bilər. Kompüter hesabını güclü cihaz parolu və mümkün olduqda diskin tam şifrələnməsi ilə qoruyun, lazım gəldikdə ayrı hesablardan istifadə edin və ehtiyat nüsxələrin necə işlədiyini anlayın. Oğurlanmış və ya ortaq istifadə olunan kompüter heç bir sorğu bulud provayderinə göndərilmədiyi halda belə lokal məlumatları ifşa edə bilər.

Məxfilik düzgünlük də demək deyil. Tamamilə oflayn işləyən model yenə də hallüsinasiya edə, qərəzi təkrarlaya, faylı səhv başa düşə və ya təhlükəli məsləhət verə bilər. Lokal iş məlumat axınına nəzarət verir; o, modelin cavabının dəqiq, qanuni, ədalətli və ya ciddi nəticələri olan qərar üçün yararlı olduğunu müəyyən etmir.

Nəhayət, lokal API giriş nəzarətinə layiqdir. Localhost-dakı server adətən girişi eyni maşınla məhdudlaşdırır, lokal şəbəkəyə bağlanmış serverə isə şəbəkədəki digər cihazlar qoşula bilər. Həm Apple, həm də LM Studio lokal server imkanlarını təsvir edir. ^[1][5] Şəbəkəyə kimin qoşula biləcəyini və hansı autentifikasiyanın tətbiq olunduğunu bilmədən “mənim Wi-Fi şəbəkəmdə” ifadəsinin “kifayət qədər məxfi” demək olduğunu güman etməyin.

Lokal modellərlə bağlı ən çox yayılmış səhvlər hansılardır?

Birinci səhv görünən ən böyük modeli endirməkdir. Daha böyük fayllar yüklənməyə bilər, kontekst üçün yer saxlamaya bilər və ya quruluşu istifadəyə yararsız edəcək qədər yavaş ola bilər. Kiçikdən başlayın, baza göstəricisini müəyyən edin və yalnız tapşırıq aydın ehtiyac göstərdikdə miqyası böyüdün.

İkincisi, model faylını tətbiqlə qarışdırmaqdır. Model öyrənilmiş çəkiləri təmin edir; işəsalıcı həmin çəkiləri yükləyən və çıxışlar yaradan kodu təmin edir. Onların birlikdə işləyib-işləmədiyini format uyğunluğu müəyyən edir. Hugging Face-in lokal tətbiqlər üzrə sənədləri LM Studio, Ollama, llama.cpp və MLX LM üçün fərqli uyğun formatları sadalayır. ^[4]

Üçüncüsü, lokal serverin asanlıqla işə salındığına görə təhlükəsiz olduğunu güman etməkdir. Bir kompüterdə işləyən əmr sonradan şəbəkə ünvanını dinləyəcək şəkildə dəyişdirilə, veb-interfeysin arxasına yerləşdirilə və ya başqa proqram təminatı tərəfindən çağırıla bilər. Xidmətləri susmaya görə lokal saxlayın və girişi autentifikasiya və şəbəkənin nəzərdən keçirilməsi ilə düşünülmüş şəkildə əlavə edin.

Dördüncüsü, lisenziya yarlığına xırdalıq kimi yanaşmaqdır. Qwen3.8-27B Hugging Face səhifəsində Apache 2.0 kimi işarələnib, Kimi K3.1 Pro kartı isə ayrıca Kimi lisenziyasını göstərir. ^[6][7] Şərtlər yenidən paylamaya, dəyişdirməyə, kommersiya istifadəsinə və tələb olunan bildirişlərə təsir edə bilər. Oxşar adlı model haqqında bloq yazısını deyil, dəqiq fayllarla bağlı lisenziyanı oxuyun.

Beşincisi, səlis cavaba yoxlanıla bilən mənbədən daha çox etibar etməkdir. Faydalıdırsa, modeldən izah etməyi, qaralama hazırlamağı və ya lokal axtarış aparmağı xahiş edin, lakin vacib iddiaları ilkin sənədlərdə yoxlayın. Qeyri-müəyyənliyə düzgün cavab daha uzun sorğu deyil, mənbənin yoxlanılmasıdır.

Lokal süni intellekt üçün ağlabatan ilk quruluş necədir?

Ağlabatan ilk quruluş bilərəkdən kiçikdir: bir rəsmi masaüstü və ya əmr sətri işəsalıcısı, bir uyğun kiçik model, bir yalnız lokal çat və zərərsiz sınaq materialı. LM Studio, Ollama və MLX-LM hər biri lokal istifadənin fərqli üslublarını dəstəkləyir, ona görə də ilk gündən server klasteri qurmaq əvəzinə istifadəçinin hazırlıq səviyyəsinə uyğun aləti seçin. ^[1][3][4][5]

İlk işə salmadan sonra üç şeyi ölçün: modelin yaddaşı tükətmədən yerləşib-yerləşmədiyini, cavab müddətinin nəzərdə tutulan tapşırıq üçün məqbul olub-olmadığını və məlum cavablarla yoxlandıqda çıxışının kifayət qədər yaxşı olub-olmadığını. Hər hansı nəticə zəifdirsə, kompüterin dərhal dəyişdirilməli olduğunu güman etmək əvəzinə hər dəfə bir dəyişəni dəyişin—daha kiçik model, daha qısa kontekst, fərqli kvantlaşdırma və ya fərqli icra mühiti.

Sonra məxfilik sərhədini aydın müəyyənləşdirin. İş axınının endirmədən sonra oflayn olub-olmadığına, serverin yalnız localhost-da olub-olmadığına, hansı qovluqların əlavə edilə biləcəyinə və hər hansı bulud inteqrasiyasının aktiv olub-olmadığına qərar verin. Nəticə mükəmməl məxfilik və ya mükəmməl intellekt deyil. Bu, güclü tərəfləri və hədləri məlum olan, nəzarət altında olan lokal alətdir.