Bölüm 30 / 33
Yapay Zekâ ve LLM Entegrasyonları
Modern web sistemlerine yapay zekâ ve büyük dil modeli özellikleri eklerken bilinmesi gereken temel kavramlar.
2 canlı örnek — seçerek incele
İlgili kavramlar: LLM, Prompt, Token
LLM sohbet mock
Makinelerin algılama, tahmin, karar veya dil gibi görevleri gerçekleştirmesi alanı.
Sistemin açıkça her kural yazılmadan veriden örüntü öğrenmesi yaklaşımı.
Eğitim verisinden öğrenilen ve girdiden çıktı üreten matematiksel sistem.
Model parametrelerini veri ve hedefe göre optimize etme süreci.
Eğitilmiş modelin yeni girdi için çıktı üretmesi.
Eğitim, değerlendirme veya uygulama için kullanılan veri koleksiyonu.
Modelin tahmin yaparken kullandığı girdi özelliği.
Denetimli öğrenmede tahmin edilmesi istenen doğru hedef değer.
- LLMT
Büyük metin verisi üzerinde eğitilmiş, dil anlama ve üretme yeteneği olan model.
Modelin metni işlerken kullandığı kelime parçası veya karakter grubu.
Metni model token'larına ayırma işlemi.
Modelin tek istekte dikkate alabildiği maksimum token miktarı.
Modele görev, bağlam ve formatı anlatan girdi.
Modelin genel rol, kurallar ve davranış sınırlarını belirleyen üst talimat.
Son kullanıcının modele gönderdiği istek.
Modele birkaç örnek girdi-çıktı göstererek davranışı yönlendirme.
Örnek vermeden yalnızca talimatla görev isteme.
Değişken alanlarla tekrar kullanılan standart prompt yapısı.
Kullanıcı veya harici içeriğin model talimatlarını kötü niyetle değiştirmeye çalışması.
Web sayfası veya doküman içindeki gizli talimatın agent davranışını etkilemesi.
Modelin güvenlik veya sistem kurallarını aşmaya çalışan prompt yaklaşımı.
Model çıktısının JSON alan ve türlerini belirleyen yapı.
Modelin serbest metin yerine doğrulanabilir şemalı veri üretmesi.
Model çıktısını geçerli JSON biçiminde sınırlayan özellik.
Modelin kullanılacak araç/fonksiyon ve argümanlarını yapılandırılmış biçimde seçmesi.
- ToolT
Modelin veri okuma veya işlem yapma için çağırabildiği dış fonksiyon.
Modelin hedefe ulaşmak için plan, araç çağrısı ve sonuç değerlendirmesi yaptığı sistem.
Modelin gözlem, karar, araç ve yeni gözlem adımlarını tekrarlaması.
Bir veya çok model, tool, memory ve workflow'un birlikte yönetilmesi.
Önceden belirlenmiş AI ve uygulama adımlarından oluşan süreç.
LLM yerine normal kodla kesin olarak gerçekleştirilen işlem.
AI giriş/çıkışını güvenlik, format ve iş kuralları açısından sınırlayan kontrol.
Kritik AI kararının insan onayı veya düzeltmesiyle tamamlanması.
Model veya sınıflandırıcının çıktıya duyduğu tahmini güven değeri.
Modelin doğru görünse de kaynağa dayanmayan yanlış bilgi üretmesi.
Model çıktısını güvenilir doküman, veri veya araç sonucu üzerine dayandırma.
- RAGO
Kullanıcı sorusuyla ilgili veriyi arayıp modele bağlam olarak vererek yanıt üretme.
Sorguya ilgili belge veya kayıt parçalarını bulma.
Metin veya nesneyi anlamsal benzerliği temsil eden sayısal vektöre dönüştürme.
Embedding boyutlarındaki sayısal değer dizisi.
Embedding'leri saklayıp benzerlik sorgusu yapan veri sistemi.
Sorgu vektörüne en yakın kayıtları uzaklık metriğiyle bulma.
İki vektörün yön benzerliğini ölçen metrik.
Uzun dokümanı retrieval için daha küçük anlamlı parçalara ayırma.
Tek belge parçasının token veya karakter büyüklüğü.
Bağlam kaybını azaltmak için ardışık parçaların ortak metin taşıması.
Retrieval sonucunu tenant, tarih veya doküman türüne göre sınırlama.
Keyword ve vector arama sonuçlarını birlikte kullanma.
İlk retrieval sonuçlarını daha güçlü modelle yeniden sıralama.
Retrieval'dan modele gönderilecek en iyi sonuç sayısı.
AI yanıtındaki bilginin hangi kaynak parçasına dayandığını gösterme.
AI sisteminin arayıp kullanacağı doküman ve veri koleksiyonu.
Dosyayı alma, ayrıştırma, chunk, embedding ve index sürecine sokma.
PDF, HTML veya DOCX içeriğini yapılandırılmış metne dönüştüren bileşen.
- OCRO
Taranmış görsel dokümandan metin çıkarma.
İçeriği işleyip search/vector index'e yazan asenkron süreç.
Yalnızca değişen veya yeni dokümanları tekrar index'leme.
Metni vektör temsilinə dönüştüren model.
Yanıt veya içerik üreten dil modeli.
Hazır modeli belirli örnek ve davranışlara uyarlamak için ek eğitim.
Modeli talimat takip edecek biçimde örneklerle eğitme.
- LoRAİ
Az sayıda ek parametreyle model uyarlamayı sağlayan verimli fine-tuning yöntemi.
AI çıktısının doğruluk, uygunluk, güvenlik ve maliyet açısından ölçülmesi.
Model davranışını düzenli test etmek için hazırlanmış girdi ve beklenen sonuç seti.
Değerlendirmede referans olarak kullanılan uzman onaylı cevap.
Bir model çıktısını başka modelle rubric üzerinden değerlendirme yaklaşımı.
Yanıtın sağlanan kaynaklarla desteklenme düzeyi.
Yanıtın kullanıcı sorusunu ne ölçüde doğrudan karşıladığı.
İhtiyaç duyulan ilgili kaynakların retrieval sonuçlarına girme oranı.
AI isteğinin tamamlanma süresi.
İstekten ilk üretilen token'ın kullanıcıya ulaşmasına kadar geçen süre.
Model çıktısını tamamlanmasını beklemeden parça parça kullanıcıya gönderme.
İstek ve yanıtta işlenen token sayısı.
Model, embedding ve altyapı kullanımının tek istek başına maliyeti.
Model sağlayıcısının zaman içinde izin verdiği request veya token sınırı.
Ana model kullanılamadığında veya görev basitse kullanılan alternatif model.
Görev türü, maliyet veya kaliteye göre uygun modeli seçme.
Aynı veya benzer AI isteklerinin sonucunu yeniden kullanma.
Anlamsal olarak benzer prompt'lara önceki yanıtı döndürme.
Prompt değişikliklerini sürüm, deney ve sonuçlarla takip etme.
AI davranışını kullanılan model sürümüyle ilişkilendirme.
Prompt, model, token, latency, tool ve hata verilerini izleme.
Tek AI isteğinin retrieval, model ve tool adımlarını uçtan uca kaydetme.
Kullanıcı ve model mesajlarının aynı bağlam altında tutulduğu oturum.
Conversation içindeki system, user, assistant veya tool girdisi.
Agent'ın önceki kullanıcı bilgisi veya görev durumunu gelecekte kullanması.
Mevcut conversation bağlamında tutulan geçici bilgi.
Kullanıcı onayı ve politika kapsamında kalıcı saklanan seçilmiş bilgi.
Uzun konuşmayı daha az tokenla temsil eden özet bağlam.
Gereksiz ayrıntıyı çıkarıp gerekli bilgiyi küçük bağlama dönüştürme.
Model sağlayıcısına gitmeden kişisel veriyi maskeleme veya kaldırma.
AI girdileri, çıktıları ve loglarının gizlilik kurallarıyla yönetilmesi.
Prompt ve output verilerinin ne kadar süre saklanacağını belirleyen politika.
Bir tenant doküman veya memory bilgisinin başka tenant retrieval'ına girmemesini sağlama.
Girdi ve çıktıyı zararlı veya yasak içerik kategorilerine karşı kontrol etme.
Riskli model isteği veya yanıtını engelleyen sınıflandırıcı/kural.
AI tarafından hazırlanan içerik veya aksiyonun yayın öncesi insan onayına gitmesi.
Kullanıcıya bilgi, öneri veya işlem desteği veren konuşmalı AI özelliği.
Kullanıcının mevcut iş akışında öneri ve taslakla yardımcı olan AI.
Sınırlı insan müdahalesiyle çok adımlı görev ve araç çağrısı yapabilen sistem.
Keyword, vector ve üretken yanıtı birleştiren arama deneyimi.
Kullanıcı davranışından ürün veya içerik önerisi üreten model.
Girdiyi önceden tanımlanmış kategori veya etiketlerden birine atama.
Metinden isim, tarih, tutar veya ürün gibi yapılandırılmış alan çıkarma.
Uzun içeriği ana bilgileri koruyarak kısaltma.
Metindeki olumlu, olumsuz veya nötr duygu yönünü tahmin etme.
Normal davranıştan anlamlı biçimde ayrılan veri noktalarını tespit etme.
Geçmiş zaman serisinden gelecekteki değerleri tahmin etme.
| Kavram | Seviye | Kısa açıklama |
|---|---|---|
| Artificial Intelligence | T | Makinelerin algılama, tahmin, karar veya dil gibi görevleri gerçekleştirmesi alanı. |
| Machine Learning | T | Sistemin açıkça her kural yazılmadan veriden örüntü öğrenmesi yaklaşımı. |
| Model | T | Eğitim verisinden öğrenilen ve girdiden çıktı üreten matematiksel sistem. |
| Training | O | Model parametrelerini veri ve hedefe göre optimize etme süreci. |
| Inference | T | Eğitilmiş modelin yeni girdi için çıktı üretmesi. |
| Dataset | T | Eğitim, değerlendirme veya uygulama için kullanılan veri koleksiyonu. |
| Feature | T | Modelin tahmin yaparken kullandığı girdi özelliği. |
| Label | T | Denetimli öğrenmede tahmin edilmesi istenen doğru hedef değer. |
| LLM | T | Büyük metin verisi üzerinde eğitilmiş, dil anlama ve üretme yeteneği olan model. |
| Token | T | Modelin metni işlerken kullandığı kelime parçası veya karakter grubu. |
| Tokenization | T | Metni model token'larına ayırma işlemi. |
| Context Window | O | Modelin tek istekte dikkate alabildiği maksimum token miktarı. |
| Prompt | T | Modele görev, bağlam ve formatı anlatan girdi. |
| System Prompt | O | Modelin genel rol, kurallar ve davranış sınırlarını belirleyen üst talimat. |
| User Prompt | T | Son kullanıcının modele gönderdiği istek. |
| Few-shot Prompting | O | Modele birkaç örnek girdi-çıktı göstererek davranışı yönlendirme. |
| Zero-shot Prompting | T | Örnek vermeden yalnızca talimatla görev isteme. |
| Prompt Template | T | Değişken alanlarla tekrar kullanılan standart prompt yapısı. |
| Prompt Injection | O | Kullanıcı veya harici içeriğin model talimatlarını kötü niyetle değiştirmeye çalışması. |
| Indirect Prompt Injection | İ | Web sayfası veya doküman içindeki gizli talimatın agent davranışını etkilemesi. |
| Jailbreak | O | Modelin güvenlik veya sistem kurallarını aşmaya çalışan prompt yaklaşımı. |
| Output Schema | O | Model çıktısının JSON alan ve türlerini belirleyen yapı. |
| Structured Output | O | Modelin serbest metin yerine doğrulanabilir şemalı veri üretmesi. |
| JSON Mode | T | Model çıktısını geçerli JSON biçiminde sınırlayan özellik. |
| Function Calling | O | Modelin kullanılacak araç/fonksiyon ve argümanlarını yapılandırılmış biçimde seçmesi. |
| Tool | T | Modelin veri okuma veya işlem yapma için çağırabildiği dış fonksiyon. |
| Agent | O | Modelin hedefe ulaşmak için plan, araç çağrısı ve sonuç değerlendirmesi yaptığı sistem. |
| Agent Loop | İ | Modelin gözlem, karar, araç ve yeni gözlem adımlarını tekrarlaması. |
| Orchestration | O | Bir veya çok model, tool, memory ve workflow'un birlikte yönetilmesi. |
| Workflow | T | Önceden belirlenmiş AI ve uygulama adımlarından oluşan süreç. |
| Deterministic Step | T | LLM yerine normal kodla kesin olarak gerçekleştirilen işlem. |
| Guardrail | O | AI giriş/çıkışını güvenlik, format ve iş kuralları açısından sınırlayan kontrol. |
| Human in the Loop | O | Kritik AI kararının insan onayı veya düzeltmesiyle tamamlanması. |
| Confidence | O | Model veya sınıflandırıcının çıktıya duyduğu tahmini güven değeri. |
| Hallucination | T | Modelin doğru görünse de kaynağa dayanmayan yanlış bilgi üretmesi. |
| Grounding | O | Model çıktısını güvenilir doküman, veri veya araç sonucu üzerine dayandırma. |
| RAG | O | Kullanıcı sorusuyla ilgili veriyi arayıp modele bağlam olarak vererek yanıt üretme. |
| Retrieval | O | Sorguya ilgili belge veya kayıt parçalarını bulma. |
| Embedding | O | Metin veya nesneyi anlamsal benzerliği temsil eden sayısal vektöre dönüştürme. |
| Vector | O | Embedding boyutlarındaki sayısal değer dizisi. |
| Vector Database | O | Embedding'leri saklayıp benzerlik sorgusu yapan veri sistemi. |
| Similarity Search | O | Sorgu vektörüne en yakın kayıtları uzaklık metriğiyle bulma. |
| Cosine Similarity | O | İki vektörün yön benzerliğini ölçen metrik. |
| Chunking | O | Uzun dokümanı retrieval için daha küçük anlamlı parçalara ayırma. |
| Chunk Size | O | Tek belge parçasının token veya karakter büyüklüğü. |
| Chunk Overlap | O | Bağlam kaybını azaltmak için ardışık parçaların ortak metin taşıması. |
| Metadata Filter | O | Retrieval sonucunu tenant, tarih veya doküman türüne göre sınırlama. |
| Hybrid Search | O | Keyword ve vector arama sonuçlarını birlikte kullanma. |
| Reranking | İ | İlk retrieval sonuçlarını daha güçlü modelle yeniden sıralama. |
| Top-k | O | Retrieval'dan modele gönderilecek en iyi sonuç sayısı. |
| Citation | T | AI yanıtındaki bilginin hangi kaynak parçasına dayandığını gösterme. |
| Knowledge Base | T | AI sisteminin arayıp kullanacağı doküman ve veri koleksiyonu. |
| Document Ingestion | O | Dosyayı alma, ayrıştırma, chunk, embedding ve index sürecine sokma. |
| Parser | T | PDF, HTML veya DOCX içeriğini yapılandırılmış metne dönüştüren bileşen. |
| OCR | O | Taranmış görsel dokümandan metin çıkarma. |
| Indexing Pipeline | O | İçeriği işleyip search/vector index'e yazan asenkron süreç. |
| Incremental Indexing | O | Yalnızca değişen veya yeni dokümanları tekrar index'leme. |
| Embedding Model | O | Metni vektör temsilinə dönüştüren model. |
| Generation Model | T | Yanıt veya içerik üreten dil modeli. |
| Fine-tuning | O | Hazır modeli belirli örnek ve davranışlara uyarlamak için ek eğitim. |
| Instruction Tuning | O | Modeli talimat takip edecek biçimde örneklerle eğitme. |
| LoRA | İ | Az sayıda ek parametreyle model uyarlamayı sağlayan verimli fine-tuning yöntemi. |
| Evaluation | T | AI çıktısının doğruluk, uygunluk, güvenlik ve maliyet açısından ölçülmesi. |
| Eval Dataset | O | Model davranışını düzenli test etmek için hazırlanmış girdi ve beklenen sonuç seti. |
| Golden Answer | O | Değerlendirmede referans olarak kullanılan uzman onaylı cevap. |
| LLM-as-a-judge | İ | Bir model çıktısını başka modelle rubric üzerinden değerlendirme yaklaşımı. |
| Groundedness | O | Yanıtın sağlanan kaynaklarla desteklenme düzeyi. |
| Answer Relevance | O | Yanıtın kullanıcı sorusunu ne ölçüde doğrudan karşıladığı. |
| Retrieval Recall | İ | İhtiyaç duyulan ilgili kaynakların retrieval sonuçlarına girme oranı. |
| Latency | T | AI isteğinin tamamlanma süresi. |
| Time to First Token | O | İstekten ilk üretilen token'ın kullanıcıya ulaşmasına kadar geçen süre. |
| Streaming | T | Model çıktısını tamamlanmasını beklemeden parça parça kullanıcıya gönderme. |
| Token Usage | T | İstek ve yanıtta işlenen token sayısı. |
| Cost per Request | O | Model, embedding ve altyapı kullanımının tek istek başına maliyeti. |
| Rate Limit | T | Model sağlayıcısının zaman içinde izin verdiği request veya token sınırı. |
| Fallback Model | O | Ana model kullanılamadığında veya görev basitse kullanılan alternatif model. |
| Model Routing | O | Görev türü, maliyet veya kaliteye göre uygun modeli seçme. |
| Caching | O | Aynı veya benzer AI isteklerinin sonucunu yeniden kullanma. |
| Semantic Cache | İ | Anlamsal olarak benzer prompt'lara önceki yanıtı döndürme. |
| Prompt Versioning | O | Prompt değişikliklerini sürüm, deney ve sonuçlarla takip etme. |
| Model Versioning | O | AI davranışını kullanılan model sürümüyle ilişkilendirme. |
| Observability | O | Prompt, model, token, latency, tool ve hata verilerini izleme. |
| Trace | O | Tek AI isteğinin retrieval, model ve tool adımlarını uçtan uca kaydetme. |
| Conversation | T | Kullanıcı ve model mesajlarının aynı bağlam altında tutulduğu oturum. |
| Message | T | Conversation içindeki system, user, assistant veya tool girdisi. |
| Memory | O | Agent'ın önceki kullanıcı bilgisi veya görev durumunu gelecekte kullanması. |
| Short-term Memory | O | Mevcut conversation bağlamında tutulan geçici bilgi. |
| Long-term Memory | İ | Kullanıcı onayı ve politika kapsamında kalıcı saklanan seçilmiş bilgi. |
| Conversation Summary | O | Uzun konuşmayı daha az tokenla temsil eden özet bağlam. |
| Context Compression | İ | Gereksiz ayrıntıyı çıkarıp gerekli bilgiyi küçük bağlama dönüştürme. |
| PII Redaction | O | Model sağlayıcısına gitmeden kişisel veriyi maskeleme veya kaldırma. |
| Data Privacy | T | AI girdileri, çıktıları ve loglarının gizlilik kurallarıyla yönetilmesi. |
| Data Retention | O | Prompt ve output verilerinin ne kadar süre saklanacağını belirleyen politika. |
| Tenant Isolation | İ | Bir tenant doküman veya memory bilgisinin başka tenant retrieval'ına girmemesini sağlama. |
| Content Moderation | T | Girdi ve çıktıyı zararlı veya yasak içerik kategorilerine karşı kontrol etme. |
| Safety Filter | T | Riskli model isteği veya yanıtını engelleyen sınıflandırıcı/kural. |
| Approval Workflow | O | AI tarafından hazırlanan içerik veya aksiyonun yayın öncesi insan onayına gitmesi. |
| AI Assistant | T | Kullanıcıya bilgi, öneri veya işlem desteği veren konuşmalı AI özelliği. |
| AI Copilot | O | Kullanıcının mevcut iş akışında öneri ve taslakla yardımcı olan AI. |
| Autonomous Agent | İ | Sınırlı insan müdahalesiyle çok adımlı görev ve araç çağrısı yapabilen sistem. |
| AI Search | O | Keyword, vector ve üretken yanıtı birleştiren arama deneyimi. |
| Recommendation Model | O | Kullanıcı davranışından ürün veya içerik önerisi üreten model. |
| Classification | T | Girdiyi önceden tanımlanmış kategori veya etiketlerden birine atama. |
| Extraction | T | Metinden isim, tarih, tutar veya ürün gibi yapılandırılmış alan çıkarma. |
| Summarization | T | Uzun içeriği ana bilgileri koruyarak kısaltma. |
| Sentiment Analysis | O | Metindeki olumlu, olumsuz veya nötr duygu yönünü tahmin etme. |
| Anomaly Detection | O | Normal davranıştan anlamlı biçimde ayrılan veri noktalarını tespit etme. |
| Forecasting | O | Geçmiş zaman serisinden gelecekteki değerleri tahmin etme. |
Bölüm uygulamaları
Bu bölümü bitirmeden önce şunları deneyin veya açıklayın.
- CRM notları ve teklif dokümanları üzerinde tenant filtreli RAG asistanı tasarlayın.
- Prompt injection, yanlış tool çağrısı ve hassas veri sızıntısı için guardrail listesi hazırlayın.
- Bir AI özelliği için eval dataset, kalite metrikleri, latency ve maliyet bütçesi belirleyin.