Loading blogs...
Ollama ٹیگ والی پوسٹس۔
How we built semantic search, RAG and a Thai Visa AI Agent on NebulaDB, with real queries, query plans and retrieval scores measured on our 8.3M-document production server, and the guards that keep private data and invented numbers out of the answers.
Meta Muse Glimmer Ollama: 30B، Apache 2.0، 128K سیاق و سباق، وژن اور ٹولز - Workstation بزنس گائیڈ کے ذریعے ہمیشہ مقامی ایجنٹوں کو ایک واحد GPU پر لاتا ہے۔
میں نے 128 GB یونیفائیڈ میموری اور 40 GPU کور کے ساتھ ایک Mac Studio M4 Max کو ان باکس کیا، Ollama انسٹال کیا، مقامی طور پر Llama 3.1 8B چلایا، اور ایک پرائیویٹ RAG پائپ لائن بنائی - یہ سب ایک ہی پرسکون، 6.48 ڈبلیو آئیڈیل ڈیسک سائیڈ باکس پر ہے۔