আমরা সাধারণত ডিপসিক সহ যে কোন মডেল তাদের অ্যাপ বা ওয়েব সাইটে গিয়ে ব্যবহার করি। আমরা চাইলে নিজেদের কম্পিউটারেও ওপেনসোর্স মডেল গুলো ইন্সটল করে ব্যবহার করতে পারি।
মডেল গুলো বিভিন্ন সাইজে পাওয়া যায়। যেমন 1B, 7B, 80B ইত্যাদি সাইজের প্যারামিটার, তাই সাধারণ কম্পিউটারেও ব্যবহার করা যাবে। যদিও তখন একুরেট উত্তর নাও দিতে পারে। যাদের কম্পিউটার যত পাওয়ারফুল, তারা তত বড় সাইজের মডেল গুলো ব্যবহার করতে পারবেন। যেমন ডিপসিক 671b প্যারামিটারের মডেল ব্যবহার করার জন্য কম্পিউটারে প্রায় ৫০০জিবি স্পেস এবং একটু পাওয়ারফুল কনফিগারেশনের কম্পিউটার লাগবে। তখন মডেলের ফুল এক্সপেরিয়েন্স পাওয়া যাবে।
অনেক ভাবে লোকাল কম্পিউটারে মডেল গুলো ইন্সটল এবং ব্যবহার করা যায়। সবচেয়ে সহজ উপায় হচ্ছে LM Studio ব্যবহার করা। এটা গ্রাফিকাল ইন্টারফেস যুক্ত। চ্যাটজিপিটি বা ডিপসিকের ইন্টারফেসের মত। উইন্ডোজ এবং ম্যাকের জন্য ডাউনলোড করে নেওয়া যাবে। ইন্সটলের পর ওপেন করলে শুরুতে একটা মডেল ইন্সটল করতে বলবে। তা ইন্সটল করব। এরপর আমরা চ্যাট শুরু করতে পারব। চ্যাট ইন্টারফেস নিচের মতঃ
বামপাশের সার্চ আইকনে ক্লিক করে নতুন মডেল ইন্সটল করে নেওয়া যাবে। আমি আমার লোকাল কম্পিউটারে 70B প্যারামিটারের ডিপসিক লোড করে ব্যবহার করেছি। কম্পিউটার স্লো হয়ে গেছে :p
7B প্যারামিটার কোন সমস্যা ছাড়াই রান হচ্ছিল। যদিও সব কিছু পারফেক্টলি উত্তর দিতে পারে নাই। 70B প্যারামিটারের মডেল সুন্দর ভাবে উত্তর দিতে পেরেছে তবে কম্পিউটারে প্রচুর প্রেশার যাচ্ছিল। 32b ট্রাই করে দেখব এরপর।
LM Studio ছাড়াও আরো অনেক গুলো অপশন রয়েছে। যেমন Ollama, SillyTavern ইত্যাদি। ট্রাই করে দেখতে পারেন।