লিনিয়ার রিগ্রেশন, গ্র্যাডিয়েন্ট ডিসেন্ট ও পেছনের গণিত

লিনিয়ার রিগ্রেশন দুই বা তার অধিক ভ্যারিয়েবলের মধ্যে সম্পর্ক খুঁজে বের করা হচ্ছে রিগ্রেশন। মেশিন লার্নিং অথবা স্ট্যাটিসটিক্সে এই সম্পর্ক ব্যবহার করে ফিউচার ভ্যালুর আউটকাম প্রিডিক্ট করা যায়। ভ্যারিয়েবল গুলোর মধ্যে সম্পর্ক সরল রেখা দিয়ে প্রকাশ করা হচ্ছে লিনিয়ার রিগ্রেশন। এখানে অ্যালগরিদম ভ্যারিয়েবল গুলোর মধ্যে একটা লাইন খুঁজে বের করে। যে লাইন সবচেয়ে নির্ভুল ভাবে … Read more

পাইথ প্রোগ্রামিং ও মেশিন লার্নিং এর জন্য গুগল কোল্যাব

এই ব্লগের মেশিন লার্নিং ও ডেটা সাইন্স রিলেটেড কোড গুলো সাধারণত আমি কোল্যাবে লিখে শেয়ার করি। ভাবলাম কোল্যাব নিয়ে ডিটেইলস একটা লেখা লিখি যেন সবাই উপকৃত হতে পারে। কোল্যাব হচ্ছে ব্রাউজারে পাইথন কোড লেখা ও রান করার জন্য অনলাইন কোড এডিটর। এটাকে শুধু একটা কোড এডিটর বললে ভুল হবে। এর এমন কিছু ফিচার রয়েছে, অনেক … Read more

টেনসর – নিউরাল নেটওয়ার্কের ডেটা রিপ্রেজেন্টেশন

মেশিন লার্নিং সিস্টেম গুলোতে ডেটা স্ট্র্যাকচার হিসেবে টেনসর ব্যবহার করা হয়। গুগলের টেনসরফ্লোর নাম এখান থেকেই এসেছে। এটি হচ্ছে ডেটা কন্টেইনার। টেনসরে বেশির ভাগ ক্ষেত্রেই সাধারণ নিউম্যারিক্যাল ডেটা স্টোর করা হয়। তাই বলা যায় টেনসর হচ্ছে নিম্যারিক্যাল ডেটা কনটেইনার। আমরা অনেকেই ম্যাট্রিক্স নিয়ে কাজ করেছি, যেখানে ম্যাট্রিক্স হচ্ছে 2D Tensor। অ্যারে নিয়ে কাজ করলে ডাইমেনশ … Read more

যে কোন ডেটার উপর রিপোর্ট তৈরি – পান্ডা প্রোফাইলিং

যে কোন ডেটা সম্পর্কে কুইক আইডিয়া পাওয়ার জন্য পান্ডার descrive() ফাংশন খুব ভালো কাজে দেয়। কিন্তু আমরা যদি ডেটা সম্পর্কে আরো বেশি জানতে চাই, তাহলে কি করব? নিজেরা কোড করব? হ্যাঁ। তা একটা ভালো আইডিয়া। কিন্তু অনেক গুলো সময় নষ্ট করবে। সময় নষ্ট করতে না চাইলে পান্ডা প্রোফাইলিং ব্যবহার করতে পারি। এটা খুবি দারুণ একটা … Read more

প্রথম পূর্নাঙ্গ মেশিন লার্নিং প্রজেক্ট ও ক্যাগেল কম্পিটেশন সাবমিশন

আমরা একটা মেশিন লার্নিং প্রজেক্ট করব যার আউটপুট ক্যাগেল কম্পিটিশনে সাবমিট করতে পারব। তার আগে ব্যাসিক কিছু ধারণা নিয়ে নেই। এছাড়া আর্টিফিশিয়াল ইন্টিলিজেন্স এবং মেশিন লার্নিং নিয়ে এই ব্লগে অনেক গুলো লেখা রয়েছে। সেগুলো পড়লে দরকারি ধারণা গুলো পাওয়া যাবে। ডিসিশন ট্রিঃ ফ্লো চার্টের কথা মনে আছে? কোন একটা সিদ্ধান্তে পৌঁছানোর বিভিন্ন ধাপ হচ্ছে ফ্লো … Read more

পান্ডাতে ইন্ডেক্সিং, স্লাইসিং, সর্টিং এবং অন্যান্য

ডেটা নিয়ে কাজ করতে গেলে আমাদের ডেটাফ্রেম থেকে কোন নির্দিষ্ট ডেটা বা ডেটসেট বের করতে হতে পারে। আর পান্ডা দিয়ে তা সহজেই করা যায়। পান্ডা নিয়ে এটি দ্বিতীয় লেখা। এর আগের লেখাটি হচ্ছে ডেটা ইঞ্জিনিয়ারিং এর জন্য পাইথন পান্ডা। এছাড়া ডেটা সাইন্স নিয়ে আরো কিছু লেখা রয়েছে এই ব্লগে। এই লেখাতে উদাহরণ হিসেবে আইরিশ ডেটাসেট ব্যবহার করা … Read more

ডেটা ইঞ্জিনিয়ারিং এর জন্য পাইথন পান্ডা

ডাটা এনালাইসিসের জন্য একটা জনপ্রিয় লাইব্রেরি হচ্ছে পান্ডা  / Pandas। এই চমৎকার লাইব্রেরি দিয়ে রিমোট ফাইল থেকে ডেটা লোড, লোকাল ফাইল থেকে বা ডাটাবেজ থেকে ডেটা লোড করা যায়।  খুব সহজে ডেটার সামারি, স্ট্যাটিসটিক্স বা ডেটা সম্পর্কে আইডিয়া নেওয়া যায়।  ডেটা ক্লিন করা, ডেটা ম্যানিপুলেট, ডেটা কম্বাইন সহ দরকারি সব কাজই পান্ডার সাহায্যে করা যায়। … Read more

আর প্রোগ্রামিং ল্যাঙ্গুয়েজের ব্যাসিক কনসেফট গুলো

আর প্রোগ্রামিং ল্যাঙ্গুয়েজ নিয়ে এর আগে একটি লেখা লিখেছি। যেখানে আর প্রোগ্রামিং ও আর স্টুডিও সম্পর্কে লিখেছি। এই লেখাতে আর প্রোগ্রামিং এর ব্যাসিক কিছু কনসেফট নিয়ে লেখার চেষ্টা করেছি। Hello World! আর প্রোগ্রাম কমান্ড লাইন থেকেই রান করা যায়। পাইথন বা ঐরকম প্রোগ্রামিং ল্যাঙ্গুয়েজ গুলোর মত। টার্মিনাল বা কমান্ড লাইনে গিয়ে R লিখে এন্টার প্রেস … Read more

আর প্রোগ্রামিং ল্যাঙ্গুয়েজ এবং আর স্টুডিও

ডেটাকে বলা হয় নিউ ফুয়েল। এই ডেটা তখনই ফুয়েল, যখন এটাকে কাজে লাগানো হয়। প্রতিটা ওয়েবটাইট, স্মার্ট ফোন, স্মার্ট ডিভাইস প্রচুর ডেটা কালেক্ট করে। এই ডেটা গুলো এনালাইসিস করে বিভিন্ন কাজে লাগানো হয়। ডেটা এনালাইসিস করার জন্য রয়েছে অনেক গুলো ল্যাঙ্গুয়েজ। এগুলোর মধ্যে R দারুণ একটা ল্যাঙ্গুয়েজ। এর আগে ডেটা সাইন্স নিয়ে একটা লেখা লিখেছি। … Read more

R প্রোগ্রামিং ল্যাঙ্গুয়েজ

R বা আর ল্যাঙ্গুয়েজ হচ্ছে স্ট্যাটিস্টিক্যাল এনালাইসিস, গ্রাফ রিপ্রেজেন্টেশন এবং রিপোর্টিং এর জন্য প্রোগ্রামিং ল্যাঙ্গুয়েজ। মূলত ডেটা সাইন্সে ডেটা এনালাইসিস এর জন্য আর ল্যাঙ্গুয়েজ ব্যবহৃত হয়। ডেটা নিয়ে কাজ করাই ডেটা সাইন্স এর কাজ। বিগ ডেটা এখন খুব জনপ্রিয় একটা টার্ম। যেখানে ডেটা অনেক বেশি, অনেক অনেক বেশি, সেগুলোকেই বিগ ডেটা বলে। আর ডেটা এনালাইসিস … Read more