টেনসরফ্লো ব্যবহার করে ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং

ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (NLP) বলতে টেক্সট এবং ভয়েজ ডেটা নিয়ে কাজ করাকে বুঝায়। তা হতে পারে টেক্সট টু স্পিস অথবা স্পিস টু টেক্সট প্রোগ্রাম তৈরি, অটোমেটিক্স গল্প বা কবিতা লেখা, রিভিউ বা কমেন্ট এনালাইসিস করা, স্মার্ট স্পিকারকে কোন প্রশ্ন করলে তা এনালাইসিস করে উত্তর দেয়া ইত্যাদি। NLP কম্পিউটার সাইন্স বা মেশিন লার্নিং এর একটা গুরুত্বপূর্ণ … Read more

টেনসরফ্লোতে টেনসর ও এর বিভিন্ন অপারেশন

মেশিন লার্নিং সিস্টেম গুলোতে ডেটা স্ট্র্যাকচার হিসেবে টেনসর ব্যবহার করা হয়। টেনসর সম্পর্কে এর আগে আরেকটি লেখা লিখেছি, সেখানে টেনসর সম্পর্কে বিস্তারিত জানা যাবে। এই লেখাতে আমরা টেনসফ্লোতে কিভাবে টেনসর ব্যবহার করব, কিভাবে টেনসরের বিভিন্ন অপারেশন করব, তা দেখব। সবার আগে জানা যাক কিভাবে টেনসরফ্লো ইম্পোর্ট করা যায়। যদিও ইতিমধ্যে সবাই জানি, এরপরও দেখিঃ উপরে … Read more

টেনসরফ্লো লাইট – অ্যান্ড্রয়েড ডিভাইসে মেশিন লার্নিং মডেল ডিপ্লয় করা

মেশিন লার্নিং প্রজেক্ট করার জন্য এখন পর্যন্ত সবচেয়ে ইফিশিয়েন্ট এবং জনপ্রিয় প্লাটফর্ম হচ্ছে টেনসরফ্লো। আবার বেশির ভাগ ইউজার মোবাইল ব্যবহার করে। মোবাইলে কম্পিউটারের মত এত রিসোর্স না থাকায় দরকার পড়ে একটু অপটিমাইজ একটা প্লাটফর্ম। মোবাইলের জন্য টেনসরফ্লো এর অপটিমাইজ ভার্সন হচ্ছে টেনসরফ্লো লাইট। যার মাধ্যমে টেনসরফ্লো ব্যবহার করে ট্রেইন করা মডেল গুলো যে কোন মোবাইল … Read more

লিনিয়ার রিগ্রেশন, গ্র্যাডিয়েন্ট ডিসেন্ট ও পেছনের গণিত

লিনিয়ার রিগ্রেশন দুই বা তার অধিক ভ্যারিয়েবলের মধ্যে সম্পর্ক খুঁজে বের করা হচ্ছে রিগ্রেশন। মেশিন লার্নিং অথবা স্ট্যাটিসটিক্সে এই সম্পর্ক ব্যবহার করে ফিউচার ভ্যালুর আউটকাম প্রিডিক্ট করা যায়। ভ্যারিয়েবল গুলোর মধ্যে সম্পর্ক সরল রেখা দিয়ে প্রকাশ করা হচ্ছে লিনিয়ার রিগ্রেশন। এখানে অ্যালগরিদম ভ্যারিয়েবল গুলোর মধ্যে একটা লাইন খুঁজে বের করে। যে লাইন সবচেয়ে নির্ভুল ভাবে … Read more

পাইথ প্রোগ্রামিং ও মেশিন লার্নিং এর জন্য গুগল কোল্যাব

এই ব্লগের মেশিন লার্নিং ও ডেটা সাইন্স রিলেটেড কোড গুলো সাধারণত আমি কোল্যাবে লিখে শেয়ার করি। ভাবলাম কোল্যাব নিয়ে ডিটেইলস একটা লেখা লিখি যেন সবাই উপকৃত হতে পারে। কোল্যাব হচ্ছে ব্রাউজারে পাইথন কোড লেখা ও রান করার জন্য অনলাইন কোড এডিটর। এটাকে শুধু একটা কোড এডিটর বললে ভুল হবে। এর এমন কিছু ফিচার রয়েছে, অনেক … Read more

ফ্রিতে টপ ইউনিভার্সিটির ডেটা সাইন্স কোর্স

ডেটা সাইন্স শেখার জন্য খুবি গুরুত্বপূর্ণ স্কিল।  সাইন্স এবং ইঞ্জিনিয়ারিং এর জন্য বিশ্বের টপ ইউনিভার্সিটি গুলোর মধ্যে রয়েছে হার্ভার্ড ইউনিভার্সিটি, স্ট্যান্ডফোর্ড ইউনিভার্সিটি, MIT ইত্যাদি। তো এসব ইউনিভার্সিটির অনেক গুলো কোর্স ফ্রিতে সবার জন্য উন্মুক্ত করে রেখেছে। আজকে শেয়ার করব ডেটা সাইন্স রিলেটেড কিছু কোর্স, যেগুলো থেকে আপনি যে কোন ইউভার্সিটি থেকেও ভালো ভাবে ডেটা সাইন্স … Read more

টেনসরফ্লো ব্যবহার করে ট্রান্সফার লার্নিং

ট্রান্সফার লার্নিং ডিপ লার্নিং ব্যবহার করে আমরা যদি কোন সিস্টেম তৈরি করতে চাই, আমাদের প্রচুর ডেটা লাগবে। ঐ ডেটাকে ক্লিন করা, অপটাইমাইজ করা সহ অন্যান্য কাজে প্রচুর সময় যাবে। এই সমস্যা সমাধান করার একটা সহজ উপায় হচ্ছে ট্রান্সফার লার্নিং। বিশাল ডেটাসেটের উপর ট্রেইন করা একটা নিউররাল নেটকে নতুন একটা ডেটা সেটে এপ্লাই করার প্রক্রিয়া হচ্ছে … Read more

ডিপ লার্নিং – আন্ডারফিটিং ও ওভারফিটিং সমস্যা এবং সমাধান করার পদ্ধতি

ডিপ লার্নিং নিয়ে এর আগের লেখাটিঃ ডিপ লার্নিং এ সূচনা মডেল সমস্যা সমাধান করার জন্য আমরা যে সিস্টেম দাঁড় করাই, তা হচ্ছে মডেল। মডেলের কাজ হচ্ছে ইনপুট এবং আউটপুটের মধ্যে একটা কানেকশন তৈরি করা। আর এই কানেকশনটা প্রথমে ভুল করে। পরে শিখতে শিখতে ভুলের পরিমাণ কমতে থাকে। অ্যাকুরেসি ট্রেইনিং এর সময় আমরা মডেলকে ইনপুট বা … Read more

ডিপ লার্নিং এ সূচনা

ডিপ লার্নিং সম্পর্কে জানার আগে জেনে নেই ইন্টিলিজেন্স কি। ইন্টিলিজেন্স হচ্ছে তথ্য প্রসেস করে একটা সিদ্ধান্তে পৌঁছানোর প্রক্রিয়া। মানুষ যা করে আরকি। আর মানুষের এই চিন্তা করে কোন সিদ্ধান্তে পৌঁছানোর কৃত্তিম রূপ হচ্ছে আর্টিফিশিয়াল ইন্টিলিজেন্স। মেশিন লার্নিং হচ্ছে আর্টিফিশিয়াল ইন্টিলিজেন্সের একটা শাখা। মেশিন লার্নিং হচ্ছে উদাহরণ থেকে শেখা। আমরা মানুষেরা যে ভাবে শিখি, সেভাবে। সাধারণ … Read more

টেনসর – নিউরাল নেটওয়ার্কের ডেটা রিপ্রেজেন্টেশন

মেশিন লার্নিং সিস্টেম গুলোতে ডেটা স্ট্র্যাকচার হিসেবে টেনসর ব্যবহার করা হয়। গুগলের টেনসরফ্লোর নাম এখান থেকেই এসেছে। এটি হচ্ছে ডেটা কন্টেইনার। টেনসরে বেশির ভাগ ক্ষেত্রেই সাধারণ নিউম্যারিক্যাল ডেটা স্টোর করা হয়। তাই বলা যায় টেনসর হচ্ছে নিম্যারিক্যাল ডেটা কনটেইনার। আমরা অনেকেই ম্যাট্রিক্স নিয়ে কাজ করেছি, যেখানে ম্যাট্রিক্স হচ্ছে 2D Tensor। অ্যারে নিয়ে কাজ করলে ডাইমেনশ … Read more