মার্ক ইট ডাউন – যে কোন ডকুমেন্টকে AI ল্যাঙ্গুয়েজে কনভার্ট

by

AI মডেল গুলো যখন ট্রেইন করা হয়, তখন ইন্টারনেটের ডেটা গুলোকে মার্ক ডাউনে কনভার্ট করে এরপর মডেল ট্রেইন করা হয়। আর এই জন্য মার্ক ডাউনে থাকা ডকুমেন্ট AI সহজে বুঝতে পারে। আমরা যখন PDF, বা অন্য কোন ডকুমেন্ট কোন AI মডেলকে দিব, তা নিজে ইন্টার্নালি প্রসেস করতে অনেক টোকেন খরচ হয়। আর এই খরচ কমানোর জন্য মার্কডাউনে কনভার্ট করে নিলে কম টোকেন খরচ করে কাজ করিয়ে নেওয়া যায়।

অনলাইনে বিভিন্ন টুল রয়েছে কোন ডকুমেন্টকে মার্ক ডাউনে কনভার্ট করার জন্য। এছাড়া মাইক্রোসফট MarkItDown একটা পাইথন ট্যুল রিলিজ করেছে, যা অনেক জনপ্রিয়তা পেয়েছে। এটা দিয়ে নিচের ফরমেটের ডকুমেন্ট গুলোকে মার্কডাউনে কনভার্ট করা যাবেঃ

  • PDF
  • PowerPoint
  • Word
  • Excel
  • Images (EXIF metadata and OCR)
  • Audio (EXIF metadata and speech transcription)
  • HTML
  • Text-based formats (CSV, JSON, XML)
  • ZIP files (iterates over contents)
  • Youtube URLs
  • EPubs
  • … and more!

MarkItDown ব্যবহার করার জন্য কম্পিউটারে পাইথন ইন্সটল থাকতে হবে।

উইন্ডোজে পাইথন ইন্সটলঃ

  1. Python.org থেকে Python ইন্সটলার ডাউনলোড করুন।
  2. Installer রান করার সময় “Add Python to PATH” টিক দিন।
  3. Install Now ক্লিক করুন।
  4. Command Prompt খুলে python --version কমান্ড দিয়ে দেখুন ঠিক মত ইন্সটল হয়েছে কিনা।

ম্যাকে পাইথন ইন্সটল

  1. Terminal ওপেন করুন।
  2. Homebrew ইন্সটল করা থাকলে এই কমান্ড রান করুন: brew install python অথবা Python.org থেকে Installer ডাউনলোড করে ইন্সটল করুন।
  3. Terminal-এ python3 --version কমান্ড রান করে দেখতে পারেন পাইথন ঠিক মত ইন্সটল হয়েছে কিনা।

এরপরের কাজ হচ্ছে মার্ক ইট ডাউন ইন্সটল করা। এর জন্য পাইথন প্যাকেজ ম্যানেজার pip ব্যবহার করতে পারি। তার জন্য লিখবঃ

pip install 'markitdown[all]'

অথবা pip3 ব্যবহার করলেঃ

pip3 install 'markitdown[all]'

এখানে all বলতে সব ধরনের ডকুমেন্ট কনভার্টার। শুধু pdf কনভার্টার ইন্সটল করতে pip install 'markitdown[pdf]' ব্যবহার করতে পারি। এরপর টার্মিনাল বা কমান্ডলাইন থেকে নির্দিষ্ট ডিরেক্টরিতে গিয়ে যে কোন ডকুমেন্ট এভাবে কনভার্ট করে নিতে পারবঃ

 markitdown sample.pdf > document.md

যেমন কোন YouTube ভিডিও ট্রান্সক্রিপ্ট মার্কডাউনে পাওয়ার জন্যঃ

markitdown "https://www.youtube.com/watch?v=TglEnUdBb3o"

এই তো! মার্কডাউনে কনভার্ট করে এরপর ফাইল মডেলকে দেওয়ার পর তার জন্য সহজ হবে। টোকেন কম খরচ করে আপনাকে উত্তর দিবে।

Leave a Comment