هوش مصنوعی

استخراج اطلاعات منظم از متن‌های فارسی؛ تمرین با مثال‌های نمونه

تبدیل برگه متن به جدول داده با خانه نامعلوم؛ کاور استخراج داده فارسی
پیش‌نیازهای این درس و لینک مطالعه

مسیر کاربردی، سطح متوسط | درس 3 از ۱۵

از دوازده پیام کوتاه می‌توان جدول تمیزی ساخت، اما تمیزی جدول چیزی درباره درستی آن نمی‌گوید. این تمرین روی مقدارهای گمشده، درخواست‌های شرطی و شاهد هر ردیف تمرکز دارد.

پیش‌نیاز: I01–I02. حاصل کار: طراحی قالب خروجی و مثال‌های مرزی بدون ادعای تضمین JSON در چت.

قبل از استخراج، معنی هر ستون را تعیین کنید

فرض کنید می‌خواهید پیام‌های ساختگی فروشگاه را برای بررسی انسانی مرتب کنید. هدف ثبت سفارش نیست. عبارت «اگر آبی دارید، دو تا می‌خواهم» هنوز سفارش قطعی محسوب نمی‌شود. اگر ستون وضعیت نداشته باشید، جدول ممکن است درخواست شرطی را به سفارش آماده تبدیل کند.

متن ورودی کنار جدول خروجی و خانه نامعلوم
نمودار آموزشی: متن ورودی کنار جدول خروجی و خانه نامعلوم

قالب این تمرین نه ستون دارد: شناسه پیام، محصول، تعداد، رنگ، تاریخ خام، تاریخ استاندارد، وضعیت، شاهد و علت بازبینی. «تاریخ خام» همان عبارت مشتری است. «تاریخ استاندارد» تنها وقتی پر می‌شود که سال، ماه و روز بدون حدس مشخص باشد. مقدار null در این درس یعنی داده مشخص نیست؛ صفر یعنی تعداد واقعاً صفر است. این دو را به جای هم ننویسید.

برای تعداد، فقط عدد صحیح صریح یا عددی که با واژه روشن نوشته شده بپذیرید. «چند تا» مقدار نامعلوم است. رنگ را به واژه‌های خود متن محدود کنید. اگر دو محصول با دو تعداد در یک پیام آمده باشد، می‌توان دو ردیف ساخت، اما شناسه پیام باید حفظ شود. در داده اصلی این درس هر پیام حداکثر یک محصول دارد تا شمارش ۱۲ رکورد ساده بماند.

دوازده پیام ساختگی و کامل

M01: دو دفتر آبی می‌خواهم؛ تاریخ مهم نیست.
M02: ۳ خودکار مشکی لازم دارم، برای 2026-11-02.
M03: یک دفتر لازم دارم، رنگ فرقی ندارد.
M04: اگر دفتر سبز موجود دارید، ۲ عدد کنار بگذارید.
M05: چند مداد قرمز می‌خواهم؛ تعداد را بعداً می‌گویم.
M06: ۰ دفتر؛ درخواست قبلی را لغو کنید.
M07: پنج خودکار آبی برای فردا می‌خواهم.
M08: دفتر قرمز می‌خواهم؛ تاریخ ۱۴۰۵/۰۸/۱۰.
M09: دو دفتر آبی؟ فعلاً فقط قیمتش را می‌پرسم.
M10: ۱۲ مداد مشکی برای 2026-11-04.
M11: یک دفترِ سفید، تاریخ تحویل را هنوز نمی‌دانم.
M12: سه دفتر می‌خواهم، اما اگر قرمز ندارید هیچ‌کدام.

پیام‌ها را به همان ترتیب وارد کنید. نام، تلفن و نشانی حذف نشده‌اند؛ از ابتدا در داده ساختگی وجود ندارند. برای تاریخ شمسی M08 در این تمرین تبدیل تقویمی انجام نمی‌دهیم. آن را خام نگه می‌داریم و تاریخ استاندارد را null می‌گذاریم تا تبدیل بدون ابزار معتبر وارد مسیر نشود.

کدنامه وضعیت و نمونه‌های مرزی

چهار وضعیت تعریف می‌کنیم: «درخواست صریح»، «شرطی»، «پرسش قیمت» و «لغو». M01 درخواست صریح است، حتی اگر زمان برایش مهم نباشد. M04 و M12 شرطی‌اند چون وجود رنگ مشخص در تصمیم اثر دارد. M09 پرسش قیمت است؛ علامت سؤال تنها سرنخ نیست، جمله دوم صریحاً هدف را توضیح می‌دهد. M06 لغو است و تعداد صفر آن باید حفظ شود.

رنگ M03 را null بگذارید و عبارت «رنگ فرقی ندارد» را در شاهد ثبت کنید. این با رنگ مشروط در M12 فرق دارد؛ در M12 واژه قرمز آمده و شرط به آن وابسته است. استخراج درست باید هم مقدار و هم معنای جمله را نگه دارد. اگر تنها با فهرست واژه‌های رنگ کار کنید، ممکن است شرط را از دست بدهید.

دو نمونه آموزشی برای شکل خروجی کافی است: M01، دفتر، 2، آبی، «تاریخ مهم نیست»، null، درخواست صریح، «دو دفتر آبی می‌خواهم». M06، دفتر، 0، null، null، null، لغو، «درخواست قبلی را لغو کنید». این مثال‌ها درباره قواعد هستند؛ نمونه‌های جدید آزمون را بعداً جدا نگه دارید.

پرامپت آماده استخراج

۱۲ پیام M01 تا M12 را فقط برای بررسی انسانی به جدول تبدیل کن.
ستون‌ها: message_id, product, quantity, color, date_raw,
date_iso, status, evidence, review_reason.
اعداد فارسی و واژه‌های یک تا دوازده را به عدد صحیح تبدیل کن.
مقدار نامعلوم null باشد؛ صفر را حذف نکن.
date_iso فقط برای تاریخ میلادی کامل YYYY-MM-DD پر شود.
تاریخ نسبی و شمسی را در date_raw حفظ کن و برای بررسی علامت بزن.
status فقط یکی از این چهار مقدار باشد:
درخواست صریح، شرطی، پرسش قیمت، لغو.
هر پیام دقیقاً یک ردیف داشته باشد و ترتیب حفظ شود.
شاهد را کوتاه و عین متن بنویس. اطلاعات تازه اضافه نکن.
هیچ سفارش ثبت یا لغو نکن؛ «لغو» فقط برچسب متن است.
پایان پاسخ، تعداد ردیف‌ها و فهرست ردیف‌های نیازمند بررسی را بده.
[دوازده پیام و کدنامه را اینجا قرار بده]

این درخواست قالب را مشخص می‌کند، اما چت را به سامانه‌ای با تضمین فنی JSON تبدیل نمی‌کند. اگر جدول را برای انسان می‌خواهید، جدول خوانا مناسب است. اگر قرار است آن را وارد نرم‌افزار کنید، نام ستون، نوع مقدار و ساختار فایل باید جداگانه اعتبارسنجی شود. «به شکل JSON بده» جای اعتبارسنجی را نمی‌گیرد.

اجرای تمرین در ChatGPT

در چت تازه، ابتدا کدنامه و سپس پیام‌ها را قرار دهید. بعد از گرفتن جدول، از ChatGPT بخواهید فقط ردیف‌های null، شرطی و لغو را دوباره با شاهد نشان دهد. با این کار توجه بازبینی را روی ردیف‌های پرخطر می‌گذارید. اصلاحات را در نسخه دوم نگه دارید تا تعداد خطاهای نسخه اول گم نشود.

برای این دوازده پیام به ابزار تحلیل فایل نیازی ندارید. اگر CSV می‌خواهید، از مدل خروجی با سرستون ثابت و UTF-8 بخواهید، سپس آن را در صفحه‌گسترده باز کنید. بررسی کنید صفر M06 به خانه خالی تبدیل نشده و تاریخ خام M08 به عدد عجیب نمایش داده نشده باشد. تغییر خودکار نوع ستون در صفحه‌گسترده می‌تواند خطایی جدا از خطای مدل ایجاد کند.

اجرای تمرین در Claude

در Claude همان پیام‌ها، کدنامه و ترتیب را استفاده کنید. برای مرزبندی می‌توانید هر پیام را در خط مستقل با شناسه بگذارید؛ از ادغام آن‌ها در یک پاراگراف بلند خودداری کنید. درخواست بازبینی ردیف‌های پرخطر را با همان متن مرحله ChatGPT تکرار کنید.

اگر خروجی در سند جدا یا Artifact نمایش داده شد، آن را با جدول مرجع بررسی کنید. نمایش مرتب یک خروجی تضمین دقت داده نیست. راهنمای رسمی Anthropic استفاده از مثال‌های روشن را پیشنهاد می‌کند؛ در این تمرین دو نمونه مرزی، صفر و مقدار نامعلوم را نشان می‌دهند. معیار سنجش در هر دو ابزار یکسان می‌ماند و هیچ قابلیت رابط را نشانه برتری استخراج نمی‌گیریم.

کلید پاسخ دوازده ردیف

شناسه | تعداد | رنگ | تاریخ استاندارد | وضعیت
M01 | 2 | آبی | null | درخواست صریح
M02 | 3 | مشکی | 2026-11-02 | درخواست صریح
M03 | 1 | null | null | درخواست صریح
M04 | 2 | سبز | null | شرطی
M05 | null | قرمز | null | درخواست صریح
M06 | 0 | null | null | لغو
M07 | 5 | آبی | null | درخواست صریح
M08 | null | قرمز | null | درخواست صریح
M09 | 2 | آبی | null | پرسش قیمت
M10 | 12 | مشکی | 2026-11-04 | درخواست صریح
M11 | 1 | سفید | null | درخواست صریح
M12 | 3 | قرمز | null | شرطی

این کلید تألیفی است، نه نتیجه اجرای واقعی مدل. M08 تعداد ندارد؛ مفرد بودن کلمه دفتر اجازه نمی‌دهد خودکار تعداد را یک فرض کنیم. M09 تعداد دو دارد، ولی وضعیت آن پرسش قیمت است. بنابراین جمع‌زدن همه تعدادها به عنوان «تعداد سفارش» اشتباه است. M07 زمان نسبی دارد و بدون تاریخ مبنا نباید به تاریخ قطعی تبدیل شود.

برای review_reason، M03 می‌تواند «رنگ آزاد»، M04 و M12 «نیازمند بررسی شرط موجودی»، M05 و M08 «تعداد نامعلوم»، M07 «تاریخ نسبی بدون مبنا» و M08 علاوه بر تعداد «تاریخ شمسی تبدیل‌نشده» داشته باشد. این متن‌ها لازم نیست لفظ‌به‌لفظ یکسان باشند، اما علت باید درست باشد.

خطاهای رایج و اصلاح محدود

خروجی اشتباه عمدی «M08، تعداد 1، تاریخ استاندارد 2026-11-01» دو حدس دارد. اصلاح مناسب این است: «در M08 تعداد را null کن؛ تاریخ خام ۱۴۰۵/۰۸/۱۰ را حفظ کن؛ date_iso طبق قاعده تمرین null باشد. سایر ردیف‌ها را تغییر نده.» اگر مدل در اصلاح کل جدول، M06 را حذف کرد، خطای تازه‌ای ایجاد شده است.

خطای دیگر شمردن M09 به‌عنوان سفارش قطعی است. برای جلوگیری از آن، هر تحلیل بعدی باید وضعیت‌های مجاز را صریح تعیین کند. حتی «درخواست صریح» نیز در این تمرین معادل سفارش ثبت‌شده نیست؛ پرداخت، موجودی و تأیید انسانی در داده وجود ندارند.

تمرین دوم: فهرست وسایل خانه

چهار یادداشت ساختگی بنویسید: H01 «دو جعبه کتاب آماده است»، H02 «چند بشقاب هنوز بسته‌بندی نشده»، H03 «اگر ماشین جا داشت، یک گلدان هم ببریم»، H04 «هیچ صندلی نمی‌بریم». قالب را به شناسه، وسیله، تعداد، وضعیت و شاهد تغییر دهید. وضعیت‌های این تمرین آماده، نامعلوم، شرطی و حذف هستند.

خروجی مرجع: H01 تعداد 2 و آماده؛ H02 تعداد null و نامعلوم؛ H03 تعداد 1 و شرطی؛ H04 تعداد 0 و حذف. از ابزار بخواهید فهرست خرید نسازد، چون داده درباره جابه‌جایی است. اگر «چند بشقاب» را شش بشقاب نوشت، از همان قاعده مقدار نامعلوم استفاده کنید.

این تمرین را یک‌بار با اعداد فارسی و یک‌بار با اعداد لاتین اجرا کنید. انتظار داریم معنی رکوردها ثابت بماند. اختلاف نتیجه را به‌عنوان خطا یا ناپایداری ثبت کنید؛ هدف، اعلام یک برنده کلی میان پلتفرم‌ها نیست.

معیار پذیرش و آماده‌سازی درس بعد

حداقل ۱۰ رکورد از ۱۲ رکورد اصلی باید در ستون‌های اصلی با کلید برابر باشد. در کنار این حداقل، یک شرط غیرقابل چشم‌پوشی داریم: هیچ مقدار گمشده‌ای نباید حدس زده شود. پس خروجی ۱۱ از ۱۲ با یک تعداد اختراعی هنوز برای استفاده پذیرفته نیست.

تعداد ردیف‌ها باید ۱۲ باشد، شناسه تکراری نداشته باشیم و برای هر ردیف شاهد متنی وجود داشته باشد. فایل اولیه، نسخه اصلاح‌شده و دفتر خطاها را نگه دارید. در درس بعد از همین دفتر استفاده می‌کنیم تا بازبینی را به مجموعه‌ای از اصلاح‌های مشخص تبدیل کنیم.

دسترسی، حریم خصوصی و وضعیت نمونه‌ها

همه داده‌های تمرین ساختگی‌اند. خروجی‌های نشان‌داده‌شده نمونه آموزشی تألیفی هستند؛ این مقاله اجرای آن‌ها را در حساب واقعی دو پلتفرم گزارش نمی‌کند. قابلیت‌ها و سهمیه‌ها به طرح، تنظیمات و محیط کاری بستگی دارند. در بازبینی ۹ اکتبر ۲۰۲۶، ایران در فهرست رسمی مناطق پشتیبانی‌شده این دو ارائه‌دهنده نبود؛ آموزش روش دورزدن محدودیت نیست. می‌توانید بسته تمرین را آفلاین انجام دهید. برای کار واقعی، پیش از بارگذاری هر فایل، مجوز استفاده و سیاست داده سازمان را بررسی کنید.

منابع رسمی و درس‌های مرتبط

منابع قابلیت‌های محصول، بازبینی‌شده در ۹ اکتبر ۲۰۲۶؛ داده‌ها و معیارهای تمرین تألیفی‌اند.

ساخت بسته اطلاعاتی برای کارهای چندمرحله‌ای با هوش مصنوعی | طراحی گردش کار پیش‌نویس، نقد و اصلاح با ChatGPT و Claude | نقشه راه آموزش هوش مصنوعی

author-avatar

درباره مهدی حبیبی

مهدی حبیبی، بنیان‌گذار طاووس وب و برنامه‌نویس فرانت‌اند با بیش از ۵ سال تجربه در طراحی سایت و بیش از ۵۰ پروژهٔ انجام‌شده. تخصصش وردپرس، المنتور، ووکامرس، سئو و بهینه‌سازی سرعت است و تجربهٔ پروژه‌های واقعی را در طاووس وب به زبان ساده آموزش می‌دهد. و البته مجنون قهوه!