क्रिकेट न्यूज़ की खाली फाइल: जब डेटा पाइपलाइन ने लेख का विषय तो बचाया, लेकिन पूरी कहानी खो दी

क्रिकेट डेटा पत्रकारिता में सबसे खतरनाक गलती गलत आंकड़ा प्रकाशित करना नहीं है। उससे भी गंभीर गलती है ऐसे आंकड़े या निष्कर्ष प्रकाशित करना जिनके पीछे मूल सामग्री मौजूद ही नहीं है। किसी मैच की रिपोर्ट में स्कोर गलत हो सकता है, किसी खिलाड़ी के प्रदर्शन का मूल्यांकन अधूरे नमूने पर आधारित हो सकता है और किसी विश्लेषण में इस्तेमाल किया गया मॉडल स्थानीय परिस्थितियों के अनुकूल नहीं हो सकता। इन सभी समस्याओं की पहचान के लिए कम से कम कुछ मूल जानकारी उपलब्ध होती है। लेकिन जब किसी समाचार सामग्री के निष्कर्षण की पूरी प्रक्रिया शून्य सूचना बिंदुओं के साथ समाप्त होती है, तब पत्रकारिता के सामने एक अलग प्रकार की चुनौती आती है। वहां विश्लेषक के पास गलत निष्कर्ष सुधारने के लिए भी पर्याप्त सामग्री नहीं होती।

क्रिकेट से संबंधित एक हालिया कंटेंट-डिकंस्ट्रक्शन परीक्षण का परिणाम इसी समस्या को सामने लाता है। Stage-1 आउटपुट में क्रिकेट और एशिया से संबंधित डोमेन लेबल सुरक्षित रहा, लेकिन लेख का शीर्षक, स्रोत, प्रकार, सारांश, लेखक का दृष्टिकोण, उद्देश्य और सूचना बिंदु सभी अनुपस्थित थे। परिणाम में खिलाड़ियों, टीमों, बोर्डों, टूर्नामेंटों या मैदानों से जुड़ी कोई इकाई भी नहीं मिली। इसका अर्थ यह है कि प्रणाली ने किसी लेख का सफल विश्लेषण नहीं किया। उसने केवल एक विषयगत वर्गीकरण को सुरक्षित रखा, जबकि उस वर्गीकरण को प्रमाणित करने वाली मूल सामग्री उपलब्ध नहीं हुई।

इस परीक्षण का सबसे महत्वपूर्ण निष्कर्ष यह है कि क्रिकेट की सामग्री को पहचानने और क्रिकेट की वास्तविक पत्रकारिता सामग्री को समझने के बीच एक बुनियादी तकनीकी अंतर है। किसी URL या फीड के आधार पर क्रिकेट की श्रेणी पहचान लेना अपेक्षाकृत आसान है। लेकिन उस पृष्ठ पर प्रकाशित वास्तविक समाचार, उसके दावे, आंकड़े, स्रोत और संदर्भ निकालना अलग प्रक्रिया है। जब दूसरी प्रक्रिया विफल हो जाती है, तो पहली प्रक्रिया का सफल रहना पूरी प्रणाली की सफलता का प्रमाण नहीं बन सकता।

खाली आउटपुट के पीछे छिपी तकनीकी समस्या

किसी समाचार लेख का विश्लेषण सामान्यतः कई चरणों में पूरा होता है। सबसे पहले सिस्टम संबंधित पृष्ठ या दस्तावेज प्राप्त करता है। इसके बाद मुख्य सामग्री को विज्ञापनों, नेविगेशन मेन्यू, स्कोर विजेट और अन्य गैर-संपादकीय तत्वों से अलग किया जाता है। तीसरे चरण में शीर्षक, लेखक, प्रकाशन समय और मुख्य लेख को पहचाना जाता है। इसके बाद सामग्री को छोटे सूचना बिंदुओं में विभाजित करके तथ्य, दावे, उद्धरण और संबंधित व्यक्तियों की पहचान की जाती है। अंत में इन्हीं बिंदुओं के आधार पर सारांश, लेखक का दृष्टिकोण और स्रोत की गुणवत्ता का मूल्यांकन किया जाता है।

यह क्रम महत्वपूर्ण है क्योंकि बाद के चरण पहले के चरणों पर निर्भर होते हैं। यदि मुख्य लेख ही प्राप्त नहीं हुआ, तो सारांश तैयार करने के लिए कोई वाक्य नहीं होगा। यदि सारांश नहीं है, तो लेखक की विचारधारा या उद्देश्य का आकलन करने का आधार नहीं होगा। यदि सूचना बिंदु नहीं हैं, तो खिलाड़ियों और टीमों की इकाई पहचान भी नहीं हो सकती। इस प्रकार अंतिम आउटपुट में दिखाई देने वाली कई अनुपस्थितियां अलग-अलग तकनीकी विफलताओं के बजाय एक शुरुआती विफलता के परिणाम हो सकती हैं।

प्रदत्त Stage-1 निदान में यही पैटर्न दिखाई देता है। शीर्षक N/A है। स्रोत N/A है। लेख का प्रकार निर्धारित नहीं किया गया। मुख्य सारांश खाली है। लेखक का दृष्टिकोण और उद्देश्य उपलब्ध नहीं हैं। सूचना बिंदुओं की संख्या शून्य है। खिलाड़ियों या अन्य संस्थाओं की पहचान भी नहीं हुई। इस पूरे परिणाम में एकमात्र सुरक्षित वर्गीकरण cricket_asia है।

इस स्थिति में किसी एक खिलाड़ी, मैच या टूर्नामेंट को इस आउटपुट से जोड़ना तथ्यात्मक रूप से अनुचित होगा। उदाहरण के लिए, यदि किसी क्रिकेट वेबसाइट के URL में Asia Cup का उल्लेख हो, तो उससे यह साबित नहीं होता कि संबंधित सामग्री एशिया कप के किसी मैच की रिपोर्ट है। वह किसी खिलाड़ी का इंटरव्यू, प्रसारण अधिकारों पर खबर, बोर्ड की प्रशासनिक घोषणा, घरेलू क्रिकेट की रिपोर्ट या पुराना विश्लेषण भी हो सकता है। विषयगत लेबल संभावित सामग्री की दिशा बताता है, वास्तविक सामग्री नहीं।

यहां वर्गीकरण बचा है, लेकिन वर्गीकृत किए जाने वाले तथ्य गायब हैं। डेटा पाइपलाइन की जांच में इस अंतर को स्पष्ट रखना आवश्यक है।

क्रिकेट वेबसाइटों में कंटेंट एक्सट्रैक्शन क्यों कठिन है?

क्रिकेट पत्रकारिता की डिजिटल संरचना पारंपरिक समाचार वेबसाइटों से अधिक जटिल हो सकती है। विशेष रूप से लाइव ब्लॉग, स्कोरकार्ड, बॉल-बाय-बॉल कमेंट्री और इंटरैक्टिव मैच सेंटर ऐसे पृष्ठ होते हैं जिनमें सामग्री हमेशा प्रारंभिक HTML में उपलब्ध नहीं रहती। वेबसाइट का सर्वर पहले एक सामान्य पृष्ठ भेज सकता है और वास्तविक स्कोर, कमेंट्री तथा मैच की घटनाएं बाद में JavaScript के माध्यम से लोड हो सकती हैं।

यदि डेटा संग्रह प्रणाली केवल शुरुआती HTML प्राप्त करती है, तो उसे वेबसाइट का ढांचा दिखाई देगा, लेकिन वास्तविक लेख नहीं। शीर्षक या सेक्शन का नाम कभी-कभी मेटाडेटा में उपलब्ध रह सकता है। इसके कारण वर्गीकरण प्रणाली क्रिकेट या एशिया क्रिकेट की पहचान कर सकती है, जबकि मुख्य सामग्री निष्कर्षण खाली रह जाता है।

यह समस्या क्रिकेट के लाइव कवरेज में विशेष रूप से महत्वपूर्ण है। एक लाइव ब्लॉग में एक ही URL के भीतर दर्जनों अपडेट हो सकते हैं। पृष्ठ का शुरुआती शीर्षक मैच से संबंधित हो सकता है, लेकिन नवीनतम अपडेट में कप्तान का बयान, बारिश की स्थिति या किसी खिलाड़ी की चोट का विवरण हो सकता है। सामान्य लेख निष्कर्षण प्रणाली यदि केवल एक पारंपरिक article-body selector पर निर्भर करती है, तो वह ऐसे कंटेंट को पूरी तरह छोड़ सकती है।

दूसरी समस्या स्कोरकार्ड विजेट हैं। कई वेबसाइटें स्कोर, रन रेट, विकेट और ओवर की जानकारी अलग-अलग इंटरैक्टिव मॉड्यूल में दिखाती हैं। ये मॉड्यूल सामान्य लेख के पैराग्राफ की तरह संरचित नहीं होते। यदि निष्कर्षण प्रणाली केवल paragraph tags या सामान्य article containers की तलाश करती है, तो वह स्कोरकार्ड में मौजूद महत्वपूर्ण जानकारी को पहचानने में विफल हो सकती है।

तीसरी समस्या भुगतान आधारित सामग्री है। कुछ प्रकाशक अपने लेख का पूरा पाठ केवल सदस्यता प्राप्त उपयोगकर्ताओं के लिए उपलब्ध कराते हैं। बिना अधिकृत पहुंच के सामग्री प्राप्त करने पर सिस्टम को केवल शीर्षक, संक्षिप्त परिचय और सदस्यता संबंधी सूचना मिल सकती है। ऐसी स्थिति में लेख का प्रकार कभी-कभी पहचाना जा सकता है, लेकिन विस्तृत दावों और साक्ष्यों का विश्लेषण संभव नहीं होता।

चौथी समस्या छवियों के भीतर प्रकाशित सामग्री है। क्रिकेट वेबसाइटों पर कभी-कभी समाचार का मुख्य हिस्सा ग्राफिक, पोस्टर, सोशल मीडिया स्क्रीनशॉट या इन्फोग्राफिक में होता है। सामान्य टेक्स्ट एक्सट्रैक्टर उस सामग्री को पढ़ नहीं सकता। इसके लिए OCR यानी Optical Character Recognition की आवश्यकता होती है। लेकिन OCR से निकले पाठ की भी अलग जांच करनी पड़ती है, क्योंकि खिलाड़ी के नाम, स्कोर और दशमलव संख्याओं में छोटी त्रुटियां पूरे निष्कर्ष को प्रभावित कर सकती हैं।

पांचवीं समस्या वेबसाइट के HTML ढांचे में बदलाव है। किसी वेबसाइट का मुख्य लेख पहले article-body नाम के कंटेनर में हो सकता है, लेकिन डिजाइन अपडेट के बाद वही सामग्री किसी दूसरे DOM element में स्थानांतरित हो सकती है। यदि निष्कर्षण प्रणाली पुराने selector का उपयोग करती रहती है, तो पृष्ठ प्राप्त होने के बावजूद मुख्य लेख के लिए शून्य नोड मिल सकते हैं।

इन सभी संभावनाओं को अलग-अलग जांचना होगा। उपलब्ध निदान यह संकेत देता है कि सामग्री निष्कर्षण में विफलता हुई, लेकिन वह यह प्रमाणित नहीं करता कि उसका सटीक कारण JavaScript rendering, paywall, image-only content या selector mismatch में से कोई एक था।

तकनीकी जांच में संभावित कारणों की सूची और प्रमाणित कारणों की सूची अलग रखनी चाहिए। यही अंतर एक विश्वसनीय डेटा रिपोर्ट और अनुमान आधारित रिपोर्ट के बीच होता है।

Domain Label बचा रहने का वास्तविक अर्थ

इस परीक्षण का सबसे उपयोगी तकनीकी संकेत cricket_asia डोमेन लेबल का सुरक्षित रहना है। यदि बाकी सभी फील्ड खाली हैं, तो यह सवाल उठता है कि यह लेबल किस आधार पर तैयार हुआ। उपलब्ध निदान के अनुसार इसकी संभावित व्याख्या यह है कि डोमेन वर्गीकरण URL, वेबसाइट के सेक्शन या फीड मेटाडेटा से किया गया था।

यह एक संभावित व्याख्या है, प्रमाणित निष्कर्ष नहीं। फिर भी यह पाइपलाइन की संरचना समझने के लिए उपयोगी संकेत देता है। संभव है कि सिस्टम में दो अलग-अलग प्रक्रियाएं काम कर रही हों। पहली प्रक्रिया URL या फीड के आधार पर विषय निर्धारित करती हो। दूसरी प्रक्रिया पृष्ठ के वास्तविक लेख को निकालती हो। पहली प्रक्रिया सफल रही और दूसरी असफल हो गई।

ऐसी व्यवस्था अपने आप में गलत नहीं है। वास्तव में, बड़े पैमाने पर समाचार संग्रह के लिए प्रारंभिक डोमेन वर्गीकरण उपयोगी हो सकता है। इससे किसी सामग्री को संभावित खेल, क्रिकेट, फुटबॉल या अन्य श्रेणी में भेजा जा सकता है। समस्या तब पैदा होती है जब प्रारंभिक वर्गीकरण को अंतिम संपादकीय विश्लेषण समझ लिया जाता है।

मान लीजिए किसी डेटा डैशबोर्ड में 10,000 क्रिकेट लिंक जमा होते हैं। उनमें से 8,000 लिंक को cricket_asia के रूप में वर्गीकृत कर दिया जाता है। यह संख्या संग्रह प्रणाली की विषय पहचान क्षमता को दिखा सकती है। लेकिन यदि उनमें से केवल 5,000 के लेख सफलतापूर्वक निकाले गए हैं, तो वास्तविक विश्लेषण योग्य सामग्री की संख्या 5,000 होगी, 8,000 नहीं। और यदि निकाले गए लेखों में से केवल 4,000 के लिए सूचना बिंदु तैयार हुए हैं, तो प्रमाण आधारित विश्लेषण की वास्तविक सीमा फिर कम हो जाएगी।

इसलिए किसी भी क्रिकेट डेटा प्लेटफॉर्म को तीन अलग-अलग मापदंड प्रकाशित करने चाहिए: कुल प्राप्त लिंक, सफलतापूर्वक निकाले गए लेख और सफलतापूर्वक संरचित किए गए सूचना बिंदु। इन तीनों को एक ही संख्या में मिला देने से डेटा की वास्तविक गुणवत्ता छिप सकती है।

यहां एक और महत्वपूर्ण बात है। किसी लेख में सूचना बिंदु शून्य होने का अर्थ यह नहीं है कि लेख में कोई जानकारी नहीं थी। इसका अर्थ केवल यह है कि उपलब्ध निष्कर्षण प्रक्रिया ने कोई सूचना बिंदु तैयार नहीं किया। यह अंतर छोटा दिखाई दे सकता है, लेकिन संपादकीय निर्णयों पर इसका प्रभाव बड़ा है।

यदि किसी मैच रिपोर्ट में बल्लेबाज के 78 रन, गेंदबाज के 3 विकेट और टीम के कुल स्कोर का विवरण मौजूद है, लेकिन एक्सट्रैक्टर उसे पढ़ने में विफल रहता है, तो डेटाबेस में वे आंकड़े अनुपस्थित होंगे। इसका अर्थ यह नहीं कि मैच में ऐसा कुछ हुआ ही नहीं। इसी तरह खाली Stage-1 आउटपुट को किसी वास्तविक क्रिकेट समाचार की अनुपस्थिति का प्रमाण नहीं माना जा सकता।

शून्य सूचना बिंदु: जब आगे का विश्लेषण रुक जाना चाहिए

किसी क्रिकेट लेख का गहरा विश्लेषण करने के लिए सबसे पहले उसके दावों की सूची बनानी होती है। एक सामान्य मैच रिपोर्ट में कम से कम कुछ प्रकार की जानकारी होती है: मैच का परिणाम, दोनों टीमों के स्कोर, प्रमुख बल्लेबाजों का प्रदर्शन, गेंदबाजों के आंकड़े, मैच की निर्णायक साझेदारी, परिस्थितियां और कप्तानों या खिलाड़ियों के बयान। विश्लेषणात्मक लेख में इनसे आगे जाकर रणनीतिक बदलाव, गेंदबाजी के चरण, बल्लेबाजी की गति और परिस्थितियों के प्रभाव का अध्ययन किया जा सकता है।

लेकिन यहां इन सभी बिंदुओं की संख्या शून्य है। इसलिए कोई दावा-सूची बनाना संभव नहीं है। यह भी नहीं बताया जा सकता कि लेख किसी मैच की रिपोर्ट था या किसी आगामी मुकाबले का पूर्वावलोकन। किसी खिलाड़ी का नाम, टीम का नाम या आयोजन का नाम भी उपलब्ध नहीं है।

यहां विश्लेषक के सामने एक प्रलोभन पैदा होता है। क्रिकेट और एशिया का लेबल देखकर वह किसी प्रसिद्ध टूर्नामेंट या लोकप्रिय टीम को कहानी का केंद्र बना सकता है। वह भारत, पाकिस्तान, श्रीलंका या बांग्लादेश के क्रिकेट का उल्लेख कर सकता है। लेकिन ऐसा करना उपलब्ध प्रमाण से आगे जाना होगा।

मेरे लिए डेटा विश्लेषण का पहला नियम यही है कि निष्कर्ष का आकार उपलब्ध नमूने से बड़ा नहीं होना चाहिए। यदि 483 गेंदों के रिकॉर्ड से किसी गेंदबाज की लंबाई और लाइन के बारे में सीमित निष्कर्ष निकाला जा सकता है, तो शून्य गेंदों के रिकॉर्ड से किसी गेंदबाज के प्रदर्शन के बारे में कुछ भी नहीं कहा जा सकता। इसी तरह शून्य सूचना बिंदुओं से किसी लेख की गुणवत्ता, निष्पक्षता या उद्देश्य का आकलन करना असंभव है।

खाली डेटा पर तैयार किया गया विस्तृत विश्लेषण अपनी लंबाई से विश्वसनीय नहीं बनता। वह केवल अनुपस्थित प्रमाण को अधिक शब्दों में छिपाता है।

यह बात क्रिकेट की आधुनिक डेटा पत्रकारिता में और भी महत्वपूर्ण हो जाती है, क्योंकि आज किसी मैच के प्रदर्शन को समझने के लिए केवल रन और विकेट पर्याप्त नहीं माने जाते। अपेक्षित रन, बल्लेबाज का स्ट्राइक रेट, गेंद की गुणवत्ता, पावरप्ले का उपयोग, डेथ ओवरों की दक्षता और फील्डिंग के प्रभाव जैसे कई संकेतक इस्तेमाल किए जाते हैं। इन संकेतकों के लिए मूल डेटा की उपलब्धता आवश्यक है। यदि गेंद-दर-गेंद जानकारी ही नहीं है, तो उन संकेतकों को विश्वसनीय रूप से दोबारा तैयार नहीं किया जा सकता।

किसी दूसरे स्रोत से मिले आंकड़े इस्तेमाल किए जा सकते हैं, लेकिन तब उस स्रोत का उल्लेख और सत्यापन जरूरी होगा। मूल लेख के आंकड़ों की जगह किसी दूसरे मैच डेटाबेस से मिले आंकड़े डालकर यह दावा करना गलत होगा कि वे मूल सामग्री से निकाले गए थे।

स्रोत की गुणवत्ता का मूल्यांकन क्यों असंभव है?

क्रिकेट पत्रकारिता में स्रोत की गुणवत्ता का मूल्यांकन केवल वेबसाइट के नाम से नहीं किया जा सकता। एक प्रतिष्ठित खेल प्रकाशन भी कभी-कभी किसी अपुष्ट सोशल मीडिया पोस्ट को खबर के रूप में प्रस्तुत कर सकता है। दूसरी ओर, कोई छोटा स्थानीय प्रकाशन घरेलू क्रिकेट की ऐसी जानकारी दे सकता है जिसे राष्ट्रीय स्तर की वेबसाइटों ने अभी प्रकाशित नहीं किया हो।

इसलिए स्रोत की गुणवत्ता का आकलन लेख के भीतर मौजूद प्रमाणों से भी जुड़ा होता है। क्या लेखक ने आधिकारिक स्कोरकार्ड का हवाला दिया? क्या खिलाड़ी का बयान सीधे उद्धृत किया गया? क्या किसी बोर्ड की घोषणा से तारीख और विवरण की पुष्टि होती है? क्या ट्रांसफर या अनुबंध की राशि आधिकारिक दस्तावेज से मिली है? क्या मैच के आंकड़ों को स्वतंत्र स्रोत से जांचा जा सकता है?

इन सवालों का जवाब तभी मिल सकता है जब मूल सामग्री उपलब्ध हो। यहां स्रोत फील्ड N/A है और किसी सूचना बिंदु के साथ स्रोत का उल्लेख भी नहीं है। इस स्थिति में प्रकाशक की विश्वसनीयता पर कोई सकारात्मक या नकारात्मक फैसला देना उचित नहीं होगा।

इसी तरह लेखक की निष्पक्षता पर भी निर्णय नहीं लिया जा सकता। किसी मैच रिपोर्ट में लेखक एक टीम की रणनीति को बेहतर बता सकता है। किसी अन्य लेख में वह चयन समिति के फैसले पर सवाल उठा सकता है। किसी तीसरे लेख में वह घरेलू क्रिकेट की उपेक्षा का मुद्दा उठा सकता है। इन सभी मामलों में लेखक का दृष्टिकोण अलग-अलग होगा। लेकिन जब लेख का एक भी वाक्य उपलब्ध नहीं है, तो लेखक की स्थिति का अनुमान लगाना असंभव है।

इसका एक सीधा परिणाम यह है कि Stage-1 के आधार पर bias analysis तैयार नहीं किया जाना चाहिए। इसी प्रकार लेख के उद्देश्य को समाचार, प्रचार, राय या विश्लेषण के रूप में वर्गीकृत नहीं करना चाहिए।

क्रिकेट डेटा में समय-संवेदनशीलता की समस्या

समाचार सामग्री का प्रकाशन समय क्रिकेट में विशेष महत्व रखता है। किसी खिलाड़ी की चोट पर सुबह प्रकाशित खबर और मैच शुरू होने के बाद प्रकाशित अपडेट का संदर्भ अलग हो सकता है। टीम चयन की खबर मैच से पहले उपयोगी होती है, लेकिन टॉस के बाद उसकी प्रासंगिकता बदल सकती है। इसी तरह किसी अनुबंध, नीलामी या बोर्ड की घोषणा का मूल्यांकन उसके वास्तविक प्रकाशन समय के आधार पर होना चाहिए।

Stage-1 परिणाम में प्रकाशन तारीख और समय उपलब्ध नहीं हैं। इसलिए सामग्री की समय-संवेदनशीलता का मूल्यांकन नहीं किया गया। यह कमी महत्वपूर्ण है, क्योंकि बिना तारीख के किसी क्रिकेट समाचार को वर्तमान, पुराना या ऐतिहासिक वर्गीकृत नहीं किया जा सकता।

उदाहरण के लिए, किसी खिलाड़ी के टीम से बाहर होने की खबर को बिना तारीख के प्रस्तुत करना भ्रामक हो सकता है। खिलाड़ी बाद में टीम में वापसी कर चुका हो सकता है। किसी टूर्नामेंट के कार्यक्रम में बदलाव की खबर भी समय के साथ अप्रासंगिक हो सकती है। इसलिए प्रकाशन समय को केवल अतिरिक्त मेटाडेटा नहीं मानना चाहिए। यह समाचार की व्याख्या का हिस्सा है।

इसी कारण डेटा संग्रह के पहले चरण में शीर्षक और लेखक के साथ प्रकाशन समय भी सुरक्षित किया जाना चाहिए। यदि वेबसाइट पर प्रकाशित और अपडेट किए जाने के दो अलग-अलग समय उपलब्ध हों, तो दोनों को अलग-अलग रिकॉर्ड करना बेहतर होगा। इससे पुरानी सामग्री के अपडेट को नई खबर समझने की गलती कम होगी।

समय का रिकॉर्ड गायब हो तो खबर का वर्तमान महत्व भी अनिश्चित हो जाता है।

सामग्री निष्कर्षण सुधारने के लिए सात जरूरी कदम

इस समस्या का समाधान किसी नए विश्लेषणात्मक मॉडल को जोड़ने से शुरू नहीं होना चाहिए। सबसे पहले मूल सामग्री प्राप्त करने की प्रक्रिया को ठीक करना होगा। इसके लिए सात स्तरों पर काम किया जा सकता है।

पहला कदम है raw HTML और canonical URL को सुरक्षित करना। किसी पृष्ठ को प्राप्त करते समय केवल अंतिम टेक्स्ट नहीं, बल्कि मूल HTML, अनुरोध की स्थिति और अंतिम resolved URL भी रिकॉर्ड किया जाना चाहिए। इससे यह पता लगाने में मदद मिलेगी कि सिस्टम ने सही पृष्ठ प्राप्त किया या किसी दूसरे पृष्ठ पर पहुंच गया। यदि मूल URL किसी दूसरे पृष्ठ पर redirect हुआ है, तो उस जानकारी का रिकॉर्ड भी आवश्यक है।

दूसरा कदम JavaScript rendering की जांच है। यदि क्रिकेट वेबसाइट का वास्तविक लेख या स्कोरकार्ड ब्राउजर में बाद में लोड होता है, तो सामान्य static fetch पर्याप्त नहीं होगा। ऐसे मामलों में अधिकृत rendering प्रक्रिया के माध्यम से पृष्ठ को लोड करके उसकी अंतिम DOM संरचना जांचनी चाहिए। केवल शुरुआती HTML पर निर्भर रहने से लाइव ब्लॉग और इंटरैक्टिव स्कोरकार्ड छूट सकते हैं।

तीसरा कदम मुख्य लेख के selector को सत्यापित करना है। सिस्टम जिस HTML element को article body मानता है, उसकी मौजूदगी वास्तविक पृष्ठ में जांचनी चाहिए। यदि selector को शून्य नोड मिलते हैं, तो इसे सामान्य सफलता के रूप में दर्ज नहीं करना चाहिए। इसे extraction failure के रूप में स्पष्ट रूप से चिह्नित करना होगा। वेबसाइट के अलग-अलग पृष्ठ प्रकारों के लिए अलग selectors की आवश्यकता भी हो सकती है।

चौथा कदम न्यूनतम शब्द सीमा को उचित बनाना है। हर क्रिकेट समाचार 500 या 1,000 शब्द का नहीं होता। टीम चयन की एक छोटी खबर, चोट से संबंधित अपडेट या आधिकारिक बयान कुछ ही वाक्यों में महत्वपूर्ण जानकारी दे सकता है। यदि सिस्टम की न्यूनतम शब्द सीमा बहुत अधिक है, तो वह ऐसे छोटे समाचारों को गलत तरीके से खाली सामग्री मान सकता है। इसलिए शब्द सीमा को सामग्री के प्रकार के अनुसार निर्धारित करना चाहिए।

पांचवां कदम boilerplate सामग्री हटाना है। वेबसाइट के नेविगेशन, विज्ञापन, कुकी नोटिस, स्कोर विजेट और अन्य सामान्य मॉड्यूल को मुख्य लेख से अलग करना जरूरी है। कभी-कभी इन तत्वों की अधिकता के कारण लेख की वास्तविक सामग्री का अनुपात कम हो जाता है। इसके बाद लागू की गई न्यूनतम शब्द सीमा सही लेख को भी अस्वीकार कर सकती है।

छठा कदम metadata extraction को स्वतंत्र रूप से मजबूत करना है। शीर्षक, byline, प्रकाशन समय और अपडेट समय को मुख्य लेख के टेक्स्ट से अलग निकालने की व्यवस्था होनी चाहिए। इससे मुख्य लेख निष्कर्षण में समस्या होने के बावजूद कुछ उपयोगी निदानात्मक जानकारी सुरक्षित रह सकती है। हालांकि मेटाडेटा उपलब्ध होने का अर्थ यह नहीं कि लेख का विश्लेषण पूरा हो गया है।

सातवां कदम entity extraction को सही क्रम में चलाना है। खिलाड़ियों, टीमों, मैदानों और टूर्नामेंटों की पहचान वास्तविक सूचना बिंदुओं के उपलब्ध होने के बाद होनी चाहिए। केवल URL में मौजूद शब्दों से खिलाड़ी या टीम की इकाई बनाना गलत पहचान का कारण बन सकता है। यदि लेख का पाठ ही नहीं मिला, तो entity extraction को असफल या लंबित दर्ज करना अधिक उचित है।

इन सात सुधारों का उद्देश्य केवल अधिक टेक्स्ट निकालना नहीं है। उद्देश्य यह सुनिश्चित करना है कि निकाली गई सामग्री वास्तविक लेख का प्रतिनिधित्व करती हो और उसके आधार पर आगे तैयार किया गया विश्लेषण सत्यापन योग्य हो।

क्रिकेट विश्लेषण में विफलता का सही मापन

इस घटना से एक व्यापक संपादकीय और तकनीकी सवाल सामने आता है: किसी डेटा प्लेटफॉर्म की सफलता किस आधार पर मापी जानी चाहिए? यदि सिस्टम हजारों लिंक वर्गीकृत करता है, तो क्या उसे सफल माना जाएगा? यदि वह पृष्ठ प्राप्त करता है लेकिन लेख का मुख्य हिस्सा नहीं निकाल पाता, तो क्या यह सफल ingestion है? और यदि वह लेख निकाल लेता है लेकिन उसके तथ्यों को अलग नहीं कर पाता, तो क्या उसे सफल content analysis कहा जा सकता है?

इन सवालों के लिए एक स्तरित गुणवत्ता मापन प्रणाली उपयोगी होगी।

सबसे पहले fetch success rate मापा जाना चाहिए। यह बताता है कि कुल अनुरोधों में से कितने सफलतापूर्वक पूरे हुए। इसके बाद body extraction success rate होना चाहिए, जो यह बताए कि कितने पृष्ठों से वास्तविक लेख का पाठ निकाला गया। तीसरा माप information-point generation rate होना चाहिए। यह दर्शाएगा कि निकाले गए लेखों में से कितनों को संरचित तथ्यों और दावों में विभाजित किया गया। चौथा माप entity extraction accuracy होना चाहिए, जिसमें खिलाड़ियों, टीमों और टूर्नामेंटों की पहचान की गुणवत्ता जांची जाए।

इनके अतिरिक्त एक manual audit sample भी होना चाहिए। स्वचालित प्रणाली का आउटपुट कुछ मामलों में सही दिखाई दे सकता है, जबकि वास्तविक लेख में महत्वपूर्ण संदर्भ छूट गए हों। इसलिए संपादकीय टीम को समय-समय पर चुने गए नमूनों की मूल सामग्री से तुलना करनी चाहिए।

यहां एक उपयोगी अंतर स्पष्ट करना जरूरी है। किसी सिस्टम का extraction rate अधिक होना अपने आप में पर्याप्त नहीं है। यदि वह स्कोरकार्ड के हर अंक को लेख के मुख्य हिस्से में मिला देता है, विज्ञापन को सूचना मान लेता है या किसी पुराने अपडेट को वर्तमान समाचार के रूप में वर्गीकृत करता है, तो उसका आउटपुट बड़ा होने के बावजूद गुणवत्ता कमजोर हो सकती है।

इसलिए गुणवत्ता का मापन केवल मात्रा पर आधारित नहीं होना चाहिए। उसमें शुद्धता, पूर्णता, स्रोत की पहचान और समय की विश्वसनीयता भी शामिल होनी चाहिए।

एक खाली फाइल से मिलने वाला संपादकीय सबक

क्रिकेट पत्रकारिता में डेटा का इस्तेमाल अक्सर खिलाड़ियों और टीमों के प्रदर्शन का मूल्यांकन करने के लिए किया जाता है। लेकिन इस प्रक्रिया का एक कम चर्चित हिस्सा वह तकनीकी व्यवस्था है जो पत्रकारों तक मूल डेटा पहुंचाती है। यदि इस व्यवस्था में त्रुटि है, तो बाद में तैयार किया गया विश्लेषण भी प्रभावित होगा।

यह समस्या केवल स्वचालित समाचार प्लेटफॉर्म तक सीमित नहीं है। किसी पत्रकार की स्प्रेडशीट, किसी विश्लेषक का डेटाबेस और किसी प्रसारण कंपनी का मैच मॉडल भी इसी तरह की निर्भरता रखते हैं। यदि मूल रिकॉर्ड अधूरा है, तो उससे निकले निष्कर्ष की सीमा भी अधूरी होगी।

मैंने क्रिकेट के डेटा को समझने की प्रक्रिया में बार-बार एक बात देखी है: आंकड़ों की सटीकता केवल गणना से तय नहीं होती। यह इस बात पर भी निर्भर करती है कि मूल जानकारी कहां से आई, किसने उसे दर्ज किया और किस नियम के तहत उसे संरचित किया गया। किसी मैच में 483 गेंदों का रिकॉर्ड बनाना तभी उपयोगी है जब हर गेंद का विवरण वास्तव में मौजूद हो। यदि रिकॉर्ड में कोई गेंद छूट गई है, तो उस अनुपस्थिति को चुपचाप भरने के बजाय दर्ज करना चाहिए।

इसी सिद्धांत को समाचार निष्कर्षण पर लागू करना होगा। Stage-1 में शून्य सूचना बिंदुओं का परिणाम कोई संपादकीय असफलता छिपाने का कारण नहीं होना चाहिए। इसके विपरीत, यह एक स्पष्ट चेतावनी है कि विश्लेषण आगे नहीं बढ़ सकता।

विश्वसनीय डेटा पत्रकारिता का मूल्य केवल सही उत्तर देने में नहीं, बल्कि उस स्थिति को पहचानने में भी है जहां उत्तर देने का पर्याप्त आधार मौजूद नहीं है।

यहां एक संभावित विरोधाभास भी है। किसी क्रिकेट डेटा प्लेटफॉर्म को अधिकतम सामग्री निकालने के लिए डिजाइन किया जाता है, लेकिन हर स्थिति में अधिक सामग्री निकालना सही लक्ष्य नहीं है। कभी-कभी अधूरे टेक्स्ट को पूर्ण लेख के रूप में प्रस्तुत करने से बेहतर है उसे असफल निष्कर्षण के रूप में रोक देना। ऐसा करने से तत्काल उत्पादन कम दिखाई दे सकता है, लेकिन आगे के विश्लेषण की विश्वसनीयता सुरक्षित रहती है।

यह अंतर विशेष रूप से तब महत्वपूर्ण होगा जब ऐसे डेटाबेस का उपयोग खिलाड़ी की वैल्यूएशन, टीम चयन, प्रदर्शन तुलना या प्रसारण विश्लेषण में किया जाएगा। यदि किसी खिलाड़ी का नाम गलत तरीके से किसी मैच से जोड़ दिया गया, तो आगे उसके प्रदर्शन के आंकड़े भी गलत रिकॉर्ड हो सकते हैं। यदि किसी टूर्नामेंट का प्रकाशन समय गलत दर्ज हुआ, तो समय-आधारित प्रदर्शन विश्लेषण प्रभावित हो सकता है। यदि किसी लेख की वास्तविक सामग्री के बिना लेखक का दृष्टिकोण निर्धारित किया गया, तो मीडिया पक्षपात पर तैयार रिपोर्ट की विश्वसनीयता कमजोर हो जाएगी।

इसलिए डेटा की अनुपस्थिति को भी एक अलग प्रकार के परिणाम के रूप में रिकॉर्ड करना चाहिए। शून्य सूचना बिंदु केवल खाली स्थान नहीं है। वह यह बताने वाला संकेत है कि प्रक्रिया के किस चरण पर सत्यापन रुक गया।

आगे की दिशा: विश्लेषण से पहले मूल सामग्री

इस Stage-1 परिणाम को देखकर अगला कदम किसी काल्पनिक क्रिकेट मैच की रिपोर्ट तैयार करना नहीं होना चाहिए। सबसे पहले संबंधित लेख का वास्तविक पाठ, मूल URL या raw HTML उपलब्ध कराना आवश्यक है। यदि पृष्ठ JavaScript पर निर्भर है, तो उसके rendered version की आवश्यकता होगी। यदि सामग्री किसी PDF या छवि में है, तो उसका पठनीय संस्करण और आवश्यक होने पर OCR सत्यापन करना होगा।

इसके बाद विश्लेषण की प्रक्रिया एक निश्चित क्रम में आगे बढ़ सकती है। सबसे पहले मूल लेख का सारांश तैयार किया जाएगा। फिर लेखक का दृष्टिकोण और लेख का उद्देश्य पहचाना जाएगा। इसके बाद प्रत्येक महत्वपूर्ण सूचना बिंदु को अलग किया जाएगा और उसके स्रोत की गुणवत्ता दर्ज की जाएगी। खिलाड़ियों, टीमों, बोर्डों और टूर्नामेंटों का entity map तैयार होगा। फिर दावों और उनके समर्थन में उपलब्ध साक्ष्यों की तुलना की जाएगी। अंत में प्रकाशन समय, समय-संवेदनशीलता और लेख के संभावित संदर्भगत अंतराल का मूल्यांकन किया जाएगा।

इस प्रक्रिया में किसी भी अपुष्ट जानकारी को तथ्य के रूप में प्रस्तुत नहीं किया जाना चाहिए। यदि किसी दावे के लिए आधिकारिक स्रोत उपलब्ध नहीं है, तो उसकी स्थिति स्पष्ट की जाएगी। यदि आंकड़ों का नमूना छोटा है, तो निष्कर्ष की सीमा भी बताई जाएगी। यदि लेख का प्रकार निर्धारित नहीं किया जा सकता, तो उसे जबरन मैच रिपोर्ट या विश्लेषण की श्रेणी में नहीं रखा जाएगा।

इस पूरे परीक्षण में सबसे महत्वपूर्ण बात यह है कि cricket_asia लेबल को अंतिम निष्कर्ष के बजाय शुरुआती संकेत के रूप में देखा जाए। यह हमें बताता है कि संबंधित सामग्री संभवतः किस विषय क्षेत्र से जुड़ी है। यह नहीं बताता कि लेख में कौन-सा मैच, कौन-सा खिलाड़ी या कौन-सा दावा मौजूद था।

आने वाले चरण में सफलता का वास्तविक माप यह नहीं होगा कि सिस्टम ने कितने शब्द निकाल लिए। सफलता तब होगी जब मूल लेख के प्रत्येक महत्वपूर्ण दावे को उसके स्रोत, तारीख और संदर्भ के साथ दोबारा जांचा जा सके। क्रिकेट में एक रन का अंतर मैच का परिणाम बदल सकता है। डेटा पत्रकारिता में एक गलत स्रोत या एक छूटा हुआ पैराग्राफ पूरे विश्लेषण की दिशा बदल सकता है।

अगली बार जब कोई क्रिकेट समाचार डेटाबेस हजारों लेखों के विश्लेषण का दावा करे, तो पहला सवाल यह होना चाहिए कि उनमें से कितने लेख वास्तव में पढ़े गए, कितनों के सूचना बिंदु तैयार हुए और कितनों के दावों की स्वतंत्र पुष्टि की गई। यदि इन तीनों संख्याओं का जवाब उपलब्ध नहीं है, तो बड़ा डेटाबेस भी अधूरी कहानी ही सुना रहा है।

अगला निर्णायक कदम मूल सामग्री को वापस प्राप्त करना है। जब तक लेख का पाठ, स्रोत और प्रकाशन समय सामने नहीं आते, तब तक किसी मैच, खिलाड़ी या क्रिकेट घटना पर निष्कर्ष निकालना उचित नहीं होगा। क्रिकेट का विश्लेषण वहीं से शुरू होना चाहिए जहां प्रमाण उपलब्ध हों, न कि वहां जहां खाली फाइल हमें कल्पना करने की अनुमति देती है।