هوش تجاری

کلان داده کجا به درد ما میخورد ؟

یک بحثی داریم به نام هوش تجاری هوش تجاری این است که شما دیتا های مختلف را از منابع مختلف بیابید و استخراج کنید

کلان داده و هوش تجاری میگوید که شما ابتدا بیاید و انبار داده ایجاد کنید و در این انبار داده همه داده ها را بریزید و متمرکز کنید و بین شان ارتباط برقرار کنید

بعد از این که انبار داده ایجاد شد میتوانیم روی آن پلتفرم های تحلیلی قرار دهیم

حال ممکن است بیایم یک بخشی از این انبار داده را بیاوریم بیرون که به آن گاه داده میگوییم که یک بخش کوچکی از انبار داده است که معمولا به صورت موضعی استفاده میشود

خود پلتفرم های تحلیلی درواقع از الگوریتم های پرسرعتی استفاده می کنند برای این که بتواند سریع تر دیتا را برای ما پیدا کند و تجمیع کند .

به این کار پردازش تحلیلی برخط olap می گویند. که از داده ها کیوب درست میکند

یعنی شما از هر جهت به آن نگاه کنید میتوانید دو بعد از داده را ببینید در واقع از هر جهت بهش نگاه کنید می توانید دو بعد را ببینید

میتوانید با دیتا بازی کنید و در همین بازی با دیتا یک سری الگو ها برای شما مشخص می شود

تعریف

• تجمیع داده‌ها از سیستم‌های مجزا
• روش‌های تحلیل داده‌های حجیم

تحلیل داده

• پلتفرم پرسرعتی که از انواع مختلف پایگاه داده اعم از رابطه‌ای و غیر رابطه‌ای استفاده نموده و برای تحلیل پایگاه‌های داده حجیم بهینه شده است

پلتفرم تحلیلی

پردازش تحلیلی برخط (OLAP)

• ابزاری برای تحلیل چندبعدی داده‌ها که کاربر را قادر می‌سازد تا یک داده را از وجوه مختلف مشاهده و تحلیل نماید

انبارش داده

انبار داده را شما در دو حالت میتوانید پیاده سازی کنید یا همه دیتا را جمع کنید و از آن یک انبار داده درست کنید بعد این انبار داده را بشکنید برای هرکس که میخواهد یک گاه داده درست کنید و روی هر گاه داده یک olap بگذارید

یا میایم ساختار داده مون رو به صورتی انجام میدهیم که تفکیک داده ها در لایه oltp راحت تر است

میایم داده ها را به صورت تفکیک شده استخراج میکنیم دیتا مارت هاشون را مثلا شرکت چند ملیتی زیمنس این

حالت را دارد

هر شعبه برای خودش یک گاه داده در همان کشور خودش دارد

بعد همه این ها را بعد از این که گاه داده شون درست شد تجمیع میکنیم در یک ظرف یعنی از دیتا مارت ها یک دیتاورهوس درست میکنیم و روی آن یک olap قرار میگیرد که این را هدکوارتر یا زیمنس اصلی استفاده میکند

انبار داده

• پایگاه داده‌ای است که داده‌های جاری و گذشته را به منظور تصمیم‌گیری بهتر در یک نقطه جمع‌آوری و متمرکز می‌کند

گاه داده

• زیرمجموعه‌ای از انبار داده است که عموما خلاصه و یا قسمتی از داده‌های سازمان را در یک پایگاه داده مجزا نگهداری و پردازش می‌کند

داده‌کاوی

داده کاوی به تحلیل دیتا و به نوع خاصی از تحلیل دیتا داده کاوی میگویند

داده کاوی معمولا روی کلان داده ها انجام می شود و الگوهای مخفی را بین داده ها پیدا میکند و معمولا برای پیش بینی و هوش مصنوعی از داده کاوی استفاده میکند

روال به این صورت است که یک دیتای خام داریم بعد آن را دسته بندی میکنیم در یادگیری ماشین در روش های کلاسیک یک مسئله کلاسیک تشخیص سگ از گربه است که یک سری عکس داده میشود بعد بهش اموزش می دهید بعد خودش میتواند تشخیص دهد .

تفکیک تابلو های راهنمایی رانندگی یا تفکیک سگ و گربه یعنی میان دیتا را تگ میکنند و کلاستر میکنید یعنی تعریف میکنید این ها یگ ها هستند و این ها گربه ها هستند و آن را دسته بندی میکنیم و بعد ابزار تحلیل به شما کمک میکند یک خطی را رسم کنید که خط رگرسیون

است که تشخیص سگ و گربه با این خط انجام میشود و هر تصویر جدید با این خط انجام میشود

تعریف

• تحلیل داده‌ها و شناسایی الگوهای مخفی روابط بین داده‌ها در پایگاه‌های داده بزرگ و استخراج قواعدی برای پیش‌بینی رفتارهای آینده داده‌کاوی عموماً مواردی را آشکار می‌کند که توسط ابزارهای پردازش تحلیل برخط قابل شناسایی نیست

خروجی داده‌کاوی

• الگوها و قواعد به دست آمده برای تصمیم‌گیری و پیش‌بینی پیامدهای تصمیمات

انواع تحلیل

• ارتباط داده با رویدادها

مشخص کردن ارتباط داده ها با رویداد ها یعنی اطلاعاتی که جمع اوری کردید تحت چه شرایطی انجام شده است یعنی ورودی چه چیزی بوده است و خروجی چی شده است مثلا یک ابزار تحلیلی میخواهیم برای آب و هوای سمنان درست کنیم می گوییم مثلا وزش باد و دما و .... را از شهر های اطراف سمنان دربیارید بعد بیاورید با رویداد ها مرتبط کنید

• توالی رویدادها

یعنی مثلا اول کجا طوفان آمده است

• دسته‌بندی داده‌ها

طوفان و دما و رطوبت .... را دسته بندی کنید

• خوشه‌بندی داده‌ها

یک لول بالاتر از دسته بندی است یعنی بعد از این که دسته بندی انجام شد میگوییم این مجموعه از دسته داده ها مربوط به آب و هوا است و فلان مجموعه مربوط به شرایط زمین است و .... خوشه بندی میکنید .

• پیش‌بینی

بر اساس دیتایی که جمع اوری و دسته بندی کردید

میتوانید یک سیستم پیش بینی درست کنید

متن‌کاوی

متن کاوی یک نوع خاص از داده کاوی است که روی gpt هم استفاده میشود

که عناصر اصلی داده ها را از متن و کلان داده های بدون ساختار استخراج میکند

مثلاً توییتر می‌خواهد بداند نظر مردم راجع به ترامپ چیست یک متن کاوی میکند از همه توییت‌های که افراد زدند و یک الگوی را پیدا میکند

که به آن عقیده کاوی هم می گویند

متن کاوی یک بحث بسیار پولساز برای شبکه های اجتماعی است

تعریف

• استخراج عناصر اصلی داده‌ها از کلان‌داده‌های بدون ساختار
• شناسایی الگوها، روابط و خلاصه‌سازی اطلاعات

عقیده‌کاوی (Sentiment)

تحلیل و کاوش در یادداشت ها ایمیل ها و وبلاگ ها و غیر است

استنباط عقاید در خصوص موضوعات خاص

• تحلیل و کاوش در یادداشت‌ها، ایمیل‌ها، وبلاگ‌ها، گفتگو در رسانه‌ها و شبکه‌های اجتماعی
• استنباط عقاید در خصوص موضوعات خاص

وب‌کاوی

در حوزه متن کاوی است و دیتا را از وب استخراج می کنند و دانش را از وب استخراج می‌کند و ساختارها و غیره را استخراج میکند

• جستجو و تحلیل الگوهای مفید از اطلاعات استخراج شده از وب
• کاوش محتوا: فرایند استخراج دانش از محتوای صفحات وب از جمله متن، تصویر، صوت و ویدیو
• کاوش ساختار: بررسی ساختار داده‌های مربوط به یک وب‌سایت خاص
• کاوش کاربری: رصد تبادل داده کاربران با یک سرور یا وبسایت

چرخه عمر درخواست کاربر

پشته سیستم کلاینت نشستیم و یک دیتا را وارد میکنیم یا یک دیتایی را فراخوانی می کنیم

این در فضای اینترنت قرار می گیرد و در این فضای اینترنت هر کدام از این ها به یک سروری وصل هستند و بر اساس آدرسی که می دهیم این می‌تواند سرور ما را پیدا کند مثلاً وقتی آدرس دانشگاه سمنان را می‌زنید یک جایی به نام dns تعریف شده است سرور را پیدا می‌کند و ریکوئست شما را می فرستد به اون اپلیکیشنی که روی اون سرور قرار است پردازش کند

مثلاً اگر انتخاب واحد کنید میاد به سرور گلستان و خود گلستان به یک دیتابیس ای وصل است

مثلاً اگر می خواهید یک واحدی را بردارید میاد از اون دیتابیس جدول واحد ها را در می آورد و به شما نشان می دهد و شما برمی دارید بعد کد واحد را پیدا می کند و می زند بین واحد های ترم جاری شما این کار را دیتابیس سرور انجام میدهد

دیتابیس سرور هم خودش یک یا چند دیتابیس مختلف دارد

این چرخه عمر درخواست کاربر است و در نهایت روی پوست شما یک ریسپاندی را دریافت میکند

پردازش در دو مرحله می تواند انجام شود

پردازش نقطه یک روی مرورگر انجام میشود و بار پردازش روی سیستم شما می افتاد مثلاً وقتی یوزر را وارد می کنیم و پسورد را وارد نمی کنید و دکمه لاگین را میزنید این درخواست لازم نیست دیگر کل مسیر را طی کند همین جا پردازش می کند و می گوید پسورد وارد نشده است

ولی یک زمانی هست که پسورد هم وارد کردید اما پسورد غلط است نقطه یک نمی تواند تشخیص دهد که پسورد غلط است چون به دیتابیس دسترسی ندارد باید این کانالها را رد کند و در نقطه دوم به دیتابیس دسترسی دارد پسورد شما را بخواند و چک کند و اگر درست باشد شما را به یک صفحه دیگر هدایت می کند

راهبرد اطلاعات (Information Policy)

تعریف

• قواعدی که در سطح سازمان برای به‎اشتراک‌گذاری، دستیابی، استانداردسازی، دسته‌بندی، ذخیره‌سازی داده‌ها و مسئولیت‌ها تعیین می‌شود

راهبر داده

تعریف

• مسئول سیاست‌گذاری‌های خاص و رویه‌های مدیریت اطلاعات

شامل

• توسعه راهبرد اطلاعات
• برنامه‌ریزی برای داده‌ها
• نظارت بر طراحی پایگاه داده و توسعه دیکشنری داده
• نظارت بر استفاده کاربران از داده

کیفیت داده

یک بحثی که در داده ها بسیار مهم است بحث کیفیت داده است و یک آنالیز انجام می‌شود به نام حسابرسی کیفیت داده که ساختار داده و میزان کامل بودن داده ها را در سیستم اطلاعاتی آنالیز می کند

بعد از اینکه دیتا را جمع‌آوری کردیم این دیتا باید پاکسازی شود

یک بخش از دیتای جدیدی که جمع آوری کردید با دیتای شما همپوشانی دارد و یک بخشی ممکن است تناقض داشته باشد یعنی دیتای موجود با دیتای جدید همخوانی نداشته باشد و این تناقض را باید پیدا کنید و ببینید کدام درست است و آن را اصلاح کنید

حال اون بخش از دیتایی که ندارید را چطور می توانید به دست بیاورید ؟ بعد از اینکه دیتا را به دست آوردید ممکن است برقرار کردن ارتباطش با دیتای فعلی به همین راحتی نباشد و مجبور شوید که از جداول واسط استفاده کنید برای اینکه دیتا را لینک کنید

مثلاً فرض کنید انواع مختلف سیمان را شما دارید تولید می کنید

مثلاً ظرفیت تولید تون و میزان تولید را دارید و وارد سایت مرکز آمار ایران می شوید و میزان صادرات

سیمان را در می آوریم

اگر برای مثال اعداد فهرست با هم متفاوت باشد اعداد جدول اول یونانی باشد اعداد جدول دوم به صورت معمول باشد شما نمی توانید این دو لیست را به هم لینک کنید و یک آنالیز جامع انجام دهید مجبور هستید یک جدول واسطه قرار دهید که کار این جدول این است که می گوید مثلاً یک عدد جدول دوم معادل یک یونانی است

و بعد از اینکه لینک کردید می‌توانید محاسبه انجام دهید

پس حسابرسی کیفیت داده نگاه میکند که داده چقدر به درد شما میخورد و چقدر باید اصلاح شوند تا قابل استفاده شود

حسابرسی کیفیت داده

1. ابتدا دیتا را وارد کنید یک سری دیتا خودتان دارید یک سری هم مرکز آمار دارد این ها را اینپورت کنید در دیتابیس خودتان

2. بعد دیتا بیس را یک کاسه کنید بریزید در یک دیتابیس تا بتوانید به هم لینک کنید چون لینک کردن دیتابیس های مختلف مشکل است

3. حالا وقتی می خواهید لینک کنید یک جاهایی دیتای گپ دارید پس می آیید اون گپ ها را درست میکنید مثلاً جدول واسطه درست میکنید

4. استاندارد سازی میکنید

5. نرمال سازی داده یعنی داده هایی که باید تفکیک شوند

در یک جدول جدا لیست شوند

1. حذف موارد تکراری در داده ها

2. حال داده ها خلأهای شان پر شده و استاندارد سازی شده و نرمال سازی شده و تکراری ها حذف شده حال اینجا داده ها مرتب شده است و می توانید از آنالیز بگیرید

آنالیز انجام می دهید یا مثلاً دیاگرام هاتون رو میکشید بعد چک می کنید که درست است یا خیر اگر درست باشد وارد مرحله بعدی می شود

1. می تواند از دیتا خروجی بگیرید به صورت چارت یا روی کاغذ یا آنلاین

2. تحلیل کیفیت داده‌ها، دقت ساختار و میزان کامل بودن داده‌ها در یک سیستم اطلاعاتی

پاکسازی داده

• شامل فعالیت‌هایی برای شناسایی و اصلاح داده‌های اشتباه، ناقص و تکراری در پایگاه داده و تلاش در جهت اصلاح خطاها و حصول انسجام و پایداری

انواع شبکه

• شبکه محلی
• شبکه کمپ
• شبکه شهری
• شبکه گسترده

بستر تبادل داده

مرکز ارائه دهنده سرویس اینترنت

• سازمانی با اتصال دائمی به اینترنت که اتصال موقت را به کاربرانش ارائه می‌دهد

نسل های وب

سیر تکامل وب اسلاید ما در حال حاضر در وب ۳ هستیم و سیر تکامل به این صورت بوده است که در وب ۱ ارتباط یک طرفه بوده است یعنی اطلاعات را می‌گذاشتند در بستر اینترنت و وب سایت ها یک طرفه بودند و فقط می‌توانستید ببینید

در وب ۲ ارتباط به صورت دو طرفه شد مثلاً می‌توانستید کامنت بگذارید یا چت کنید

در وب ۳ علاوه بر ارتباط دوطرفه شما یک تجربه دیجیتال سه بعدی هم خواهید داشت مثل اینکه های ar و vr

در ar به دنیای واقعی یکسری اطلاعات مجازی اضافه می‌شود و این عینک ها شفاف هستند و داخلش اسکرین

وب ۱

• دسترسی به اطلاعات آنلاین

وب ۲

• به اشتراک گذاری محتوای آنلاین

وب ۳

• به اشتراک گذاری تجربه دیجیتال
• وب ۳ بعدی

اینترنت اشیا یعنی دستگاه هایی که اطلاعات را برای شما سنس می‌کنند و یک کاری را انجام میدهند

• اینترنت اشیا

سنسور ها که اطلاعات را سنس میکنند مثل سنسور دما و رطوبت

یکسری هم actretor هستند یعنی یک کاری را انجام میدهند

مثلا وقتی دما به یک حدی رسید تهویه را زیاد میکند

حال اگر پردازش این ها در یک جای متمرکز انجام شود یعنی سنسورها اطلاعات را به یک پردازشگر می‌دهند و پردازشگر شرایط را سنس می کند و اگر شرایط برقرار بود دستور می‌دهد که یک کاری را انجام دهد

• وب مصور