دو حسگر اصلی وجود دارد: میکروفون و دوربین است که می ­تواند آرایه­ای از این حسگرها باشد. بینایی از یکی از حواس پنج گانه است و بیشترین راه تشخیص است و بعد از آن شنیدن. گاهی بینایی بی­فایده است و باید حتما صدا شنیده شود. ذخیره­سازی و پردازش تصاویر ویدیوئی گران است. سیستم بینایی معمولا در روش ظاهرسازی حساس به نور است حسگر صدا در سلام و مکالمات مورد استفاده قرار می­گیرد.
سیگنال صدا: پردازش و ذخیره­سازی سیگنال صدا ساده­تر است. و سیستم صدا از نور قوی­تر است و می ­تواند جبران منابع تصویر باشد. تعدادی از الگوریتم­های توسعه و بازیابی بینایی از مکان­های ۳D جزئیات اطلاعات فعالیتها را نمایش می­ دهند.
۳-۳-سلسله مراتب نمایش
رکوردی از تالار ورودی اتاق به مدت ۱۰ روز گرفته می­ شود هر رکورد در وضوح ۴۸۰*۶۴۰ و با فرمت mpeg-2 که ۳۰ فریم در ثانیه است و دو کانال صدا هم ذخیره می­ شود. هر روز ۸ ساعت و در ۱۰ روز ۸۰ ساعت فیلم که در ۴ سطح آن را نمایش می­دهیم.که با ۴ نام خوانده می­شوند. CE عناصر ادراکی هستند. IE فعالیت­های شخصی GF ترکیبی از
فعالیت­های گروهی و GE ترکیبی از رخدادهای گروهی.
عناصر ادراکی شامل مجموعه ­ای از موجودیتی از اشیا به همراه خصوصیت آن­ها است. موجودیت­ها می­توانند: راه رفتن و ایستادن و یا نشستن فرد بیمار روی ویلچر باشد. خصوصیت می ­تواند شامل اندازه گیری حرکت و نمایش دیداری از موجودیت­ها باشد. پنج خصوصیت دیداری شامل: مکان، جهت حرکت، سرعت، رنگ پوست و شکل  باشد. که در جدول زیر نشان داده شده است.
مکان را با در نظر گرفتن اینکه در حال حاضر کجاست مشخص می­ شود مثل اتاق نشیمن و راه رفتن را در چند سکانس بررسی می­ کند اگر جای شخص تغییر کند یعنی فرد حرکت کرده است. GE معنی سکانس­های تصویر و صدا است مثل مکالمات که در ۳ سگمنت زیر مشخص شده ­اند.

1. 1. فرد A و B به یکدیگر نزدیک می­شوند.

1. 1. A وB صحبت می­ کنند.

1. 1. فرد A وB با یکدیگر یا جدا از یکدیگر خارج می­شوند.

فرضیات ما تنها در ۵ مورد زیر است چون مشاهدات ما در زمان و تعداد افراد با یکدیگر محدود نیستند و ممکن است از دید ما خارج شوند.

1. 1. نزدیکی فرد A و B

1. 1. جدایی فرد A وB

1. 1. توقف A وB

1. 1. ایستادن و صحبت کردن

1. 1. راه رفتن با کمک یکدیگر

۳-۴-آشکارسازی فیلم
از الگوریتم کاهش پشت زمینه^[۲۷] استفاده می­کنیم. فریم­های قابل انطباق از متدهای پشت زمینه را فراهم می­ کند. نویز را حذف می­ کند گروهی از پیکسل­ها را (بیشتر از ۱۵ پیکسل) را می­خواند یک مرز برای پیکسل­ها مشخص می­کنیم که اختلاف فریم­های رایج و پشت زمینه است. فریم f شامل فعالیت­های دیداری باشد۱=Vfاگر هر یک از قوانین زیر برقرار باشد و گرنه  Vf=0 است.

( اینجا فقط تکه ای از متن فایل پایان نامه درج شده است. برای خرید متن کامل پایان نامه با فرمت ورد می توانید به سایت feko.ir مراجعه نمایید و کلمه کلیدی مورد نظرتان را جستجو نمایید. )

1. 1. دو شکل گرافیکی با رنگ مشخص (Region)یا بیشتر  در یک فریم باشد.

1. 1. Region وجود داشته باشد که پایین فریم نباشد و عرض و ارتفاع آن نسبت به یکدیگر بیشتر از .۷ باشد.

۳-۵-رخدادهای صوتی
از انطباق­های Clarkson و Pentland استفاده می­ شود که نرمال سازی قدرت سیگنال صدا است.
۳-۶-خصوصیات شکل و رنگ
رنگ اغلب در تمیز دادن موجودیت­ها در پردازش مورد استفاده قرار می­گیرد.از یک هیستوگرام ۸بیتی برا ی هر کدام از رنگهای RGB برای هر موجودیت استفاده می­ شود. اطلاعات شکل با قسمت بندی فاصله Manhattan نمایش داده
می­ شود. در این روش هر منطقه^[۲۸] شامل مردم یا وسایل است که به ۹ زیرمنطقه^[۲۹]تقسیم می­ شود.
چگالی هر زیرمنطقه بعد از محاسبه مرز آن مساوی ۱ است  که بیشتر از ۵۰% است وگرنه مقدار آن صفر است. در انتها برداری با ابعاد ۱۰ داریم برداری که ۹ بلاک آن خصوصیت است و نسبت طول و عرض شکل در هر ثانیه این خصوصیت نوشته می­ شود. مکان­ یابی به صورت (x,y,z) است سرعت، جهت و حرکت در هر ثانیه مشخص می­ شود. رنگ وشکل از روی اولین فریم هر ثانیه تشخیص داده می­ شود.
۳-۷-آشکارسازی IE
از روش منحنی مخلوط ^[۳۰]GMMsاستفاده می­ شود.
۳-۸-آشکارسازی GF و GE
بعد از آشکارسازی IE ما می­توانیم گرافی بسازیم که شامل هر زوج IE باشد. داده ­های احتمالی GE در هر گراف
می ­تواند مقادیر مساوی با یک رامحاسبه کند. خروجی GE نتیجه مرتفع ترین احتمال است.
۳-۹-آشکارسازی فعالیت­های انسان از پشت موانع با بهره گرفتن از پویانمایی سیگنال­های رادار دوپلر
هااو لینگ، استاد دانشگاه تگزاس و شبها رم در تحقق بخشیدن به دید اشعه­ی X یک گام به جلو حرکت کردند. آن­ها در حال تکمیل سیستم­های راداری هستند که می­توانند فعالیت­های انسانی را از پشت موانع آشکارسازی نموده و این سیگنال­ها را به تصاویر مجازی شبیه به بازی ویدیئویی تبدیل نمایند.
به گزارش سرویس علم و فناوری پایگاه اطلاع رسانی صبا و به نقل از ساینس دیلی، لینگ در باره­ی این پروژه گفت: “چندین برنامه­ی تحقیقاتی در مورد تصویربرداری از پشت دیوار در حال انجام می­باشد اما آن­ها روی ساخت حسگرهای سخت افزاری با بسیاری از توانائی­های مشخص تمرکز دارند. این کار گران قیمت است. آنچه ما می­خواهیم در این پروژه انجام دهیم این است که اول بفهمیم حرکات انسان چگونه در داده ­های راداری آشکار می­ شود. سپس این دانش را برای تولید تصویر یک انسان استفاده کنیم.”
سیستم­های راداری فرکانس رادیویی مبتنی بر دوپلر به ویژه برای دنبال کردن رد انسان­های متحرک مناسب می­باشند. آن­ها درهم ریختگی های پس زمینه را از اشیای ساکن جدا کرده و جزئیات کافی را جهت نمایش حرکات پویای قسمت­ های مختلف بدن را به شکل “میکرودوپلرها” ارائه می­ دهند.
لینگ گفت: “یک انسان، پویایی حرکتی بسیار پیچیده­ای دارد. هنگام راه رفتن، بازوها و پاها بسیار متفاوت از پیچ و تاب خوردن حرکت می­ کنند و این حرکات لطیف و ریز به صورت علائم منحصربفرد میکرودوپلر ترجمه می­شوند.”
لینگ و رم یک شبیه­ساز رادار دوپلر مبتنی بر فیزیک و با بهره گرفتن از داده ­های پویانمایی رایانه­ای از حرکات انسان ساختند. سپس آن­ها مشخصات مانع را در نمونه­ شبیه سازی ترکیب کردند. در نهایت، نتایج را با یک نمونه­ آزمایشی رادار دوپلر که از پیش توسعه داده شده بود با حرکات زنده­ی انسان در وضعیت­های دید مستقیم و پشت موانع به لحاظ صحت بررسی کردند. چند تن از دانشجویان فارغ التحصیل پیشین و کنونی شامل یونگووک کیم، کرایگ کریستیانسون، نیک وایتلونیس و یانگ لی نیز در این پروژه مشارکت داشتند.
رم گفت: “علائم میکرودوپلر می­توانند ابزارهای مهمی برای نظارت بر فعالیت­های انسان در طول زمان­های طولانی باشد. شبیه­ساز رادار به ویژه یک وسیله ی قابل انعطاف و غیر گران است که ما می­توانیم برای بهینه کردن پیکربندی­های حسگر و الگوریتم­های پردازش سیگنال از آن استفاده کنیم که برای تولید یک تصویر مجازی دقیق از انسان در پشت انواع مختلف موانع نیاز می­باشد. “
۳-۱۰-آشکارسازی از طریق RFID