HARUN AYGÜN

Matlab görüntü işleme konusunda da diğer birçok konuda olduğu gibi oldukça gelişmiş araçlara sahip bir programdır. Bu yazıda matlab içinde bulunan bu fonksiyonları kullanarak kameradan gerçek zamanlı nesne takibi yapan bir proje geliştireceğiz. Projenin özellikleri ise şu şekilde olacak.

• Gerçek zamanlı takip
• Birden fazla objenin ayırt edilebilmesi
• Görüntüde tek bir obje varsa hareketinin (engel arkasında görünmeme durumunda) tahmini
• Bulunan objelerin gösterilmesi

Bir nesneyi takip etmek için çeşitli görüntü işleme teknikleri birbiri ardına kullanılarak, görüntüler daha işlenebilir ve anlaşılabilir hale getirilmektedir. Bu kapsamda sırasıyla hangi işlemler yapacağımıza bakalım. Öncelikle kameradan aşağıdaki gibi bir görüntü elde ettiğimizi varsayalım ve buradan mavi renkli objeleri takip etmek istediğimizi düşünelim.

Kameradan bu görüntüyü alabilmek için yazmamız gereken kod şu şekildedir.

1 2 3 4 5 6 7 8 9 10 11 12 13

hardwareInfo=imaqhwinfo; % Kamera donanımı hakkında gerekli bilgilerin alınması [camera_name, camera_id, format]=cameraInfo(hardwareInfo); % Donanım bilgilerinden kameranın özelliklerinin ayıklanması memoryInfo=imaqmem; % Bilgisayarın bellek bilgisinin alınması imaqmem(memoryInfo.AvailPhys); % Kullanıma müsait bütün belleğin görüntü  işleme işlemleri için kullanılabilir hale getirilmesi video = videoinput(camera_name, camera_id, format); % Kamera özelliklerine göre video objesinin oluşturulması set(video, 'FramesPerTrigger', Inf); % Videonun sürekli frame alması için gerekli düzeltme set(video, 'ReturnedColorspace', 'rgb'); % Videonun rgb uzayda dönmesi için gerekli ayarlama video.FrameGrabInterval = 1; % Videodan ne kadar sıklıkla frame çekileceği. start(video); % Videonun başlatılması data = getsnapshot(video);

 Buradan mavi renkleri ayıklamak için birkaç adım gereklidir. Öncelikle 3 renk katmanından (RGB) oluşan bu resmin mavi katmanını ayıklamak ve gri katmana göre farkına bakmak bize oldukça iyi bir tahmin verecektir. Resmin mavi katmanı aşağıdaki gibidir. Bu katman data değişkeninin 3. boyutunda tutulmaktadır ve erişmek için data(:,:,3) yazılması yeterlidir. Resmin gri renkli hali için ise Matlab içinde bulunan rgb2gray() fonksiyonu kullanılabilir.

Daha sonra bulunan mavi ve gri katmanlar birbirinden imsubtract() fonksiyonu ile çıkartılıp, aşağıdaki fark elde edilir.

Bu resme “Median Filtresi” uygulanarak tuz-biber gürültüsü adı verilen karıncalanmaların giderilmesi sağlanabilir. Bu işlem 2 boyutlu median filtresi fonksiyonu olan medfilt2() fonksiyonu ile yapılabilir.

Daha sonra eşik değerine göre resim içindeki renkler ayırt edilip, resim daha kolay çalışılabilir hale getirilmiştir. Bu işlemler şöyle yapılmaktadır.

1 2	img(img<threshold) = 0; img(img>=threshold) = 255;

Dikkat edilirse burada sol alt köşeye doğru küçük bir obje vardır. Bu objenin görüntüde takip edilmesi istenmemektedir. Bu yüzden resim içindeki bağlı bileşenler bulunarak, alanı belli bir değerin altındaki objeler ayıklanabilir. Bu işlem Matlab içerisindeki bwareaopen() fonksiyonu ile kolaylıkla yapılabilir.

Şimdiye kadar yapılan işlemlerin resim üzerine eklenmesi ile elde edilen sonuç şu haldedir.

Bu işlemlere ek olarak bulunan nesnelerin kenarlarının bulunması için Canny kenar bulma yöntemi ve biraz da makyaj yapmak için bulunan sonucadilation işlemi uygulanabilir. Bu işlemlerin sonucu ise şöyle olmaktadır.

Ancak bu işlemlerin yapılması bilgisayarın performansına bağlı olarak gerçek zamanlı takibi olumsuz kılabilmektedir. Bu yüzden bu kısımlar projede bulunmamaktadır. Bu işlemlerden sonra bulunan objelerin işaretlenmesi, konumlarının ve hızlarının bulunması işlemi gelmektedir. Bu işlem şu şekilde yapılabilir.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

stats = regionprops(logical(Label),'BoundingBox','Centroid','FilledImage','Area'); % Bağlı bileşenlerin özelliklerinin çıkarılması     if(exist('stats','var')) % Herhangi bir obje bulunması durumunda         for object = 1:length(stats) % Bulunan her obje için             if(object < 16 && object > 0) % Obje sayısı sınırlaması                 boundingBox{object} = stats(object).BoundingBox; % Objeyi çevreleyen dikdörtgenin koordinatları                 centroid{object} = stats(object).Centroid; % Objenin merkez noktası koordinatları                 area(object,2) = stats(object).Area; % Objenin alanı                 if(area(object,2) >= 0) % Objenin alanının kontrolüne göre önceki alan bilgisinin güncellenmesi                     area(object,1) = area(object,2);                 end                 % Objenin bir önceki konumundan ne kadar uzaklaştığının hesaplanması                 dx=round(objPosition(2,1,object)-objPosition(1,1,object));                 dy=round(objPosition(2,2,object)-objPosition(1,2,object));                 filledImage{object} = stats(object).FilledImage; % Objenin küçük resminin alınması                 rectangle('Position',boundingBox{object},'EdgeColor','r','LineWidth',2,'Parent',hmain) % Objenin etrafına dikdörtgen çizilmesi                 plot(hmain,centroid{object}(1),centroid{object}(2), ' ys','MarkerSize',6,'MarkerFaceColor','y') % Merkez noktasına sarı işaretçi konulması                 imshow(filledImage{object},'Parent',hsub(object)) % Bulunan küçük resimlerin ikinci grafiğe çizilmesi                 title(hsub(object),[num2str(object) '. Obje']); % Objelerin başlıklarının atanması                 objPosition(1,:,object) = objPosition(2,:,object); % Objenin eski konumunun güncellenmesi                 objPosition(2,:,object) = [centroid{object}(1),centroid{object}(2),area(object,2)/imgSize]; % Objenin yeni konumunun bulunması                 if(length(stats) == 1) % Tek obje bulunması durumunda                     % Objenin konumlarının bulunması                     x = boundingBox{object}(1);                     y = boundingBox{object}(2);                     % Gürültüden veya objenin engel arkasına gitmesinden dolayı alandaki değişikliklerin ekarte edilmesi                     if(area(object,2)/area(object,1) >= 0.9 && area(object,2)/area(object,1) <= 1.1)                         theImage = stats(object).FilledImage;                     end                 else % Birden fazla obje olması durumunda                     % Hız, Konum, Alan bilgilerinin kullanıcıya gösterilmesi                     txtInfo = text(centroid{object}(1)+15,centroid{object}(2), [num2str(object)...                         '. X: ' num2str(round(centroid{object}(1))) '   Y: ' num2str(round(centroid{object}(2)))],'Parent',hmain);                     txtSpeed = text(centroid{object}(1),centroid{object}(2)+15, ['   dx: ' num2str(dx)...                         '   dy: ' num2str(dy) '  area: ' num2str(round(area(object,2)/100)*100)],'Parent',hmain);                     set(txtInfo, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'yellow');                     set(txtSpeed, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'yellow');                 end             end         end     end

Burada yapılan işlemleri kısaca özeltemek gerekirse, öncelikle regionprops() fonksiyonu ile bağlı bileşenlerin ve bu bileşenlerin istenen özelliklerinin elde edilmesi sağlanmaktadır. Daha sonra bulunan bu özelliklere göre her bir objenin alanını çevreleyen bir sınır çizilip, merkez noktası belirlenerek bu noktanın yanında cisimle ilgili bilgiler gösterilmektedir. Bu işlemlerin sonucu aşağıdaki gibidir.

Sahnede tek bir obje olması durumunda eğer obje bir engelin arkasına giriyorsa çalışan kod şu şekildedir.

1 2 3 4 5 6 7 8 9 10 11 12

% Objenin bilgileri varsa fakat ekranda hiç obje yoksa cismin % hareketinin tahmini if(exist('object','var') && exist('x','var') && exist('y','var') && length(stats) <= 1) % Cismin sabit hızla aynı yönde gittiği tahmin edilerek bir sonraki % konumunun hesaplanması x=x+dx; y=y+dy; % Bulunan konuma küçük resmin çizilmesi image(x,y,theImage*255,'Parent',hmain); end

Böylece cismin konumu ve hızı tahmin edilmekte, bulunan değerlere göre tahmini rotası çizilmektedir.

Bulunan bütün objeler ise ek bir pencerede gösterilmektedir.

Son olarak ise performans sağlamak için alınan verilerin bellekten silinmesi işlemi vardır.

1 2 3

if mod(video.FramesAcquired,100)==0     flushdata(video); end

Döngü bittikten sonra verilerin tamamen silinmesi ise şu kodlar ile sağlanmaktadır.

1 2	stop(video); flushdata(video);

Projenin bütün kodlarına ulaşmak için aşağıdaki bağlantıyı kullanabilirsiniz.