Открыть модальное окно в SharePoint 2010 очень просто. Достаточно выполнить следующий JavaScript код
var options = {
url:'/_layouts/prjsetng.aspx',
title:'Title, Description, and Icon',
width:640,
height:400
}
SP.UI.ModalDialog.showModalDialog(options);
Более подробная информация о работе с окнами по ссылке http://blog.mastykarz.nl/sharepoint-2010-application-pages-modal-dialogs/