2009年10月1日 星期四

[php]hread跟fork

引用來源:http://phorum.study-area.org/index.php?topic=44942.0

先來說說thread跟fork的差別吧

fork其實就是把本身資料一模一樣的複製一份
每個生出來的東西我們稱他為 "Process"
使用fork的好處是每個Process之間資料是互相獨立
但缺點是比較耗系統資源,而且各個process之間要交換資料
就只能透過share memory或是內部的sockect去作溝通

而thread差別在,每個thread是共用同一個資料區
也就是thread是使用相同的資料空間,唯一不同的地方只有
各自的stack區是獨立的
但缺點是,由於thread間資料節區是共用,很容易造成racing,
這點得透過IPC機制,像是critical section,這類的IPC機制
限制同一時間內只能有一個thread去存取資料。

雖然Posix有定義thread相關函數,但以linux系統來說
在2.4版並沒有真正支援thread模式,glibc在實做thread函數
是採用user space的方式去模擬。
到了2.6的kernel才有開始真正支援thread。

至於PHP為何不提供multi-thread我想到不是因為"直譯"的關係
主要還是在"平台"

php本身是個跨平台的語言,某些系統根本不支援thread,
即使使用posix的pthread,用user space去跑,穩定度可能也不佳。
所以乾脆就不要支援還比較妥當。

就像在threading模式的apache一樣,php就會關閉dl功能
避免一個不穩定的lib把整個apache給搞垮了。

補充一下

PHP本身還存在著thread-safe的大問題

什麼叫thread-safe這邊說明一下

例如我在程式裡呼叫了一個function abc

abc裡面做了配置一個static的變數紀錄,然後把一些暫時性的資料擺在這個static變數里,方便下次呼叫時家快速度。

在fork模式底下各個Process資料是獨立的所以沒啥太大問題
可是thread模式就出狀況了

thread a -> 呼叫 abc 把暫時資料存放在static變數
接著thread b ->呼叫abc 發覺static變數已經初始化了,直接使用就資料

可是thread b 希望的應該是呼叫abc 初始化static變數
這時候abc就是一個non thread safe的函數了

在早期php設計的年代,還沒有thread這種概念,可是到後期,
thread的設計方式越來越流行,連apache都採用這種方式。
導致php的core必須大改版加入,thread safe檢查。
確保php本身能夠正確的在thread模式的apache底下運行。
但很不幸,php本身是ok,但其他的一些擴充模組,像是pecl底下的東西
問題就很大,還有一堆是non thread safe。
像apc加速器就是個例子,所以php要支援thread可能還有的等了。

本身multi process或是multi thread的程式,IPC控制就得搞好。
尤其是兩個"進行中"的程式去存取同一個資源時,很容易造成打架(Racing),
所以得靠一些外部資源來進行協調。
php本身有提供semaphore,也就是所謂的critical section
為何要使用IPC機制,這邊舉個例子
例如要寫入一個log檔
Process a ->寫入"2007/03/16 14:13:01 User abc login from IP:x.x.x.x"
Process b ->寫入"2007/03/16 14:13:02 User def login from IP:x.x.x.x"
在log檔裡會看到

程式碼:
2007/03/16 14:13:01 User abc login from IP:x.x.x.x
2007/03/16 14:13:02 User def login from IP:x.x.x.x


當然這是理想狀況
實際上真的會這樣嗎,當然不可能
如果Process a寫入一半
2007/03/16 14:13:01 User abc
Process b馬上跟著寫入2007/03/16 14:13:02 User def login from IP:x.x.x.x
檔案可能就會變成一堆a,b交錯的訊息。

要解決這類的方法可以將檔案設為write exclusive
但是這類情況不見得每次都是在存取檔案時發生
也有可能是在網路傳輸時發生。

使用semaphore會是比較恰當一些

1.首先使用sem_get 產生一個semaphore id
2.接著程式呼叫fork分裂成好幾個Process
3.當某個process要寫入檔案前得先呼叫sem_acquire
如果目前沒有其他的Process擁有這個semaphore,這個Process就會取得
semaphore。如果這個semphore已經被其他的Process先取得擁有權,那目前執行中的這個Process將會被暫時Block住。直到這個semaphore被釋放掉。
4.寫入檔案
5.呼叫sem_release,釋放目前佔用的semaphore。
6.程式結束前記得要呼叫sem_remove,進行資源回收(有借有還)。

posix pthread其實很早就制定了
只是方式不同
linux 2.6才開始真正支援kernel thread(linux的spec中有說明)
也就是說thread的切換是在kernel層中進行

而2.4版的kernel也是可以呼叫pthread也可以運作
只是他是在AP層
單CPU的話是感覺不出來差異性

多CPU時就有差了...

2.6版的kernl執行的單位是以thread來計算
在平常的情況下一個process就視為一個thread
可是遇到multithread的程式,就有可能同一個Process
但是分配到兩顆CPU的資源,最簡單的例子
使用top去觀察一個process的使用狀況
如果是mutithread的程式他的CPU佔有率就會出現超過100%的情況
像是150% 表示他佔用了1.5顆CPU的資源

2.4版的kernel執行單位是以process來算
因此遇到了使用pthread寫的程式,對kernel來說他還是只有一個process
所以最多還是只能分配到一顆cpu資源,再怎麼撐頂多佔用率還是只有到100%

最近剛好遇到一個頭大的問題寫了這個code讓大家參考一下吧
家裡的無線AP功能不太好,他只提供把外部真實IP map 到 Nat裡面的某個IP
不能指定某個port map到某個內部IP的Port
可是我已經把外部的IP Map到內部的Linux Server上,
但是我又想從外部使用VNC連到內部的一台Windows電腦。
所以就寫了這個程式
原理是這樣

這個程式會在Linux Server上開一個Port作Listen的動作
當外部連到這個Port時,程式會再開啟另一個連線連到內部Windows的VNC上
把外部的封包原封不動的丟到VNC的連線上,然後把VNC連線傳回的資料原封不動的再丟回外部的Port

$IP='192.168.1.1'; //Windows電腦的IP
$Port='5900'; //VNC使用的Port
$ServerPort='9999'; //Linux Server對外使用的Port
$RemoteSocket=false; //連線到VNC的Socket
function SignalFunction($Signal)
{
//這是主Process的訊息處理函數
global $PID; //Child Process的PID
switch ($Signal)
{
case SIGTRAP:
case SIGTERM:
//收到結束程式的Signal
if($PID)
{
//送一個SIGTERM的訊號給Child告訴他趕快結束掉嘍
posix_kill($PID,SIGTERM);
//等待Child Process結束,避免zombie
pcntl_wait($Status);
}
//關閉主Process開啟的Socket
DestroySocket();
exit(0); //結束主Process
break;
case SIGCHLD:
/*
當Child Process結束掉時,Child會送一個SIGCHLD訊號給Parrent
當Parrent收到SIGCHLD,就知道Child Process已經結束嘍 ,該做一些
結束的動作*/
unset($PID); //將$PID清空,表示Child Process已經結束
pcntl_wait($Status); //避免Zombie
break;
default:
}
}
function ChildSignalFunction($Signal)
{
//這是Child Process的訊息處理函數
switch ($Signal)
{
case SIGTRAP:
case SIGTERM:
//Child Process收到結束的訊息
DestroySocket(); //關閉Socket
exit(0); //結束Child Process
default:
}
}
function ProcessSocket($ConnectedServerSocket)
{
//Child Process Socket處理函數
//$ConnectedServerSocket -> 外部連進來的Socket
global $ServerSocket,$RemoteSocket,$IP,$Port;
$ServerSocket=$ConnectedServerSocket;
declare(ticks = 1); //這一行一定要加,不然沒辦法設定訊息處理函數。
//設定訊息處理函數
if(!pcntl_signal(SIGTERM, "ChildSignalFunction"))return;
if(!pcntl_signal(SIGTRAP, "ChildSignalFunction"))return;
//建立一個連線到VNC的Socket
$RemoteSocket=socket_create(AF_INET, SOCK_STREAM,SOL_TCP);
//連線到內部的VNC
@$RemoteConnected=socket_connect($RemoteSocket,$IP,$Port);
if(!$RemoteConnected)return; //無法連線到VNC 結束
//將Socket的處理設為Nonblock,避免程式被Block住
if(!socket_set_nonblock($RemoteSocket))return;
if(!socket_set_nonblock($ServerSocket))return;
while(true)
{
//這邊我們採用pooling的方式去取得資料
$NoRecvData=false; //這個變數用來判別外部的連線是否有讀到資料
$NoRemoteRecvData=false; //這個變數用來判別VNC連線是否有讀到資料
@$RecvData=socket_read($ServerSocket,4096,PHP_BINARY_READ);
//從外部連線讀取4096 bytes的資料
@$RemoteRecvData=socket_read($RemoteSocket,4096,PHP_BINARY_READ);
//從vnc連線連線讀取4096 bytes的資料
if($RemoteRecvData==='')
{
//VNC連線中斷,該結束嘍
echo "Remote Connection Close\n";
return;
}
if($RemoteRecvData===false)
{
/*
由於我們是採用nonblobk模式
這裡的情況就是vnc連線沒有可供讀取的資料
*/
$NoRemoteRecvData=true;
//清除掉Last Errror
socket_clear_error($RemoteSocket);
}
if($RecvData==='')
{
//外部連線中斷,該結束嘍
echo "Client Connection Close\n";
return;
}
if($RecvData===false)
{
/*
由於我們是採用nonblobk模式
這裡的情況就是外部連線沒有可供讀取的資料
*/
$NoRecvData=true;
//清除掉Last Errror
socket_clear_error($ServerSocket);
}
if($NoRecvData&&$NoRemoteRecvData)
{
//如果外部連線以及VNC連線都沒有資料可以讀取時,
//就讓程式睡個0.1秒,避免長期佔用CPU資源
usleep(100000);
//睡醒後,繼續作pooling的動作讀取socket
continue;
}
//Recv Data
if(!$NoRecvData)
{
//外部連線讀取到資料
while(true)
{
//把外部連線讀到的資料,轉送到VNC連線上
@$WriteLen=socket_write($RemoteSocket,$RecvData);
if($WriteLen===false)
{
//由於網路傳輸的問題,目前暫時無法寫入資料
//先睡個0.1秒再繼續嘗試。
usleep(100000);
continue;
}
if($WriteLen===0)
{
//遠端連線中斷,程式該結束了
echo "Remote Write Connection Close\n";
return;
}
//從外部連線讀取的資料,已經完全送給VNC連線時,中斷這個迴圈。
if($WriteLen==strlen($RecvData))break;
//如果資料一次送不完就得拆成好幾次傳送,直到所有的資料全部送出為止
$RecvData=substr($RecvData,$WriteLen);
}
}
if(!$NoRemoteRecvData)
{
//這邊是從VNC連線讀取到的資料,再轉送回外部的連線
//原理跟上面差不多不再贅述
while(true)
{
@$WriteLen=socket_write($ServerSocket,$RemoteRecvData);
if($WriteLen===false)
{
usleep(100000);
continue;
}
if($WriteLen===0)
{
echo "Remote Write Connection Close\n";
return;
}
if($WriteLen==strlen($RemoteRecvData))break;
$RemoteRecvData=substr($RemoteRecvData,$WriteLen);
}
}
}
}
function DestroySocket()
{
//用來關閉已經開啟的Socket
global $ServerSocket,$RemoteSocket;
if($RemoteSocket)
{
//如果已經開啟VNC連線
//在Close Socket前必須將Socket shutdown不然對方不知到你已經關閉連線了
@socket_shutdown($RemoteSocket,2);
socket_clear_error($RemoteSocket);
//關閉Socket
socket_close($RemoteSocket);
}
//關閉外部的連線
@socket_shutdown($ServerSocket,2);
socket_clear_error($ServerSocket);
socket_close($ServerSocket);
}
//這裡是整個程式的開頭,程式從這邊開始執行
//這裡首先執行一次fork
$PID = pcntl_fork();
if($PID==-1)die("could not fork");
//如果$PID不為0表示這是Parrent Process
//$PID就是Child Process
//這是Parrent Process 自己結束掉,讓Child成為一個Daemon。
if($PID)die("Daemon PID:$PID\n");
//從這邊開始,就是Daemon模式在執行了
//將目前的Process跟終端機脫離成為daemon模式
if(!posix_setsid())die("could not detach from terminal\n");
//設定daemon 的訊息處理函數
declare(ticks = 1);
if(!pcntl_signal(SIGTERM, "SignalFunction"))die("Error!!!\n");
if(!pcntl_signal(SIGTRAP, "SignalFunction"))die("Error!!!\n");
if(!pcntl_signal(SIGCHLD, "SignalFunction"))die("Error!!!\n");
//建立外部連線的Socket
$ServerSocket = socket_create(AF_INET, SOCK_STREAM,SOL_TCP);
//設定外部連線監聽的IP以及Port,IP欄位設0,表示經聽所有介面的IP
if(!socket_bind($ServerSocket,0,$ServerPort))die("Cannot Bind Socket!\n");
//開始監聽Port
if(!socket_listen($ServerSocket))die("Cannot Listen!\n");
//將Socket設為nonblock模式
if(!socket_set_nonblock($ServerSocket))die("Cannot Set Server Socket to Block!\n");
//清空$PID變數,表示目前沒有任何的Child Process
unset($PID);
while(true)
{
//進入pooling模式,每隔1秒鐘就去檢查有沒有連線進來。
sleep(1);
//檢查有沒有連線進來
@$ConnectedServerSocket=socket_accept($ServerSocket);
if($ConnectedServerSocket!==false)
{
//有人連進來嘍
//起始一個Child Process用來處理連線
$PID = pcntl_fork();
if($PID==-1)die("could not fork");
if($PID)continue;//這是daemon process,繼續回去監聽。
//這裡是Child Process開始
//執行Socket裡函數
ProcessSocket($ConnectedServerSocket);
//處理完Socket後,結束掉Socket
DestroySocket();
//結束Child Process
exit(0);
}
}

【下列文章您可能也有興趣】

沒有留言: