VC++ 6.0 中使用 MSComm.ocx design-time license

很多人喜欢单独安装VC++6.0,而不是完整安装VS,这样占用空间比较少,启动也快。但是要使用某些ActiveX控件的时候却会出现许可证问题(requires a design-time licence),譬如使用MSComm.ocx。至于ActiveX的许可证体系这里就不说了,简单说就是用来保证第三方ActiveX控件开发者的智力投资的。MSComm.ocx是VS自带的一个进行串口通讯的控件,本来在安装VS的时候会自动把相应的licence发放给用户,但是这个licence是由VB附带提供的,现在我们没有安装VB,因此当我们在插入该控件到我们的项目时,就会出现上述的许可证问题。     我们可以通过安装VB6.0来解决这个问题,但是如果我们平时很少用VB,就为了这个控件而安装的话就有点大材小用了,而且也违背了当初单独安装VC++的初衷。下面还有另外一种方法:在文本文件中输入(注意格式)

REGEDIT4 [HKEY_CLASSES_ROOT\Licenses\4250E830-6AC2-11cf-8ADB-00AA00C00905] @ = “kjljvjjjoquqmjjjvpqqkqmqykypoqjquoun”

另存为一个注册表文件,如 lic.reg。然后双击。。好了,控件可以使用了。

 

VC控件MSComm编写串口通信程序

在众多网友的支持下,串口调试助手从2001年5月21日发布至今,短短一个月,在全国各地累计下载量近5000人次,在近200多个电子邮件中,20多人提供了使用测试意见,更有50多位朋友提出要串口调试助手的源代码,为了答谢谢朋友们的支持,公开推出我最初用VC控件MSComm编写串口通信程序的源代码,并写出详细的编程过程,姑且叫串口调试助手源程序V1.0或VC串口通讯源程序吧,我相信,如果你用VC编程,那么有了这个代码,就可以轻而易举地完成串口编程任务了。(也许本文过于详细,高手就不用看)

开始吧:

1.建立项目:打开VC++6.0,建立一个基于对话框的MFC应用程序SCommTest(与我源代码一致,等会你会方便一点);

2.在项目中插入MSComm控件   选择Project菜单下Add To Project子菜单中的 Components and Controls…选项,在弹出的对话框中双击Registered ActiveX Controls项(稍等一会,这个过程较慢),则所有注册过的ActiveX控件出现在列表框中。选择Microsoft Communications Control, version 6.0,,单击Insert按钮将它插入到我们的Project中来,接受缺省的选项。(如果你在控件列表中看不到Microsoft Communications Control, version 6.0,那可能是你在安装VC6时没有把ActiveX一项选上,重新安装VC6,选上ActiveX就可以了),

这时在ClassView视窗中就可以看到CMSComm类了,(注意:此类在ClassWizard中看不到,重构clw文件也一样),并且在控件工具栏Controls中出现了电话图标(如图1所示),现在要做的是用鼠标将此图标拖到对话框中,程序运行后,这个图标是看不到的。

 

 

3.利用ClassWizard定义CMSComm类控制对象  打开ClassWizard->Member Viariables选项卡,选择CSCommTestDlg类,为IDC_MSCOMM1添加控制变量:m_ctrlComm,这时你可以看一看,在对话框头文件中自动加入了//{{AFX_INCLUDES()  #include “mscomm.h”  //}}AFX_INCLUDES (这时运行程序,如果有错,那就再从头开始)。

4.在对话框中添加控件  向主对话框中添加两个编辑框,一个用于接收显示数据ID为IDC_EDIT_RXDATA,另一个用于输入发送数据,ID为IDC_EDIT_TXDATA,再添加一个按钮,功能是按一次就把发送编辑框中的内容发送一次,将其ID设为IDC_BUTTON_MANUALSEND。别忘记了将接收编辑框的Properties->Styles中把Miltiline和Vertical Scroll属性选上,发送编辑框若你想输入多行文字,也可选上Miltiline。

再打开ClassWizard->Member Viariables选项卡,选择CSCommTestDlg类,为IDC_EDIT_RXDATA添加CString变量m_strRXData, 为IDC_EDIT_TXDATA添加CString变量m_strTXData。说明: m_strRXData和m_strTXData分别用来放入接收和发送的字符数据。

休息一会吧?我们天天与电脑打交道,要注意保重,我现在在单杠上做引体向上可以来40次,可我都32了,佩服吗? 。。。。。。好了,再接着来,下面是关键了:

5.添加串口事件消息处理函数OnComm() 打开ClassWizard->Message Maps,选择类CSCommTestDlg,选择IDC_MSCOMM1,双击消息OnComm,将弹出的对话框中将函数名改为OnComm,(好记而已)OK。

这个函数是用来处理串口消息事件的,如每当串口接收到数据,就会产生一个串口接收数据缓冲区中有字符的消息事件,我们刚才添加的函数就会执行,我们在OnComm()函数加入相应的处理代码就能实现自已想要的功能了。请你在函数中加入如下代码:

void CSCommTestDlg::OnComm()
{
// TODO: Add your control notification handler code here
VARIANT variant_inp;
COleSafeArray safearray_inp;
LONG len,k;
BYTE rxdata[2048]; //设置BYTE数组 An 8-bit integerthat is not signed.
CString strtemp;
if(m_ctrlComm.GetCommEvent()==2) //事件值为2表示接收缓冲区内有字符
{             ////////以下你可以根据自己的通信协议加入处理代码
variant_inp=m_ctrlComm.GetInput(); //读缓冲区
safearray_inp=variant_inp; //VARIANT型变量转换为ColeSafeArray型变量
len=safearray_inp.GetOneDimSize(); //得到有效数据长度
for(k=0;k<len;k++)
safearray_inp.GetElement(&k,rxdata+k);//转换为BYTE型数组
for(k=0;k<len;k++) //将数组转换为Cstring型变量
{
BYTE bt=*(char*)(rxdata+k); //字符型
strtemp.Format(“%c”,bt); //将字符送入临时变量strtemp存放
m_strRXData+=strtemp; //加入接收编辑框对应字符串
}
}
UpdateData(FALSE); //更新编辑框内容
}

到目前为止还不能在接收编辑框中看到数据,因为我们还没有打开串口,但运行程序不应该有任何错误,不然,你肯定哪儿没看仔细,因为我是打开VC6对照着做一步写一行的,运行试试。没错吧?那么做下一步:

6.打开串口和设置串口参数  你可以在你需要的时候打开串口,例如在程序中做一个开始按钮,在该按钮的处理函数中打开串口。现在我们在主对话框的CSCommTestDlg::OnInitDialog()打开串口,加入如下代码:

// TODO: Add extra initialization here
if(m_ctrlComm.GetPortOpen())
m_ctrlComm.SetPortOpen(FALSE);

m_ctrlComm.SetCommPort(1); //选择com1
if( !m_ctrlComm.GetPortOpen())
m_ctrlComm.SetPortOpen(TRUE);//打开串口
else
AfxMessageBox(“cannot open serial port”);

m_ctrlComm.SetSettings(“9600,n,8,1”); //波特率9600,无校验,8个数据位,1个停止位

m_ctrlComm.SetInputModel(1); //1:表示以二进制方式检取数据
m_ctrlComm.SetRThreshold(1);
//参数1表示每当串口接收缓冲区中有多于或等于1个字符时将引发一个接收数据的OnComm事件
m_ctrlComm.SetInputLen(0); //设置当前接收区数据长度为0
m_ctrlComm.GetInput();//先预读缓冲区以清除残留数据

现在你可以试试程序了,将串口线接好后(不会接?去看看我写的串口接线基本方法),打开串口调试助手,并将串口设在com2,选上自动发送,也可以等会手动发送。再执行你编写的程序,接收框里应该有数据显示了。

7.发送数据  先为发送按钮添加一个单击消息即BN_CLICKED处理函数,打开ClassWizard->Message Maps,选择类CSCommTestDlg,选择IDC_BUTTON_MANUALSEND,双击BN_CLICKED添加OnButtonManualsend()函数,并在函数中添加如下代码:

void CSCommTestDlg::OnButtonManualsend()
{
// TODO: Add your control notification handler code here
UpdateData(TRUE); //读取编辑框内容
m_ctrlComm.SetOutput(COleVariant(m_strTXData));//发送数据
}

运行程序,在发送编辑框中随意输入点什么,单击发送按钮,啊!看看,在另一端的串口调试助手(或别的调试工具)接收框里出现了什么。

如果你真是初次涉猎串口编程,又一次成功,那该说声谢谢我了,因为我第一次做串口程序时可费劲了,那时网上的资料也不好找。开开玩笑,谢谢你的支持,有什么好东西别忘了给我寄一份。

最后说明一下,由于用到VC控件,在没有安装VC的计算机上运行时要从VC中把mscomm32.ocx、msvcrt.dll、mfc42.dll拷到Windows目录下的System子目录中(win2000为System32)并再进行注册设置,请参考

如何手工注册MSComm控件。

龚建伟 2001.6.20

8.发送十六进制字符

在主对话框中加入一个复选接钮,ID为IDC_CHECK_HEXSEND Caption: 十六进制发送,再利用ClassWizard为其添加控制变量:m_ctrlHexSend;

在ClassView中为SCommTestDlg类添加以下两个PUBLIC成员函数,并输入相应代码;

//由于这个转换函数的格式限制,在发送框中的十六制字符应该每两个字符之间插入一个空隔
//如:A1 23 45 0B 00 29
//CByteArray是一个动态字节数组,可参看MSDN帮助
int CSCommTestDlg::String2Hex(CString str, CByteArray &senddata)
{
int hexdata,lowhexdata;
int hexdatalen=0;
int len=str.GetLength();
senddata.SetSize(len/2);
for(int i=0;i<len;)
{
char lstr,hstr=str[i];
if(hstr==’ ‘)
{
i++;
continue;
}
i++;
if(i>=len)
break;
lstr=str[i];
hexdata=ConvertHexChar(hstr);
lowhexdata=ConvertHexChar(lstr);
if((hexdata==16)||(lowhexdata==16))
break;
else
hexdata=hexdata*16+lowhexdata;
i++;
senddata[hexdatalen]=(char)hexdata;
hexdatalen++;
}
senddata.SetSize(hexdatalen);
return hexdatalen;
}

//这是一个将字符转换为相应的十六进制值的函数
//好多C语言书上都可以找到
//功能:若是在0-F之间的字符,则转换为相应的十六进制字符,否则返回-1
char CSCommTestDlg::ConvertHexChar(char ch)
{
if((ch>=’0′)&&(ch<=’9′))
return ch-0x30;
else if((ch>=’A’)&&(ch<=’F’))
return ch-‘A’+10;
else if((ch>=’a’)&&(ch<=’f’))
return ch-‘a’+10;
else return (-1);
}

再将CSCommTestDlg::OnButtonManualsend()修改成以下形式:

void CSCommTestDlg::OnButtonManualsend()
{
// TODO: Add your control notification handler code here
UpdateData(TRUE); //读取编辑框内容
if(m_ctrlHexSend.GetCheck())
{
CByteArray hexdata;
int len=String2Hex(m_strTXData,hexdata); //此处返回的len可以用于计算发送了多少个十六进制数
m_ctrlComm.SetOutput(COleVariant(hexdata)); //发送十六进制数据
}
else
m_ctrlComm.SetOutput(COleVariant(m_strTXData));//发送ASCII字符数据

}

现在,你先将串口线接好并打开串口调试助手V2.1,选上以十六制显示,设置好相应串口,然后运行我们这个程序,在发送框中输入00 01 02 03 A1 CC等十六进制字符,并选上以十六进制发送,单击手动发送,在串口调试助手的接收框中应该可以看到00 01 02 03 A1 CC了。

9.在接收框中以十六进制显示

这就容易多了:  在主对话框中加入一个复选接钮,IDC_CHECK_HEXDISPLAY Caption: 十六进制显示,再利用ClassWizard为其添加控制变量:m_ctrlHexDiaplay。 然后修改CSCommTestDlg::OnComm()函数:

void CSCommTestDlg::OnComm()
{
// TODO: Add your control notification handler code here
VARIANT variant_inp;
COleSafeArray safearray_inp;
LONG len,k;
BYTE rxdata[2048]; //设置BYTE数组 An 8-bit integerthat is not signed.
CString strtemp;
if(m_ctrlComm.GetCommEvent()==2) //事件值为2表示接收缓冲区内有字符
{
variant_inp=m_ctrlComm.GetInput(); //读缓冲区
safearray_inp=variant_inp; //VARIANT型变量转换为ColeSafeArray型变量
len=safearray_inp.GetOneDimSize(); //得到有效数据长度
for(k=0;k<len;k++)
safearray_inp.GetElement(&k,rxdata+k);//转换为BYTE型数组
for(k=0;k<len;k++) //将数组转换为Cstring型变量
{
BYTE bt=*(char*)(rxdata+k); //字符型
if(m_ctrlHexDisplay.GetCheck())
strtemp.Format(“%02X “,bt); //将字符以十六进制方式送入临时变量strtemp存放,注意这里加入一个空隔
else
strtemp.Format(“%c”,bt); //将字符送入临时变量strtemp存放

m_strRXData+=strtemp; //加入接收编辑框对应字符串
}
}
UpdateData(FALSE); //更新编辑框内容
}

测试:在串口调试助手发送框中输入00 01 02 03 A1 CC等十六进制字符,并选上以十六进制发送,单击手动发送,在本程序运行后选上以十六进制显示,在串口调试助手中单击手动发送或自动发送,则在本程序的接收框中应该可以看到00 01 02 03 A1 CC了。

10.如何设置自动发送

最简单的设定自动发送周期是用SetTimer()函数,这在数据采集中很有用,在控制中指令的传送也可能用到定时发送。

方法是:在ClassWizard中选上MessageMap卡,然后在Objects IDs选中CSCommTestDlg类,再在Messages框中选上WM_TIMER消息,单击ADD_FUNCTION加入void CSCommTestDlg::OnTimer(UINT nIDEvent) 函数,这个函数是放入“时间到”后要处理的代码:

void CSCommTestDlg::OnTimer(UINT nIDEvent)
{
// TODO: Add your message handler code here and/or call default
OnButtonManualsend();
CDialog::OnTimer(nIDEvent);
}

再在在主对话框中加入一个复选接钮,ID为IDC_CHECK_AUTOSEND Caption: 自动发送(周期1秒),再利用ClassWizard为其添加BN_CLICK消息处理函数void CSCommTestDlg::OnCheckAutosend():

void CSCommTestDlg::OnCheckAutosend()
{
// TODO: Add your control notification handler code here
m_bAutoSend=!m_bAutoSend;
if(m_bAutoSend)
{
SetTimer(1,1000,NULL);//时间为1000毫秒
}
else
{
KillTimer(1);  //取消定时
}
}

其中:m_bAutoSend为BOOL型变量,在CLASSVIEW中为CSCommTestDlg类加入,并在构造函数中初始化:

m_bAutoSen=FALSE;
现在可以运行程序测试了。

11.什么是VARIANT数据类型?如何使用VARIANT数据类型?

不知如何使用VARIANT数据类型, 有不少朋友对VARIANT这个新的数据类型大感头疼。SetOutput()函数中 需要的VARIANT参数还可以使用COleVariant类的构造函数简单生成,现在GetInput()函数的返回值也成了VARIANT类型,那么如何从返回的值中提取有用的内容。 VARIANT及由之而派生出的COleVariant类主要用于在OLE自动化中传递数据。实际上VARIANT也只不过是一个新定义的结构罢了,它的主要成员包括一个联合体及一个变量。该联合体由各种类型的数据成员构成,而该变量则用来指明联合体中目前起作用的数据类型。我们所关心的接收到的数据就存储在该联合体的某个数据成员中。 该联合体中包含的数据类型很多,从一些简单的变量到非常复杂的数组和指针。由于通过串口接收到的内容常常是一个字节串,我们将使用其中的某个数组或指针来访问接收到的数据。这里推荐给大家的是指向一个SAFEARRAY(COleSafeArray)类型变量。新的数据类型SAFEARRAY正如其名字一样,是一个“安全数组”,它能根据系统环境自动调整其16位或32 位的定义,并且不会被OLE改变(某些类型如BSTR在16位或32位应用程序间传递时会被OLE翻译从而破坏其中的二进制数据)。大家无须了解SAFEARRAY的具体定义,只要知道它是另外一个结构,其中包含一个 (void *)类型的指针pvData,其指向的内存就是存放有用数据的地方。简而言之,从GetInput()函数返回的VARIANT类型变量中,找出parray 指针,再从该指针指向的SAFEARRAY变量中找出pvData指针,就可以向访问数组一样取得所接收到的数据了。具体应用请参见void CSCommTestDlg::OnComm()函数。

大概我现在也说不清这个问题,我自己从第一次接触这个东西,到现在还是给别人讲不清。

PHP在RS232串口通讯协议的应用演示[测试环境WinXP/PHP5.1.4]

一. 预先的知识:

什么是RS232/RS484及其应用?
QUOTE:
RS232接口就是串口,电脑机箱后方的9芯(或25芯)插座,旁边一般有 “|O|O|” 样标识。
一般机箱有两个,新机箱有可能只有一个。笔记本电脑有可能没有。
有很多工业仪器将它作为标准通信端口。通信的内容与格式一般附在仪器的用户说明书中。

计算机与计算机或计算机与终端之间的数据传送可以采用串行通讯和并行通讯二种方式。由于串行通讯方式具有使用线路少、成本低,特别是在远程传输时,避免了多条线路特性的不一致而被广泛采用。 在串行通讯时,要求通讯双方都采用一个标准接口,使不同 的设备可以方便地连接起来进行通讯。 RS-232-C接口(又称 EIA RS-232-C)是目前最常用的一种串行通讯接口。它是在1970年由美国电子工业协会(EIA)联合贝尔系统、 调制解调器厂家及计算机终端生产厂家共同制定的用于串行通讯的标 准。它的全名是“数据终端设备(DTE)和数据通讯设备(DCE)之间 串行二进制数据交换接口技术标准”该标准规定采用一个25个脚的 DB25连接器,对连接器的每个引脚的信号内容加以规定,还对各种信 号的电平加以规定。

(1)接口的信号内容 实际上RS-232-C的25条引线中有许多是很少使用的,在计算机与终端通讯中一般只使用3-9条引线。RS-232-C最常用的9条引线的信号内容见附表1所示

(2)接口的电气特性 在RS-232-C中任何一条信号线的电压均为负逻辑关系。即:逻 辑“1”,-5— -15V;逻辑“0” +5— +15V 。噪声容限为2V。即 要求接收器能识别低至+3V的信号作为逻辑“0”,高到-3V的信号 作为逻辑“1”
(3) 接口的物理结构 RS-232-C接口连接器一般使用型号为DB-25的25芯插头座,通常插头在DCE端,插座在DTE端. 一些设备与PC机连接的RS-232-C接口,因为不使用对方的传送控制信号,只需三条接口线,即“发送数据”、“接收数据”和“信号地”。所以采用DB-9的9芯插头座,传输线采用屏蔽双绞线。

(4)传输电缆长度 由RS-232C标准规定在码元畸变小于4%的情况下,传输电缆长度应为50英尺,其实这个4%的码元畸变是很保守的,在实际应用中,约有99%的用户是按码元畸变10-20%的范围工作的,所以实际使用中最大距离会远超过50英尺,美国DEC公司曾规定允许码元畸变为10%而得出附表2 的实验结果。其中1号电缆为屏蔽电缆,型号为DECP.NO.9107723 内有三对双绞线,每对由22# AWG 组成,其外覆以屏蔽网。2号电缆为不带屏蔽的电缆。型号为DECP.NO.9105856-04是22#AWG的四芯电缆。

1.RS-232-C是美国电子工业协会EIA(Electronic Industry Association)制定的一种串行物理接口标准。RS是英文“推荐标准”的缩写,232为标识号,C表示修改次数。RS-232-C总线标准设有25条信号线,包括一个主通道和一个辅助通道,在多数情况下主要使用主通道,对于一般双工通信,仅需几条信号线就可实现,如一条发送线、一条接收线及一条地线。RS-232-C标准规定的数据传输速率为每秒50、75、 100、150、300、600、1200、2400、4800、9600、19200波特。RS-232-C标准规定,驱动器允许有2500pF的电容负载,通信距离将受此电容限制,例如,采用150pF/m的通信电缆时,最大通信距离为15m;若每米电缆的电容量减小,通信距离可以增加。传输距离短的另一原因是RS-232属单端信号传送,存在共地噪声和不能抑制共模干扰等问题,因此一般用于20m以内的通信。

2.RS-485总线,在要求通信距离为几十米到上千米时,广泛采用RS-485 串行总线标准。RS-485采用平衡发送和差分接收,因此具有抑制共模干扰的能力。加上总线收发器具有高灵敏度,能检测低至200mV的电压,故传输信号能在千米以外得到恢复。 RS-485采用半双工工作方式,任何时候只能有一点处于发送状态,因此,发送电路须由使能信号加以控制。RS-485用于多点互连时非常方便,可以省掉许多信号线。应用RS-485 可以联网构成分布式系统,其允许最多并联32台驱动器和32台接收器。

 

以往,PC与智能设备通讯多借助RS232、RS485、以太网等方式,主要取决于设备的接口规范。但RS232、RS485只能代表通讯的物理介质层和链路层,如果要实现数据的双向访问,就必须自己编写通讯应用程序,但这种程序多数都不能符合ISO/OSI的规范,只能实现较单一的功能,适用于单一设备类型,程序不具备通用性。在RS232或RS485设备联成的设备网中,如果设备数量超过2台,就必须使用RS485做通讯介质,RS485网的设备间要想互通信息只有通过“主(Master)”设备中转才能实现,这个主设备通常是PC,而这种设备网中只允许存在一个主设备,其余全部是从(Slave)设备。而现场总线技术是以ISO/OSI模型为基础的,具有完整的软件支持系统,能够解决总线控制、冲突检测、链路维护等问题。

来源网址:http://zhidao.baidu.com/question/4578886.html
从串口双机对联线缆指南

 

QUOTE:
(一)串行通讯电缆的制作

  无论是9孔插头,还是25孔插头,其串行通讯电缆连接时都要遵循下列对接关系:

  SG←→SG TXD←→RXD RXD←→TXD RTS←→CTS
CTS←→RTS DTR←→DSR DSR←→DTR

  根据上述对接关系,就可以非常方便地连接串行通讯电缆。这里顺便介绍一下上述各引脚所代表的含义:

  SG英文全称为Signal Ground/Common Return,表示信号地;
TXD指Transmitted Data,表示数据发送;
RXD指Received Data,表示接收数据;
RTS指Request To Send,表示发送请求;
CTS指Clear To Send,表示清除请求;
DTR指Data Terminal Ready,表示数据终端准备就绪;
DSR指Data Signal Rate Selector,表示数据置位准备就绪。

  在制作9芯串口连线时,需要2个9孔插头和1.5米长的至少7芯的扁平电缆,引脚连线如下所示。

  9孔插头-9孔插头引脚连线为:2-3、3-2、4-6、5-5、6-4、7-8、8-7。
9孔插头-25孔插头引脚连线为:2-2、3-3、4-6、5-7、6-20、7-5、8-4。
25孔插头-25孔插头引脚连线为:2-3、3-2、4-5、5-4、6-20、7-7、20-6。

 

说明:这里有部分串口通信说明图片,请到 http://bbs.chinaunix.net/viewthread.php?tid=771726 进行查看
二、测试环境的构建:
1.  参考上面的《(一)串行通讯电缆的制作》,首先把两台电脑通过串口连结起来。
当然,你也完全可以这么操作一台电脑上面的两个串口,而不需要两台电脑;如果你有两个串口的话。
因为我以前做过工业控制底层开发,所以我可以很容易的构建这个基本的环境;
实际上,只要:RxD TxD对接,GND直连即可,俗称三线连接。
这一点不做任何答疑。

2. PHP运行环境的构建:
操作系统:WindowsXP(其他Windows系统没有测试)
PHP5.1.4: http://cn.php.net/get/php-5.1.4-Win32.zip/from/a/mirror
PECL5.1.4:http://cn.php.net/get/pecl-5.1.4-Win32.zip/from/a/mirror
解压PHP5.1.4,把PECL5.1.4之中的php_dio.dll放到PHP5.1.4的ext目录之下
把PHP5.1.4之中的php.ini-dist拷贝粘贴为php.ini,并打开设置然后保存:

CODE:[Copy to clipboard]extension=php_dio.dll
这一点不做任何答疑。

 

三:参考资料:
1. 参考手册文档:
http://cn.php.net/manual/zh/ref.dio.php
http://cn.php.net/manual/zh/ref.exec.php
如果代码之中有你没有见过,或者没有使用过,或者不熟悉的函数,请访问以上网址。
主要使用了PHP的Direct IO Functions.

 

四:演示代码:

CODE:[Copy to clipboard]<?php
// ————————————————————————–
// File name   : RS232_Server.php
// Description : RS232演示上位机程序
// Requirement : PHP 5.1.4 (cli) (http://www.php.net)
//
// Copyright(C), HonestQiao, 2006, All Rights Reserved.
//
// Author: HonestQiao (honestqiao@hotmail.com/QQ:5601680)
//
// 程序简介:
// 本程序与RS232_Client构成一个完整的演示系统,展示了PHP在RS232串口通讯上的应用。
// 程序之中实现了一个基础但是完整的RS232通讯协议(HQB232),通讯协议格式如下:
// 协议内容:
//             C->S 01 //请求通讯
//             S->C 02 //响应通讯
//             C->S LEN DATA //LEN表示数据(DATA)长度 DATA表示实际数据
//             C->S 03 //结束通讯
// 说明:S表示上位机 C表示下位机
//       HQB232表示HonestQiao演示的基础(Base)RS232通讯协议,包含了协议的
//   请求和响应,数据帧的结构。
//       演示过程为通讯的请求和响应,十次数据帧的发送, 通讯的结束
//       数据帧的结构为当前的序号,microtime(),随机字符串
//
//       欢迎探讨PHP在RS232串口通讯上的应用。
// ————————————————————————–
set_time_limit(0);
exec(‘mode COM1: baud=115200 data=8 stop=1 parity=n xon=on’);

$fd = dio_open(‘COM1:’, O_RDWR);
if(!$fd)
{
die(“Error when open COM1”);
}

$ff = dio_stat($fd);print_r($ff);
echo “HQB232 SERVER is listenning on COM1\n”;
/// read
$len = 2;
$t=0;while (($t++)<1000)
{
$data = dio_read($fd, $len);
if ($data) {
if($data==chr(0).chr(1)){
echo “S_RECV:01\n”;
echo “S_SEND:02\n”;
dio_write($fd,chr(0).chr(2));
break;
}
}
}

/// read
$len = 2;
$t=0;while (($t++)<1000)
{
$len = 2;
$data = dio_read($fd, $len);
if($data==chr(0).chr(3)){
echo “S_RECV:03\n”;
break;
}
elseif ($data) {
$len = intval($data);
$data = dio_read($fd, $len);
if($data){
echo “S_RECV:($len)$data\n”;
}
}
}
dio_close($fd);
?>

 

CODE:[Copy to clipboard]<?php
// ————————————————————————–
// File name   : RS232_Client.php
// Description : RS232演示下位机程序
// Requirement : PHP 5.1.4 (cli) (http://www.php.net)
//
// Copyright(C), HonestQiao, 2006, All Rights Reserved.
//
// Author: HonestQiao (honestqiao@hotmail.com/QQ:5601680)
//
// 程序简介:
// 本程序与RS232_Server构成一个完整的演示系统,展示了PHP在RS232串口通讯上的应用。
// 程序之中实现了一个基础但是完整的RS232通讯协议(HQB232),通讯协议格式如下:
// 协议内容:
//             C->S 01 //请求通讯
//             S->C 02 //响应通讯
//             C->S LEN DATA //LEN表示数据(DATA)长度 DATA表示实际数据
//             C->S 03 //结束通讯
// 说明:S表示上位机 C表示下位机
//       HQB232表示HonestQiao演示的基础(Base)RS232通讯协议,包含了协议的
//   请求和响应,数据帧的结构。
//       演示过程为通讯的请求和响应,十次数据帧的发送, 通讯的结束
//       数据帧的结构为当前的序号,microtime(),随机字符串
//
//       欢迎探讨PHP在RS232串口通讯上的应用。
// ————————————————————————–
set_time_limit(0);
exec(‘mode COM2: baud=115200 data=8 stop=1 parity=n xon=on’);

$fd = dio_open(‘COM2:’, O_RDWR);
if(!$fd)
{
die(“Error when open COM2”);
}

$ff = dio_stat($fd);print_r($ff);
echo “HQB232 CLIENT is start on COM2\n”;
dio_write($fd,chr(0).chr(1));echo “C_SEND:01\n”;
$len = 2;
$t=0;while(($t++)<1000)
{
$data = dio_read($fd, $len);
if($data==chr(0).chr(2)){
echo “C_RECV:02\n”;
break;
}
}
$len = 2;
$t=0;while(($t++)<10)
{
$sdata = sprintf(“%03d”,$t) . “=” . microtime() . ” (” . randomkeys(rand(0,35)) . “)”;
$slen = strlen($sdata);
$stxlen = sprintf(“%02d”,$slen);
dio_write($fd,”$stxlen”);
dio_write($fd,”$sdata”);echo “C_SEND:($stxlen)$sdata\n”;
//sleep(1);
}
dio_write($fd,chr(0).chr(3));echo “C_SEND:03\n”;
dio_close($fd);

function randomkeys($length)
{
$pattern = “1234567890abcdefghijklmnopqrstuvwxyz”;
for($i=0;$i<$length;$i++)
{
$key .= $pattern{rand(0,35)};
}
return $key;
}
?>
五、演示过程:
上位机:开始->运行->CMD
然后转到PHP5.1.4目录之下,执行:
php -f RS232_Server.php

下位机:开始->运行->CMD
然后转到PHP5.1.4目录之下,执行:
php -f RS232_Client.php
实际结果如下:

CODE:[Copy to clipboard]F:\usr\local\php5>php -f e:\RS232_Server.php
Array
(
[device] => 3
[inode] => 0
[mode] => 8192
[nlink] => 1
[uid] => 0
[gid] => 0
[device_type] => 3
[size] => 0
[atime] => 0
[mtime] => 0
[ctime] => 0
)
HQB232 SERVER is listenning on COM1
S_RECV:01
S_SEND:02
S_RECV:(53)001=0.19238200 1150031774 (krruv981gpf1pmi1fz4qz09e9)
S_RECV:(42)002=0.19144800 1150031775 (jrhw41mphuy0ui)
S_RECV:(40)003=0.19148500 1150031776 (lqq560p6v17r)
S_RECV:(36)004=0.19148900 1150031777 (3ct02xmc)
S_RECV:(28)005=0.19212700 1150031778 ()
S_RECV:(33)006=0.19162500 1150031779 (2ilqf)
S_RECV:(34)007=0.19167800 1150031780 (vwmdfc)
S_RECV:(62)008=0.19168700 1150031781 (idb0laix4a6ryxz5nb7u74iaza601it6sv)
S_RECV:(56)009=0.19170100 1150031782 (r9ypgtvu4j7w1u141qx6im20ajy7)
S_RECV:(53)010=0.19171000 1150031783 (wq5mp1sdfuet1tp0x3vk67n47)
S_RECV:03

F:\usr\local\php5>

 

CODE:[Copy to clipboard]F:\usr\local\php5>php -f e:\RS232_Client.php
Array
(
[device] => 3
[inode] => 0
[mode] => 8192
[nlink] => 1
[uid] => 0
[gid] => 0
[device_type] => 3
[size] => 0
[atime] => 0
[mtime] => 0
[ctime] => 0
)
HQB232 CLIENT is start on COM2
C_SEND:01
C_RECV:02
C_SEND:(53)001=0.19238200 1150031774 (krruv981gpf1pmi1fz4qz09e9)
C_SEND:(42)002=0.19144800 1150031775 (jrhw41mphuy0ui)
C_SEND:(40)003=0.19148500 1150031776 (lqq560p6v17r)
C_SEND:(36)004=0.19148900 1150031777 (3ct02xmc)
C_SEND:(28)005=0.19212700 1150031778 ()
C_SEND:(33)006=0.19162500 1150031779 (2ilqf)
C_SEND:(34)007=0.19167800 1150031780 (vwmdfc)
C_SEND:(62)008=0.19168700 1150031781 (idb0laix4a6ryxz5nb7u74iaza601it6sv)
C_SEND:(56)009=0.19170100 1150031782 (r9ypgtvu4j7w1u141qx6im20ajy7)
C_SEND:(53)010=0.19171000 1150031783 (wq5mp1sdfuet1tp0x3vk67n47)
C_SEND:03

F:\usr\local\php5>
六:说明
1. exec(‘mode COM1: baud=115200 data=8 stop=1 parity=n xon=on’);
exec(‘mode COM2: baud=115200 data=8 stop=1 parity=n xon=on’);

mode是CMD下面的命令,表示设置串口的参数,因为dio_tcsetattr() 未在Windows下面实现,所以需要使用CMD的mode命令来进行设置,具体用法,请看:help mode

2. 通讯协议使用ASCII文本进行,没有使用HEX十六进制。因为是演示程序,所以协议非常简单,但是一个协议基本的内容都有了。

3. 下位机程序的sleep(1),这个是通讯之中常见的情况,数据传输和上位机处理需要一定的时间。

4. 演示的为RS232,以此类推,你也可以用到其他的场合。例如:简单修改,应用到HTTP通讯。

5. 硬件环境的建立,PHP环境的建立,不做任何答疑。

6. 欢迎探讨。

7. 感谢mikespook的意见,附加,如果是*nix,则:
‘/dev/ttyS0’表示第一个COM端口,依此类推;端口的设置,应该在dio_open之后,使用:
dio_tcsetattr($fd, array(
‘baud’ => 9600,
‘bits’ => 8,
‘stop’  => 1,
‘parity’ => 0
));

 

自建CDN防御DDoS(1):知己知彼,建设持久防线

前言

本议题是我们在OWASP杭州区2013年岁末年初安全沙龙中进行分享的内容,在此我们对这个议题的整体内容进行了重新归纳梳理,形成了文字版。

在本文中,DDoS的案例与应对经验均来自于某市场占有率很高的客服系统所遇到的实际场景,分别从成本、效率和具体架构设计(选型、配置、优化等)角度来分析通过自建CDN来应对不同类型的DDoS攻击。

背景介绍

客服系统的主要业务是提供基于网页的实时动态的文字聊天,主要应用在各类网络商品销售、网站在线客服等领域,总用户数58万,同时在线活跃的用户约12万/天。

这些应用领域通常行业之间的竞争比较激烈,其中包括在线下无法名正言顺的灰色+暴利产业,导致竞争对手之间经常发动DDoS恶意攻击。但营销网站往往是单面加速,加上推广时效性很强,很难被彻底打击,于是一些自作聪明的黑客通过攻击网站的在线客服系统,导致网站无法跟访客沟通,不能交易,从而达到恶意攻击的目的。因此客服系统这个原本有助于网站营销的工具反而成了被攻击的主要对象,虽然伤得委屈,但也不得不面对挑战。

我们遭遇的DDoS攻击类型包括:延缓性的CC攻击和致命的大流量攻击。下面将对两种攻击方式的攻击特点、防御思路和我们用过的一些防御方案进行简单的介绍。

延缓性的CC攻击

攻击特点

攻击者借助网络上提供的大量代理服务器IP,利用攻击软件,生成指向受害主机的合法请求。

这类攻击对攻击者来说成本低,而且网上现成的软件多,攻击的风格相对比较”温柔谨慎”,其目的是通过逐渐增多的垃圾请求,消耗服务器的正常应用开销如CPU,内存,网卡压力,甚至是网络拥堵,然后请求无响应,无出口流量,导致网站变慢,达到网站无法访问的目的。

防御思路

对于这类攻击,有两个漏洞特点可以被我们利用,从而阻止这类恶意的CC攻击,关键是响应一定要快。

第一个特征,由于是人为生成了大量的非法请求,引发网络的incoming流量会异常增大(正常情况下,incoming流量小,outgoing流量大);第二个特征,攻击力度有一个渐增过程,我们要充分利用这个宝贵的时间,让机器第一时间智能的做出反应,调用日志分析脚本做决策,加以防御或者引流。

具体的方法有多种,这里只列举我们所使用的两种:

  1. 使用监控软件的流量监控图来触发日志分析脚本,如图所示(zabbix为例):
  2. 利用bash脚本来统计incoming流量,发现异常时,调用相应日志分析脚本,实现阻击。
     #!/bin/bash                                                                                        
     DEV=$1   # 定义监听网卡
     LIMIT=$2 # 定义触发阙值 
     WARN=$3 #定义报警阙值
     TIME=$4 # 定义网卡数据采集频率
     mobile_num="13xxxxxxxxxx"   # 定义接收报警短信手机号码
     LOCK="/tmp/.exchange_proxy.lock"
    
     [ -z $DEV ] && echo "$0 ethx limit_band(kbps) warn_limit(kbps) seconds" && exit 0
     [ -z $LIMIT ] && LIMIT=800000     # 800 kbps
     [ -z $WARN ]  &&  WARN=900000 # 900 kbps
     [ -z $TIME ]  &&  TIME=10              # 10s
    
     send_fetion() {
     #定义飞信报警短信接口
     }
    
     while : ; do
         net_flood=`ifconfig $DEV|sed -n "8"p`
         rx_before=`echo $net_flood|awk '{print $2}'|cut -c7-`
    
         sleep $TIME
    
         net_flood=`ifconfig $DEV|sed -n "8"p`
         rx_after=`echo $net_flood|awk '{print $2}'|cut -c7-`
    
         rx_result=$[(rx_after-rx_before)/$TIME]
    
         over_bw=$[(rx_result-LIMIT)]
         if [ $over_bw -gt 0 ];then
             BOOL=`echo "$rx_result>$WARN"|bc` #判断是否为攻击
             if [ $BOOL -eq 1 ];then
                 # 确认为攻击,执行策略并发送短信
                 send_fetion $mobile_num "$STR"
             else
                 # 流量超标,发送短信,请留意
                 send_fetion $mobile_num "$STR"
             fi
         fi
     sleep $TIME
     done
    

过滤脚本实现原理就是在服务器上启动日志分析机制,在第一时间找出异常的IP、Agent,URL或者其它特征码,从内核层利用iptables对恶意IP进行过滤,在应用层上利用nginx的http关键词进行过滤,直接返回badcode 444进行拦截。

方案缺点

无论是从内核级别还是应用级别,对服务器本身的CPU和内存的依赖度高,如iptables的过滤本身对服务器的CPU压力很大,在阻止IP超过15K个,服务器基本不可用了;Nginx在阻止HTTP请求时,由于nginx会给每个http请求分配内存和处理链规则,内存资源耗尽;随着流量的不断增大和攻击时间的持续,网卡压力也大,资源最终被耗尽。

所以,这个方案治标不治本。

致命的大流量攻击

攻击特点

这种攻击通常以tcp syn,icmp和UDP(尤其是UDP包,单UDP的数据包可以很大)方式为主。客服系统遭遇到的最大的一次为16G的攻击流量,整个机房都被影响到。攻击者通常控制大量肉鸡或者直接勾结IDC里的服务器和带宽资源,对目标进行流量打击。此时流量会快速占满服务器的网络带宽,导致无法响应任何用户请求。

这类攻击需要购买大量带宽资源,对于攻击方来说,成本挺高,但是下手“快狠准”,目的是让网站在短时间内彻底无响应。

由于这类攻击会引起流量陡增,IDC里的流量监控设备也会很明显的察觉到这个现象。IDC通常采取的措施一般是丢车保帅,直接将这个被攻击的IP拉黑名单甚至直接拔线,让攻击对象自杀。这对本应该需要帮助的客户无疑是落井下石,雪上加霜。

防御思路

应付此类流量攻击的防御方式有:

  • 架设硬防火墙
  • 租用高防节点
  • 租用CDN分散目标流量

方案缺点

  • 架设硬防火墙:市面上2G硬防单价在10W左右,集群防御代价更大,虽然硬件级的防御性能较高,但面对流量洪水也是杯水车薪,且副作用也不容小觑。
  • 租用高防节点:高防节点有防御带宽,防御流量,共享独享区分,各个套餐的组合价格相差很大,分流策略也不同,超过高防承诺的流量后,防御失效或者再加钱,但都有性能损耗和副作用。
  • 租用CDN分散目标流量:市面上的CDN提供商都是以流量为收费标准,这对于经常遭受流量攻击的网站来说,反而要为攻击流量买单,这着实让人哭笑不得。

无论是采购的硬件成本和高防资源还是CDN加速,都成本昂贵,闲时资源利用率低,攻击高峰时面对有组织有规模的流量时又捉襟见肘,还伴有副作用(参见绿盟黑洞防火墙的原理),并非长久之计。

处于弱势的被打击方

综上所述,我们无论做哪个抉择都很痛苦。

我们跟发起攻击的人有过长达近一年的交流,目前了解到这是一个非常完整的产业链(上游人员早已身居海外,远程遥控指挥行动,根本无法查处),他们手上控制了大量的攻击资源,并且攻击资源本身就来自于IDC。攻击者为了快速牟利,本身也喜欢和推荐这种直接了当的方式来对目标进行打击,在发动攻击时,他们能够调集到多个IDC的带宽资源来对目标打击(这一现象也折射出了当前国内不规范的IDC管理)。

从这一角度来看,被打击方永远都处于弱势地位,以势单力薄的架构和极其有限的资源,根本无法抵抗强大的集群资源攻击。

我们一直思考一个问题:如果我们持续投入这些资金,危机过去或者若干年后,能给我们留下些什么?因此,我们跳出了单节点防御和租用CDN的思路,综合上述方案的优点,转而自建CDN的方案。

长久之计:自建CDN

自建CDN的好处有几个方面:

  • 旁路做流量清洗(痘痘长在别人脸上最好)
  • 资源充分利用:无攻击的时候,做路由加速,有攻击的时候,做节点切换(一物多用)
  • 随着投入的资金增加,防御DDoS攻击的能力增强(长远规划,资金回报率高)

有关自建CDN具体建设的思路如何,成本多少,我们会在系列的下一篇文章中进行介绍。

本系列的第一篇文章中,我们介绍了我们客服系统遇到DDoS攻击的情况,以及我们为什么决定采用自建CDN的方式来解决这个问题的原因。

下面,我们将介绍自建CDN的具体建设规划,主要从以下几个方面进行考量:硬件成本、带宽成本、架构设计、实际部署。

硬件成本

在硬件上,我们选型的需求是在1U的基础上具有强劲的性能,同时性价比要高。

我们选择了(强氧)双子星服务器,其硬件规格为:1U机身+支持双路至强CPU+最大支持48G内存+双千兆网口x2+H3C S1208八口千兆,提供三年质保服务,总价约1.5万。

带宽成本

单线机房的机房和带宽资源,由于不需要经过第三方拉线撮合,直接从运营代理商购买,因此选择余地大,性价比高。以租用电信、联通单线资源为例,每条线独享100M带宽,提供8个IP,有些机房自带硬防,能够防御5G-10G流量。

平均费用,每个节点带宽成本基本在1.6~2.5万/年。

架构设计

CDN架构上要充分体现出抗攻击能力和灵活应变的原则。因此,我们将CDN节点分解成反向代理+缓存加速+攻击防御这三个不同层次的功能结构。

  • 反向代理功能(作用:路由加速,隐藏主节点,负载均衡)
  • 缓存加速功能(作用:静态推送,节省后端主节点带宽)
  • 攻击防御功能(作用:快速解析,匹配过滤恶意攻击)

开源世界里能够担当反向代理及缓存的软件不少,而且各有优劣。作为架构师,要考虑如何选型,我们从性能、功能、配置上来进行比较筛选。

软件名称 性能 功能 过滤规则配置
Squid 不能多核是硬伤,磁盘缓存容量有优势,性能中等 多,支持ACL角色控制,也支持ICP缓存协议 支持外部规则文件读取及热加载,支持热启动
Varnish 多核支持,内存缓存,性能强 够用,不支持集群,支持后端存活检查 不支持外部文件读取,需要转义,支持热启动
Nginx 多核支持,支持代理插件,性能较强 多,通过插件可以充当多角色服务器 不支持外部文件读取,需要转义,支持热启动
ATS 多核支持,磁盘/内存缓存,性能强 够用,支持插件开发,也支持ICP协议 支持外部规则文件读取及热加载,支持热启动,但缺乏文档
HAProxy 多核支持,无缓存,HTTP头支持语法操作,性能强 少,只专注HTTP头部解析和转发功能,支持ACL角色控制,支持后端存活检查 支持外部规则文件读取及热加载,支持热启动,支持会话粘滞和长连接

我们对这三层功能结构分别进行了测试调优及生产线的实践检验,从以下方面评估:

  • HTTP防御性能:HAProxy在应对大流量CC攻击时,做正则匹配及头部过滤时,CPU消耗只占10%~20%。其它软件均狂占CPU资源约90%以上,容易成瓶颈导致整个系统无响应。
  • 反向代理性能:单纯转发效率以内存缓存型的Varnish性能最强,ATS和Nginx次之,考虑大容量缓存因素,ATS也是个不错的选择,但文档缺乏,需要持续关注。Nginx是专门针对C10K的产物,性能不错,配合众多插件,改造性很强。
  • 过滤规则的可配置性:HAProxy,ATS,Squid均支持规则文件读取、ACL定制和热加载、热启动。Nginx则不支持外部文件正则匹配,略差一点,但可塑性强。

因此,综合上述考虑,最终我们采用的架构是HAProxy+Varnish/ATS/Nginx的组合,即防御型反向代理缓存方案,功能角色如下:

  • 前面由HAProxy全力负责动静资源分离,实现会话粘滞,节点负载均衡,故障转移,遇到危急时承担基于Http协议的CC类型攻击防御。
  • 后面为可插拔替换的反向代理缓存引擎:根据生产线上的实际应用场景及缓存对象的容量来决定使用内存型的varnish或者是磁盘型的ats,如果需要定制功能很强(防盗链)的反向代理如Nginx+plugins。

这个组合最大的特点是:

  • 支持外部过滤规则的读取,尤其是关键字符串无需转义,可直接追加到文件中。
  • 支持配置文件热加载生效,都支持reload,服务平滑生效。
  • 可插拔式的缓存组件灵活应对各种业务需求。
  • 部署简单,节点失效/生效切换方便。

LVS缺席:为什么这里没有提及LVS,因为LVS是个重量级、高效稳定的四层转发,不能作七层HTTP协议的识别,但完全可以架设在七层之前。所以,LVS的使用并不会影响网络结构,后续仍然可以想上就上,只是前提要兼顾到LVS的单点故障。

实际部署

最终我们在主节点周围一共部署了8个CDN节点(节点数量根据自身公司实力及实际生产环境要求而灵活调整,此数字仅作参考),这些节点又按照地域划分成了四个大区:北方(以山东,河北为主)、西南(以四川为主)、华东(以宁波,嘉兴为主) 华南(以福建,湖南为主 )兼顾全国各个省份。

总体成本情况

8个单线加速节点,每个节点100Mx8,8台双子星服务器,总共投资约30W(后续费用只考虑带宽支出,约15W/年),我们应急拨款为10W,每个月CDN预算为2W。

项目进度安排:

1~4个月抓进度:特点是快速部点。这里有个诀窍,前期可以先跟IDC按月或者季度签约,然后通过监控看连续的节点质量,如果节点质量不佳,更换提供商,这样损失不会太大,如果节点质量好,就半年付或者年付,这样就可以保证质量和性价比最高;

5~8个月为完善期:根据预算,有节奏的加点,加带宽,保证带宽的冗余度;

8个月以后为稳定期:根据实际情况保证节点的最大可用性,同时也提升了整体防御能力。

如何做防护策略

开启HAProxy的httplog功能,记录日志。

HAProxy的配置策略:

global
    nbproc 24
    pidfile /var/run/haproxy.pid
    daemon
    quiet
    user nobody
    group nobody
    chroot /opt/haproxy
    spread-checks 2

defaults
    log 127.0.0.1   local5
    mode    http
    option  forwardfor
    option  httplog
    option  dontlognull
    option  nolinger # reduce FIN_WAIT1
    option  redispatch
    retries 3
    option  http-pretend-keepalive
    option  http-server-close
    option  accept-invalid-http-request
    timeout client 15s
    timeout connect 15s
    timeout server 15s
    timeout http-keep-alive 15s
    timeout http-request 15s

    stats enable
    stats uri /stats
    stats realm 53KF\ Proxy\ Status
    stats refresh 60s
    stats auth admin:adminxxx

listen Web_FB 0.0.0.0:80
    option httpchk GET /alive.php HTTP/1.0

    acl invalid_referer hdr_sub(referer) -i -f /opt/haproxy/etc/bad_ref.conf
    acl invalid_url url_sub -i -f /opt/haproxy/etc/bad_url.conf
    acl invalid_methods method -i -f /opt/haproxy/etc/bad_method.conf
    block if invalid_referer || invalid_url || invalid_methods

    acl dyn_host hdr(host) -i -f /opt/haproxy/etc/notcache_host.conf
    acl static_req path_end -i -f /opt/haproxy/etc/allow_cache_file.conf
    use_backend img_srv if static_req !dyn_host

# acl shaohy
    acl geek hdr_dom(host) -i 17geek.com
    use_backend geek if geek

# backend shaohy
backend geek
    mode http
    balance source
    cookie SESSION_COOKIE insert indirect nocache
    option tcpka
    server geek_1 127.0.0.1:81 cookie geek_1 maxconn 10000 weight 8

backend img_srv
    mode http
    option tcpka
    server img_srv 127.0.0.1:88 maxconn 30000 weight 8

Varnish的配置策略:

backend h_17geek_com_1 {        
    .host="127.0.0.1";      
    .port="81";         
    .connect_timeout=300s;      
    .first_byte_timeout=300s;   
    .between_bytes_timeout=300s;    
 }                  

director geek srv {         
    { .backend=h_17geek_com_1; .weight=3;}
 }                  

sub vcl_recv {
    if (req.http.host~"^(www).?17geek.com$"){
        set req.backend=geek_srv;       
        if (req.request != "GET" && req.request != "HEAD") {
            return (pipe);              
        }                       
        if(req.url ~ "\.(php|jsp)($|\?)") {         
            return (pass);              
        }                       
        else {                      
            return (lookup);            
        }                   
    }                       
 }

对于CC类型的DDoS攻击,通过第一篇当中介绍的监控异常流量的方法依然适用,而且优势更明显,因为:

  • 节点各自承担相应的日志记录,分析日志的系统开销,发现异常请求后直接在haproxy前端做ACL规则 过滤,因此,攻击压力不会传递给后端服务器,保证后端安全。
  • 节点受到的攻击流量过大,机房可以拉黑IP或者引流,后端智能DNS会自动把这个节点剔除,后续请求不要通过此节点。

在本系列的下一篇文章中,我们会介绍这个CDN架构的一些后续改进工作,包括智能DNS、大规模日志分析、利用OpenCDN改善后台管理等。

本系列的第一篇文章中,我们介绍了我们客服系统遇到DDoS攻击的情况,以及我们为什么决定采用自建CDN的方式来解决这个问题的原因。

之后,我们介绍了自建CDN的具体建设规划,主要从以下几个方面进行考量:硬件成本、带宽成本、架构设计、实际部署。

本文是《自建CDN防御DDoS》系列的第三篇,介绍CDN架构的后续改进。后续改进主要包括三个方面:DNS智能解析+轮询+存活监测,集中式日志分析+攻击防御,以及多节点CDN的快速部署+图形化管理。

1、DNS智能解析+轮询+存活监测

A. 部署智能DNS就近匹配CDN节点

我们自建CDN的另外一个目的是做访问路径优化,因为这些加速节点是我们精心挑选之后部署的,无论是带宽质量、机房环境、安全风险等指标均能满足可靠可控的需求。

因此当部署完多个CDN节点后,为使这些节点协同运作,同时优化用户的访问路径,我们可以通过配置Bind的View视图把访客IP指定到相应的CDN节点,使得访客能够根据自己所在的区域和线路类型,就近从CDN节点上获取页面内容,从而优化访客的路由。

B. DNS自动轮询+故障监测

我们可以利用DNS轮询来为网站进行分流负载。如果条件充裕,可以在各个大区内部署冗余的CDN节点,这样既能缓解某个区域内单一节点的负载,同时能为这个节点作互备,当这个区内的CDN节点因故障失效之后,调度机制能在最快时间内将故障节点的流量牵引至当前可用节点,实现动态的剔除该节点,从而不影响访客的正常请求。

实现DNS轮询只需要在Bind中为同一域名添加多个A记录即可。Bind View视图功能和节点存活检查的相关技术已经相当成熟,相应的技术文档也比较多了,可以参考《使用Bind构建高可用智能DNS服务器》,这里我们就不再累述。

C. Bind View IP分拣脚本

我们目前编写的脚本可以帮忙快速分拣出电信、联通的线路还包括华东、华南、华北和西部四个地区的IP范围,有兴趣的同学可以试用一下。

#  这个脚本是从Apnic下载属于中国的IP列表,然后把属于联通,电信及其它的IP进行归类  
get_apnic(){  
FILE=$PWD/ip_apnic  
CNC_FILE=$PWD/CNC  
CTC_FILE=$PWD/CTC  
TMP=/dev/shm/ip.tmp  
rm -f $FILE  
wget http://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest -O $FILE  

grep 'apnic|CN|ipv4|' $FILE | cut -f 4,5 -d'|'|sed -e 's/|/ /g' | while read ip cnt  
do  
      echo $ip:$cnt  
      mask=$(cat << EOF | bc | tail -1  

pow=32;  
define log2(x) {  
if (x<=1) return (pow);  
pow--;  
return(log2(x/2));  
}  

log2($cnt)  
EOF  
)  

whois $ip@whois.apnic.net > $TMP.tmp  
sed -n '/^inetnum/,/source/p' $TMP.tmp | awk '(/mnt-/ || /netname/)' >  $TMP  
NETNAME=`grep ^netname $TMP | sed -e 's/.*:    \(.*\)/\1/g' | sed -e 's/-.*//g'|sed 's: ::g'`  

egrep -qi "(CNC|UNICOM|WASU|NBIP|CERNET|CHINAGBN|CHINACOMM|FibrLINK|BGCTVNET|DXTNET|CRTC)" $TMP  
  if [ $? = 0 ];then  
   echo $ip/$mask >> $CNC_FILE  
    else  
   egrep -qi "(CHINATELECOM|CHINANET)" $TMP  
   if [ $? = 0 ];then  
     echo $ip/$mask >> $CTC_FILE  
   else  
        sed -n '/^route/,/source/p' $TMP.tmp | awk '(/mnt-/ || /netname/)' >  $TMP  
        egrep -qi "(CNC|UNICOM|WASU|NBIP|CERNET|CHINAGBN|CHINACOMM|FibrLINK|BGCTVNET|DXTNET|CRTC)" $TMP  
        if [ $? = 0 ];then  
          echo $ip/$mask >> $CNC_FILE  
        else  
          egrep -qi "(CHINATELECOM|CHINANET)" $TMP  
          if [ $? = 0 ];then  
            echo $ip/$mask >> $CTC_FILE  
          else  
            echo "$ip/$mask $NETNAME" >> $PWD/OTHER  
          fi  
        fi  
   fi  
    fi  
done  
rm -rf $TMP $TMP.tmp  
}  

#  从whois信息中提取address登记人地址信息,从而判断在哪个省份  
gen_zone(){  
      FILE=$2  
     [ ! -s $FILE ] && echo "$FILE file not found." && exit 0  

      rm -rf  $FILE.zone  
      while read LINE;do  
           LINE=`echo "$LINE"|awk '{print $1}'`  
           echo "$LINE @ "  
           echo -n "$LINE @ " >> $FILE.zone  
           whois $LINE|egrep "address"|xargs echo >> $FILE.zone  
           sleep $TIME  
      done < $FILE  
}  

# 分别挑选出华东,华南,华北,西部四大区的IP地址列表  
gen_area(){  
      FILE=$2  
     [ ! -s $FILE.zone ] && echo "$FILE.zone file not found." && exit 0  

      STRING="none"  
      echo $FILE|egrep -i -q "cnc"  
      [ $? = 0 ] &&  STRING="cnc"  
      echo $FILE|egrep -i -q "ctc"  
      [ $? = 0 ] &&  STRING="ctc"  
      echo $FILE|egrep -i -q "other"  
      [ $? = 0 ] &&  STRING="other"  
        
      [ $STRING = "none" ] && echo "Not cnc or ctc file" && exit 0  

      cp -a $FILE.zone $FILE.tmp  

      egrep -i "$HD_STR" $FILE.tmp > $HD_FILE.$STRING  
      egrep -i -v "$HD_STR" $FILE.tmp > aaa  
      mv aaa $FILE.tmp  

      egrep -i "$HN_STR" $FILE.tmp > $HN_FILE.$STRING  
      egrep -i -v "$HN_STR" $FILE.tmp > aaa  
      mv aaa $FILE.tmp  

      egrep -i "$XI_STR" $FILE.tmp > $XI_FILE.$STRING  
      egrep -i -v "$XI_STR" $FILE.tmp > aaa  
      mv aaa $FILE.tmp  

      egrep -i "$HB_STR" $FILE.tmp > $HB_FILE.$STRING  
      egrep -i -v "$HB_STR" $FILE.tmp > aaa  
      mv aaa $FILE.tmp  

      grep ^[0-9] $FILE.tmp |awk '{print $1}' >> $HD_FILE.$STRING  
      sed -r -i 's#@.*##g' *.$STRING  

      rm -rf $FILE.tmp  
}  

具体脚本可以通过https://github.com/shaohaiyang/easyMyDNS下载获取。

2、集中式日志分析+攻击防御

CDN作为网站的前置节点,实时记录着所有访客的访问行为。可以说,日志当中蕴藏了丰富的奥秘。据了解,大部分网站并没有对其访问日志进行很好的利用,仅仅是对其做了归档备份。如能利用好这些访问日志,并对其进行深度的分析和挖掘,对于了解网站的运行状况、感知业务层面的一些异常活动,能够带来极大的帮助。尤其是当面临DDoS攻击时,能够提供出足够的依据来区分恶意的IP。

区分恶意攻击的主要依据类型有:

  • 某个IP发起大量的并发请求
  • 大量连续的IP段发起请求
  • 大量无规则的IP发起请求

目前我们对HAProxy的日志分析仅作用于单节点,我们在实际应用场景中,是基于单位时间段的日志截断,把日志写入到/dev/shm内存中,使用了通用的shell,awk,sed语言来做行为分析,这样做的好处是避免了磁盘IO开销的短板。缺点是,日志分析行为比较粗糙,分析效率有待于提高。

A. 多节点CDN集中式日志分析+攻击阻断架构

由于作用于单节点的日志分析架构存在较大的局限性,主要体现为:

  • 日志散落在各个节点,分析时忽略了其他节点的数据,无法获悉全局的情况
  • 当防御规则启用后,仅作用于单节点,其他节点依旧面临该特性的攻击
  • 单节点的实时分析当面临攻击时,会占用较大系统资源

因此在多节点CDN架构下,如要及时感知到DDoS攻击并对其进行阻断,而且还要考虑尽可能少的开销用节点系统资源,需要站在全局层面来集中分析攻击行为,并且针对分析后的结果展开多节点协同处理防御/阻断规则,来应对DDoS攻击。

对难点进行梳理后,我们发现要实现这样的需求主要解决三个问题:

  1. 汇集多个CDN节点的海量日志存储
  2. 针对海量日志的集中式风险分析
  3. 协同运作的攻击阻断机制

具体架构:

  • Nginx/HAProxy作为防御攻击系统的终端
  • 节点产生的访问日志通过syslog传送到专用的LogServer进行汇集
  • 专用的LogServer作为日志的存储和风险分析、阻断规则推送

a. HAProxy/Nginx作为防御攻击系统的载体

我们在上一篇文章中已经提到过,在CDN节点端,我们建议用HAProxy或Nginx作为防御性的反向代理,能够灵活的制定防御攻击的ACL过滤规则,并能够以热加载的方式实时生效。

b. 日志存储解决思路

这个环节主要包含两个部分,一是由节点到LogServer的日志传输,另一个是LogServer这一端的日志集中存储。由CDN节点产生的日志可以通过本地写入PIPE + Rsyslog UDP传输的方式将日志汇总到专用的LogServer,LogServer收到日志之后,按照域名分类的方式将日志存储在一起。

对于海量日志的存储可以用Hadoop作为载体,利用Map/Reduce算法分解日志,提升筛选效率。对此有兴趣深入了解的同学可以参考开源日志系统比较

c. 协同运作的攻击阻断机制

这里则是最为关键的一个环节:我们整个架构的重点在于“抗攻击”,而我们经过前面的分析,针对多节点CDN的攻击防御,最为高效的做法是:由专用的LogServer进行集中式分析运算,并将运算结果生成安全防护策略,实时对接到各个CDN节点,协同处理防御/阻断规则,以此来应对DDoS攻击。那么这里将会产生以下几个主要问题:

  1. 采用什么样的脚本和规则来分析日志
  2. 分析后的结果如何形成HAProxy/Iptables的ACL策略
  3. 生成的ACL策略如何作用到全局的CDN节点,并形成联动

对此我们的设计思路如下:

当日志完整的存储在LogServer之后,使用分析脚本对其进行特征匹配,提取出恶意攻击的来源IP地址,将这些IP地址生成相应的HAProxy/Iptables的阻断规则,并下发到全局的CDN节点。这里可以通过两种方式来进行:

  1. 通过开发专用的接口与Iptables、Nginx/HAProxy进行联动
  2. 通过统一配置管理工具Puppet推送来实现,LogServer作为消息的推送端与命令下发主控端,各个CDN节点作为策略的接收端与生效命令执行端,在接收完防护策略后,自动加入ACL列表,执行热加载的命令

B. 该架构的优势

  • 这套架构得以实现之后,系统的横向扩展将变得非常容易,能根据节点的流量/资源负载情况,动态的添置或下线CDN节点,无需对源站点进行任何改动。
  • 能够从容的应对DDoS攻击,在分散攻击流量的同时,能够自动阻断攻击来源。
  • 并且对于新的攻击,只要在某一站点发现异常,即可快速编制新防护规则,将屏蔽措施应用到所有加入CDN的站点,实现全局的安全防护。
  • 将各个CDN节点上的日志进行汇总收集/分析,能够获取到所有用户详细的访问行为,同时对所有的非法访问行为进行均记录在案,通过编制业务安全规则,可提供事前预警、事后追踪。

3、多节点CDN的快速部署与图形化管理

管理和运维一套CDN系统对于任何组织来讲都是个很大的挑战,尤其是部署了多区域多线路的CDN。需要随时掌控CDN加速的节点列表、需要定义哪些网页元素可以作为缓存、需要做什么样的ACL策略等等,这些都需要专业的系统运维人员来配置实现。

通常较为成熟的做法是通过主控机,预先配置好CDN规则 ,通过Rsync把配置文件推送到各个CDN节点中去。很显然,这种方案虽然效率高,但是对CDN部署者具有一定的门槛,加上服务器的权限控制要求非常严格,也不利于面向其它工程师做推广。

偶然的机会,我们有幸在黑客马拉松大赛初识了OpenCDN这个获奖作品,通过互补整合,更是弥补了我们这套CDN上的前端管理的不足。因此,可以跟OpenCDN这个项目做很好的深度整合,降低运维和管理门槛,造福于更多的IT运维的用户。

A. OpenCDN主要解决什么问题?

OpenCDN是一套快速部署CDN加速的工具,针对专门提供CDN加速服务的企业或对多节点CDN加速有需求的企业提供一套便捷的管理平台,可对每一个节点的状态、系统负载进行实时监测与统一管理。OpenCDN预制了多套常用缓存规则,支持多种复杂的CDN缓存场景。正如其名,OpenCDN是免费开源的。

B. OpenCDN当前是怎么做的?

OpenCDN的主体架构可分为CDN管理中心和CDN加速节点。CDN加速节点可以有很多个,在数量上没有任何限制。用户可以通过OpenCDN快速的部署多个CDN加速节点,并通过一个管理中心进行集中式的管理。

因此OpenCDN在这里主要做了两部分工作,一是将CDN节点的部署过程一键化,二是通过WebConsole工具将这些CDN加速节点统一的管理起来。

C. OpenCDN未来要做出什么样?达到怎么样的效果?

OpenCDN将致力于为多节点CDN加速有需求的网站,提供一套便捷的CDN加速管理平台,能够按需自建CDN节点,灵活控制成本,提高网站响应速度,轻松应对突发流量。

后续我们将在此基础上整合加入上述CDN防御大流量DDoS攻击的组合方案。我们对这套平台做了开源,希望有更多有需要的人能够以最低的成本获取它,同时也希望通过更多的开发者加入进来一起完善它。所谓人人为我,我为人人。

D. OpenCDN进行自建CDN的优势

  1. 首先是降低了获取CDN的成本,同时最为关键的是提升了CDN节点的性能。对比租用商业CDN,我们无需再为购买流量而计算成本,形成固定开销的租用模式。
  2. 不局限于节点的介质,物理服务器或者VPS均可以适用,可利用不同服务商的VPS构建起一张覆盖全国全网的低成本CDN加速集群。
  3. 商业CDN的节点要共享给多个站点同时使用,而这意味着节点的有限资源(并发数)将在同一时间内分享使用,对于带宽/流量要求较高的用户,比较适合自建的架构。

OpenCDN适用于哪些用户?

OpenCDN目前来看,比较适用于行业竞争比较大的网站:

游戏站、垂直电商、社区论坛、在线视频、聊天。

这些网站的共性特点:流量中型规模,竞争激烈,经常被攻击,行业利润高,愿意花钱。

总结

至此,《自建CDN防御DDoS》系列便告一段落。如果有任何疑问,欢迎跟我们交流、探讨。

四种常见的 POST 提交数据方式

HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中 POST 一般用来向服务端提交数据,本文主要讨论 POST 提交数据的几种方式。

我们知道,HTTP 协议是以 ASCII 码传输,建立在 TCP/IP 协议之上的应用层规范。规范把 HTTP 请求分为三个部分:状态行、请求头、消息主体。类似于下面这样:

<method> <request-url> <version>
<headers>
<entity-body></entity-body></headers></version></request-url></method>

协议规定 POST 提交的数据必须放在消息主体(entity-body)中,但协议并没有规定数据必须使用什么编码方式。实际上,开发者完全可以自己决定消息主体的格式,只要最后发送的 HTTP 请求满足上面的格式就可以。

但是,数据发送出去,还要服务端解析成功才有意义。一般服务端语言如 PHPPython 等,以及它们的 framework,都内置了自动解析常见数据格式的功能。服务端通常是根据请求头(headers)中的 Content-Type 字段来获知请求中的消息主体是用何种方式编码,再对主体进行解析。所以说到 POST 提交数据方案,包含了 Content-Type 和消息主体编码方式两部分。下面就正式开始介绍它们。

application/x-www-form-urlencoded

这应该是最常见的 POST 提交数据的方式了。浏览器的原生 form 表单,如果不设置 enctype 属性,那么最终就会以 application/x-www-form-urlencoded 方式提交数据。请求类似于下面这样(无关的请求头在本文中都省略掉了):

POST http://www.example.com HTTP/1.1
Content-Type: application/x-www-form-urlencoded;charset=utf-8
title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3

首先,Content-Type 被指定为 application/x-www-form-urlencoded;其次,提交的数据按照 key1=val1&key2=val2 的方式进行编码,key 和 val 都进行了 URL 转码。大部分服务端语言都对这种方式有很好的支持。例如 PHP 中,$_POST[‘title’] 可以获取到 title 的值,$_POST[‘sub’] 可以得到 sub 数组。

很多时候,我们用 Ajax 提交数据时,也是使用这种方式。例如 jQueryQWrap 的 Ajax,Content-Type 默认值都是「application/x-www-form-urlencoded;charset=utf-8」。

multipart/form-data

这又是一个常见的 POST 数据提交的方式。我们使用表单上传文件时,必须让 form 的 enctyped 等于这个值。直接来看一个请求示例:

POST http://www.example.com HTTP/1.1
Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryrGKCBY7qhFd3TrwA
------WebKitFormBoundaryrGKCBY7qhFd3TrwA
Content-Disposition: form-data; name="text"
title
------WebKitFormBoundaryrGKCBY7qhFd3TrwA
Content-Disposition: form-data; name="file"; filename="chrome.png"
Content-Type: image/png
PNG ... content of chrome.png ...
------WebKitFormBoundaryrGKCBY7qhFd3TrwA--

这个例子稍微复杂点。首先生成了一个 boundary 用于分割不同的字段,为了避免与正文内容重复,boundary 很长很复杂。然后 Content-Type 里指明了数据是以 mutipart/form-data 来编码,本次请求的 boundary 是什么内容。消息主体里按照字段个数又分为多个结构类似的部分,每部分都是以 –boundary 开始,紧接着内容描述信息,然后是回车,最后是字段具体内容(文本或二进制)。如果传输的是文件,还要包含文件名和文件类型信息。消息主体最后以 –boundary– 标示结束。关于 mutipart/form-data 的详细定义,请前往 rfc1867 查看。

这种方式一般用来上传文件,各大服务端语言对它也有着良好的支持。

上面提到的这两种 POST 数据的方式,都是浏览器原生支持的,而且现阶段原生 form 表单也只支持这两种方式。但是随着越来越多的 Web 站点,尤其是 WebApp,全部使用 Ajax 进行数据交互之后,我们完全可以定义新的数据提交方式,给开发带来更多便利。

application/json

application/json 这个 Content-Type 作为响应头大家肯定不陌生。实际上,现在越来越多的人把它作为请求头,用来告诉服务端消息主体是序列化后的 JSON 字符串。由于 JSON 规范的流行,除了低版本 IE 之外的各大浏览器都原生支持 JSON.stringify,服务端语言也都有处理 JSON 的函数,使用 JSON 不会遇上什么麻烦。

JSON 格式支持比键值对复杂得多的结构化数据,这一点也很有用。记得我几年前做一个项目时,需要提交的数据层次非常深,我就是把数据 JSON 序列化之后来提交的。不过当时我是把 JSON 字符串作为 val,仍然放在键值对里,以 x-www-form-urlencoded 方式提交。

Google 的 AngularJS 中的 Ajax 功能,默认就是提交 JSON 字符串。例如下面这段代码:

var data = {'title':'test', 'sub' : [1,2,3]};
$http.post(url, data).success(function(result) {
    ...
});

最终发送的请求是:

POST http://www.example.com HTTP/1.1
Content-Type: application/json;charset=utf-8
{"title":"test","sub":[1,2,3]}

这种方案,可以方便的提交复杂的结构化数据,特别适合 RESTful 的接口。各大抓包工具如 Chrome 自带的开发者工具、Firebug、Fiddler,都会以树形结构展示 JSON 数据,非常友好。但也有些服务端语言还没有支持这种方式,例如 php 就无法通过 $_POST 对象从上面的请求中获得内容。这时候,需要自己动手处理下:在请求头中 Content-Type 为 application/json 时,从 php://input 里获得原始输入流,再 json_decode 成对象。一些 php 框架已经开始这么做了。

例如:$data = file_get_contents(‘php://input’);

当然 AngularJS 也可以配置为使用 x-www-form-urlencoded 方式提交数据。如有需要,可以参考这篇文章

text/xml

我的博客之前提到过 XML-RPC(XML Remote Procedure Call)。它是一种使用 HTTP 作为传输协议,XML 作为编码方式的远程调用规范。典型的 XML-RPC 请求是这样的:

POST http://www.example.com HTTP/1.1
Content-Type: text/xml
<!--?xml version="1.0"?-->
<methodcall>
    <methodname>examples.getStateName</methodname>
    <params>
        <param>
            <value><i4>41</i4></value>
        
    </params>
</methodcall>

XML-RPC 协议简单、功能够用,各种语言的实现都有。它的使用也很广泛,如 WordPress 的 XML-RPC Api,搜索引擎的 ping 服务等等。JavaScript 中,也有现成的库支持以这种方式进行数据交互,能很好的支持已有的 XML-RPC 服务。不过,我个人觉得 XML 结构还是过于臃肿,一般场景用 JSON 会更灵活方便。

Css中路径data:image/png;base64的用法详解

 

大家可能注意到了,网页上有些图片的src或css背景图片的url后面跟了一大串字符,比如:

background-image:url(data:image/png;base64,
iVBORw0KGgoAAAANSUhEUgAAAAEAAAAkCAYAAABIdFAMAAAAGXR
FWHRTb2Z0d2FyZQBBZG9iZSBJbWFnZVJlYWR5ccllPAAAAHhJRE
FUeNo8zjsOxCAMBFB/KEAUFFR0Cbng3nQPw68ArZdAlOZppPFIB
hH5EAB8b+Tlt9MYQ6i1BuqFaq1CKSVcxZ2Acs6406KUgpt5/ 
LCKuVgz5BDCSb13ZO99ZOdcZGvt4mJjzMVKqcha68iIePB86G
AiOv8CDADlIUQBs7MD3wAAAABJRU5ErkJggg%3D%3D)

那么这是什么呢?这是Data URI scheme。

直接将

data:image/png;base64,
iVBORw0KGgoAAAANSUhEUgAAAAEAAAAkCAYAAABIdFAMAAAAGXR
FWHRTb2Z0d2FyZQBBZG9iZSBJbWFnZVJlYWR5ccllPAAAAHhJRE
FUeNo8zjsOxCAMBFB/KEAUFFR0Cbng3nQPw68ArZdAlOZppPFIB
hH5EAB8b+Tlt9MYQ6i1BuqFaq1CKSVcxZ2Acs6406KUgpt5/ 
LCKuVgz5BDCSb13ZO99ZOdcZGvt4mJjzMVKqcha68iIePB86G
AiOv8CDADlIUQBs7MD3wAAAABJRU5ErkJggg%3D%3D

复制到火狐的地址栏,点转到就可以直接查看到这个图片。

Data URI scheme是在RFC2397中定义的,目的是将一些小的数据,直接嵌入到网页中,从而不用再从外部文件载入。比如上面那串字符,其实是一张小图片,将这些字符复制黏贴到火狐的地址栏中并转到,就能看到它了,一张1X36的白灰png图片。

在上面的Data URI中,data表示取得数据的协定名称,image/png 是数据类型名称,base64 是数据的编码方法,逗号后面就是这个image/png文件base64编码后的数据。
目前,Data URI scheme支持的类型有:

data:,文本数据
data:text/plain,文本数据
data:text/html,HTML代码
data:text/html;base64,base64编码的HTML代码
data:text/css,CSS代码
data:text/css;base64,base64编码的CSS代码
data:text/javascript,Javascript代码
data:text/javascript;base64,base64编码的Javascript代码
data:image/gif;base64,base64编码的gif图片数据
data:image/png;base64,base64编码的png图片数据
data:image/jpeg;base64,base64编码的jpeg图片数据
data:image/x-icon;base64,base64编码的icon图片数据

base64简单地说,它把一些 8-bit 数据翻译成标准 ASCII 字符,网上有很多免费的base64 编码和解码的工具,在PHP中可以用函数base64_encode() 进行编码,如

echo base64_encode(file_get_contents(‘wg.png’));

目前,IE8、Firfox、Chrome、Opera浏览器都支持这种小文件嵌入。
举个图片的例子:
网页中一张图片可以这样显示:

<img src=“http://www.pzhl.net/images/wg.png”/>

也可以这样显示:

<img src=“data:image/png;base64,iVBORw0KGgoAAAANSUhEU
gAAAAEAAAAkCAYAAABIdFAMAAAAGXRFWHRTb2Z0d2FyZQBBZG9iZS
BJbWFnZVJlYWR5ccllPAAAAHhJREFUeNo8zjsOxCAMBFB/KEAUFFR
0Cbng3nQPw68ArZdAlOZppPFIBhH5EAB8b+Tlt9MYQ6i1BuqFaq1C
KSVcxZ2Acs6406KUgpt5/LCKuVgz5BDCSb13ZO99ZOdcZGvt4mJjz
MVKqcha68iIePB86GAiOv8CDADlIUQBs7MD3wAAAABJRU5ErkJggg%3D%3D”/>

我们把图像文件的内容直接写在了HTML 文件中,这样做的好处是,节省了一个HTTP 请求。坏处呢,就是浏览器不会缓存这种图像。大家可以根据实际情况进行自由取舍。

内容管理系统静态化的方法

网站静态化可以有效的防止CC攻击,对于一些动态的网站,可以将其中的大部分内容静态化提升网站性能,下面举例说明一个网站首页静态化的方法:

1、将原来网站首页的index.php文件重命名为index-html.php

2、将index.php修改成以下代码

<?php
//生成静态文件
$file = @dirname(dirname(__FILE__)).”/wwwroot/html/index.html”;
if(file_exists($file)){
$filetime = @date(“H”,filemtime($file));
$perTime = date(“H”);
if( $perTime == $filetime )
{
echo file_get_contents(“html/index.html”);
exit;
}
}
$show = file_get_contents(“http://www.pzhl.net/index-html.php”);
$myfile = dirname(dirname(__FILE__)).”/wwwroot/html/index.html”;
$filetime = @date(“Y-m-d H:i:s”,filemtime($myfile));
$fp = fopen($myfile,”w”);
fwrite($fp,$show);
echo file_get_contents(“html/index.html”);
exit;
?>

对于一些直接跳转的代码,比如:header (‘location: ‘.$LinkUrl);要修改成 echo  ‘<script>window.location.href=\”.$LinkUrl.’\’;</script>’;

这样对于一个页面如果有人访问,会自动生成静态文件,接下来的一个小时,用户访问的就是静态的内容,不用重新从数据库中读取。