圖15所示是一個通用的爬蟲框架流程。首先從互聯網頁麵中精心選擇一部分網頁，以這些網頁的鏈接地址作為種子URL，將這些種子URL放入待抓取URL隊列中，爬蟲從待抓取URL隊列依次讀取，並將URL通過DNS解析，把鏈接地址轉換為網站服務器對應的IP地址。
然後將其和網頁相對路徑名稱交給網頁下載器，網頁下載器負責頁麵內容的下載。對於下載到本地的網頁，一方麵將其存儲到頁麵庫中，等待建立索引等後續處理；另一方麵將下載網頁的URL放入已抓取URL隊列中，這個隊列記載了爬蟲係統已經下載過的網頁URL，以避免網頁的重複抓取。對於剛下載的網頁，從中抽取出所包含的所有鏈接信息，並在已抓取URL隊列中檢查，如果發現鏈接還沒有被抓取過，則將這個URL放入待抓取URL隊列末尾，在之後的抓取調度中會下載這個URL對應的網頁。如此這般，形成循環，直到待抓取URL隊列為審，這代表著爬蟲係統已將能夠抓取的網頁盡數抓完，此時完成了一輪完整的抓取過程。
4 作品創新點
本產品可適配用戶所使用的油的類型，顯示各加油站的相對油價；同時顯示加油站與用戶當前距離；本係統提示價格較為便宜、且離用戶的距離比較近，幫助選擇合適的加油站，為用戶省時省錢。
本項目以物聯網技術為基礎，構建了一個加油站與汽車之間信息交流和溝通的平台，該係統不僅可以讓汽車車主了解附近加油站的相關信息，還可以為汽車車主推薦去附近加油站的最佳路線，徹底地解決了汽車在異地油量不足的情況下如何快速找到附近的加油站的問題，同時還可以以最快速度獲取有關油價的新聞，能夠極大的節省用戶時間。
5 市場前景
考慮到軟件的發布平台為APP Store，公司將目標客戶定為知識水平較高、工作輕鬆、消費行為感性、生活節奏穩定的人群，此類人群更多的擁有智能手機，適應現代智能生活方式。本公司初期對目標客戶群的選擇會偏向於更年輕、思想更開放、年齡段在20—40歲的人群。
2013年底，全國汽車總量達1.37億，據專家預測，乘用車市場將以每年10%的速度繼續增長10年，大致相當於GDP增長的1.5倍。2014年宏觀經濟總體穩定，消費者信心增強，中國正處於汽車消費擴張的階段，新型城鎮化的推進、消費升級等，都會進一步促進汽車需求。中國汽車保有量的峰值在3億左右，未來汽車保有量仍會以驚人的速度增長。長期看來我國汽車市場的增長空間依舊很大。本公司麵臨的是我國1.3億車主的需求，是一個潛在的巨大市場。
獲獎感言
經過這次比賽，所有隊員都收獲了很多。從完成作品軟件著作權的申請以及參賽文檔，每一步都是團隊共同努力的結果，都經過汗水和努力。經過長途跋涉來到無錫，經過三天的比賽，獲獎與否已經不那麼重要，重要的是結識了很多有想法、有創意的朋友，我們收獲的不止是一張證書，還有iCAN精神。