如何限制一個高並發的閃電網路

『壹』 區塊鏈3.0是什麼有4.0嗎

區塊鏈技術目前發展階段：金融價值期、信用價值期和治理價值期。其中區塊鏈3.0與4.0都在飛速發展中，預測區塊鏈技術將有一波大變革。

生態令主鏈側鏈

ECOL生態令團隊對待側鏈面臨的困境，通過數據隔離和跨鏈審計的方式，讓側鏈的業務數據保密性和安全性得到保障，解決數據透明與商業保密的平衡問題。

並支持多側鏈，主側鏈通訊，資產轉移，既融合又分工，既具安全性又有便利性。主鏈主要負責安全及共識，側鏈將提供智能合約、代幣發行、資產交易、跨鏈互通、主側鏈結構，通過瘦身、修剪技術能有效防止區塊腫脹、垃圾推積、縮短同步時間。為高並發、閃電網路的實施掃清障礙。

ECOL生態令通過側鏈技術，能夠將不同區塊鏈連接起來的技術，就是區塊鏈拓展外在結構的解決傳輸速度慢，效率低下的關鍵。簡單地說，側鏈就像是一條條通路，將不同的區塊鏈相連接在一起，以實現區塊鏈的擴展。從長遠來看，生態令在開發側鏈、應用側鏈、提出解決方案的情形下，逐步構建起屬於側鏈的高速價值互聯網。

『貳』 如何打造一個高性能，高並發的消息推送系統

看是自己開發還是使用第三方系統，如果是自己開發的，就必須擁有一個強大的團隊來進行研發；如果是使用第三方系統，推薦使用深圳極光的消息推送系統。
消息推送系統是一款手機通信軟體，通過手機網路和wifi即時接收服務端發送的消息，支持圖片和文字推送，即時性好，操作簡單，使用方便，支持服務端通過c2dm對手機終端進行消息提示，讓用戶及時了解世界的變化。支持ios，Android等多種平台手機。
深圳極光是面向移動開發領域與產品運營領域的線下研討會，旨在打造一個新技術與運營思維的聚集地，致力於解決 開發、產品、運營在工作中遇到的各類問題，並為大家提供一個思維碰撞、共同提升的互動平台。提供行業大數據標准化產品和服務，全面滿足您的業務場景和數據需求。

『叄』 什麼是DAG區塊鏈技術

DAG全稱是「有向無環圖」，沒有區塊概念，不是把所有數據打包成區塊，再用區塊鏈接區塊，而是每個用戶都可以提交一個數據單元，這個數據單元里可以有很多東西，比如交易、消息等等。數據單元間通過引用關系鏈接起來，從而形成具有半序關系的DAG（有向無環圖）。DAG的特點是把數據單元的寫入操作非同步化，大量的錢包客戶端可以自主非同步地把交易數據寫入DAG，從而可以支持極大的並發量和極高的速度。同時，使用DAG技術的TrustNote還支持聲明式智能合約，聲明式的智能合約要表達的意思是可以直接按照用戶想要的結果去寫、去描述，以很簡單的語言，讓大家都能看懂的語言去描述他要乾的事情。

截止到2017年年底，「高流量應用」越來越多，除了主流電商平台外，還有直播平台、P2P理財、今日頭條、陌陌等嶄露頭角，如果「高流量應用」與DAG區塊鏈技術結合，將會給行業帶來哪些變革呢？除區塊鏈自身的特點去中心化、分布式賬本、不可篡改之外，DAG區塊鏈技術不但可以支持高並發，結合雙層共識機制，使用工作量證明共識演算法，還能夠防止「雙花」問題。

那麼，DAG如何支持高並發的呢？第一，數據不像比特幣和以太坊一樣強同步，而是弱同步，允許節點在同一時刻數據不一樣，數據可以有一些微小的差別。第二，可以通過數據單元之間的引用來完成交易的確認，就是後面發生的單元去引用前面的單元，這樣不需要我們把數據傳給礦工，整個過程都是由自己去完成的，這個過程很快。DAG是解決高並發比較優美的方法，比起之前的閃電網路，還有其他一些方面，DAG有其先天優勢。

再來看看DAG是如何防止「雙花」？在有向圖里如果能選出一個MainChain，這個時候會發現所有圖裡面的節點都可以用一種方法來給它做排序，把這個序號連接起來在一排，這張圖將會變成跟區塊鏈一樣的序列結構，就是排完序的節點，而且每個節點是一個交易，而不是一個區塊。所以，確定了主鏈，通過主鏈，可以形成全序。最後達到的結局就是在某一個邏輯狀態里，交易還是被排序了，這是DAG最關鍵核心的部分。

「高流量應用」是隨著節點數和交易數的增加平滑擴展，當這個節點數超過1億或交易數超過並發100萬時，DAG的特性剛好是交易越多越快，節點越多越快。

『肆』 php怎麼處理高並發

以下內容轉載自徐漢彬大牛的博客億級Web系統搭建——單機到分布式集群

當一個Web系統從日訪問量10萬逐步增長到1000萬，甚至超過1億的過程中，Web系統承受的壓力會越來越大，在這個過程中，我們會遇到很多的問題。為了解決這些性能壓力帶來問題，我們需要在Web系統架構層面搭建多個層次的緩存機制。在不同的壓力階段，我們會遇到不同的問題，通過搭建不同的服務和架構來解決。

Web負載均衡

Web負載均衡（Load Balancing），簡單地說就是給我們的伺服器集群分配「工作任務」，而採用恰當的分配方式，對於保護處於後端的Web伺服器來說，非常重要。

負載均衡的策略有很多，我們從簡單的講起哈。

1.HTTP重定向

當用戶發來請求的時候，Web伺服器通過修改HTTP響應頭中的Location標記來返回一個新的url，然後瀏覽器再繼續請求這個新url，實際上就是頁面重定向。通過重定向，來達到「負載均衡」的目標。例如，我們在下載PHP源碼包的時候，點擊下載鏈接時，為了解決不同國家和地域下載速度的問題，它會返回一個離我們近的下載地址。重定向的HTTP返回碼是302

這個重定向非常容易實現，並且可以自定義各種策略。但是，它在大規模訪問量下，性能不佳。而且，給用戶的體驗也不好，實際請求發生重定向，增加了網路延時。

2. 反向代理負載均衡

反向代理服務的核心工作主要是轉發HTTP請求，扮演了瀏覽器端和後台Web伺服器中轉的角色。因為它工作在HTTP層（應用層），也就是網路七層結構中的第七層，因此也被稱為「七層負載均衡」。可以做反向代理的軟體很多，比較常見的一種是Nginx。

Nginx是一種非常靈活的反向代理軟體，可以自由定製化轉發策略，分配伺服器流量的權重等。反向代理中，常見的一個問題，就是Web伺服器存儲的session數據，因為一般負載均衡的策略都是隨機分配請求的。同一個登錄用戶的請求，無法保證一定分配到相同的Web機器上，會導致無法找到session的問題。

解決方案主要有兩種：

1.配置反向代理的轉發規則，讓同一個用戶的請求一定落到同一台機器上（通過分析cookie），復雜的轉發規則將會消耗更多的CPU，也增加了代理伺服器的負擔。

2.將session這類的信息，專門用某個獨立服務來存儲，例如redis/memchache，這個方案是比較推薦的。

反向代理服務，也是可以開啟緩存的，如果開啟了，會增加反向代理的負擔，需要謹慎使用。這種負載均衡策略實現和部署非常簡單，而且性能表現也比較好。但是，它有「單點故障」的問題，如果掛了，會帶來很多的麻煩。而且，到了後期Web伺服器繼續增加，它本身可能成為系統的瓶頸。

3. IP負載均衡

IP負載均衡服務是工作在網路層（修改IP）和傳輸層（修改埠，第四層），比起工作在應用層（第七層）性能要高出非常多。原理是，他是對IP層的數據包的IP地址和埠信息進行修改，達到負載均衡的目的。這種方式，也被稱為「四層負載均衡」。常見的負載均衡方式，是LVS（Linux Virtual Server，Linux虛擬服務），通過IPVS（IP Virtual Server，IP虛擬服務）來實現。

在負載均衡伺服器收到客戶端的IP包的時候，會修改IP包的目標IP地址或埠，然後原封不動地投遞到內部網路中，數據包會流入到實際Web伺服器。實際伺服器處理完成後，又會將數據包投遞回給負載均衡伺服器，它再修改目標IP地址為用戶IP地址，最終回到客戶端。

上述的方式叫LVS-NAT，除此之外，還有LVS-RD（直接路由），LVS-TUN（IP隧道），三者之間都屬於LVS的方式，但是有一定的區別，篇幅問題，不贅敘。

IP負載均衡的性能要高出Nginx的反向代理很多，它只處理到傳輸層為止的數據包，並不做進一步的組包，然後直接轉發給實際伺服器。不過，它的配置和搭建比較復雜。

4. DNS負載均衡

DNS（Domain Name System）負責域名解析的服務，域名url實際上是伺服器的別名，實際映射是一個IP地址，解析過程，就是DNS完成域名到IP的映射。而一個域名是可以配置成對應多個IP的。因此，DNS也就可以作為負載均衡服務。

這種負載均衡策略，配置簡單，性能極佳。但是，不能自由定義規則，而且，變更被映射的IP或者機器故障時很麻煩，還存在DNS生效延遲的問題。

5. DNS/GSLB負載均衡

我們常用的CDN（Content Delivery Network，內容分發網路）實現方式，其實就是在同一個域名映射為多IP的基礎上更進一步，通過GSLB（Global Server Load Balance，全局負載均衡）按照指定規則映射域名的IP。一般情況下都是按照地理位置，將離用戶近的IP返回給用戶，減少網路傳輸中的路由節點之間的跳躍消耗。

「向上尋找」，實際過程是LDNS（Local DNS）先向根域名服務（Root Name Server）獲取到頂級根的Name Server（例如.com的），然後得到指定域名的授權DNS，然後再獲得實際伺服器IP。

CDN在Web系統中，一般情況下是用來解決大小較大的靜態資源（html/Js/Css/圖片等）的載入問題，讓這些比較依賴網路下載的內容，盡可能離用戶更近，提升用戶體驗。

例如，我訪問了一張imgcache.gtimg.cn上的圖片（騰訊的自建CDN，不使用qq.com域名的原因是防止http請求的時候，帶上了多餘的cookie信息），我獲得的IP是183.60.217.90。

這種方式，和前面的DNS負載均衡一樣，不僅性能極佳，而且支持配置多種策略。但是，搭建和維護成本非常高。互聯網一線公司，會自建CDN服務，中小型公司一般使用第三方提供的CDN。

Web系統的緩存機制的建立和優化

剛剛我們講完了Web系統的外部網路環境，現在我們開始關注我們Web系統自身的性能問題。我們的Web站點隨著訪問量的上升，會遇到很多的挑戰，解決這些問題不僅僅是擴容機器這么簡單，建立和使用合適的緩存機制才是根本。

最開始，我們的Web系統架構可能是這樣的，每個環節，都可能只有1台機器。

我們從最根本的數據存儲開始看哈。

一、 MySQL資料庫內部緩存使用

MySQL的緩存機制，就從先從MySQL內部開始，下面的內容將以最常見的InnoDB存儲引擎為主。

1. 建立恰當的索引

最簡單的是建立索引，索引在表數據比較大的時候，起到快速檢索數據的作用，但是成本也是有的。首先，佔用了一定的磁碟空間，其中組合索引最突出，使用需要謹慎，它產生的索引甚至會比源數據更大。其次，建立索引之後的數據insert/update/delete等操作，因為需要更新原來的索引，耗時會增加。當然，實際上我們的系統從總體來說，是以select查詢操作居多，因此，索引的使用仍然對系統性能有大幅提升的作用。

2. 資料庫連接線程池緩存

如果，每一個資料庫操作請求都需要創建和銷毀連接的話，對資料庫來說，無疑也是一種巨大的開銷。為了減少這類型的開銷，可以在MySQL中配置thread_cache_size來表示保留多少線程用於復用。線程不夠的時候，再創建，空閑過多的時候，則銷毀。

其實，還有更為激進一點的做法，使用pconnect（資料庫長連接），線程一旦創建在很長時間內都保持著。但是，在訪問量比較大，機器比較多的情況下，這種用法很可能會導致「資料庫連接數耗盡」，因為建立連接並不回收，最終達到資料庫的max_connections（最大連接數）。因此，長連接的用法通常需要在CGI和MySQL之間實現一個「連接池」服務，控制CGI機器「盲目」創建連接數。

建立資料庫連接池服務，有很多實現的方式，PHP的話，我推薦使用swoole（PHP的一個網路通訊拓展）來實現。

3. Innodb緩存設置（innodb_buffer_pool_size）

innodb_buffer_pool_size這是個用來保存索引和數據的內存緩存區，如果機器是MySQL獨占的機器，一般推薦為機器物理內存的80%。在取表數據的場景中，它可以減少磁碟IO。一般來說，這個值設置越大，cache命中率會越高。

4. 分庫/分表/分區。

MySQL資料庫表一般承受數據量在百萬級別，再往上增長，各項性能將會出現大幅度下降，因此，當我們預見數據量會超過這個量級的時候，建議進行分庫/分表/分區等操作。最好的做法，是服務在搭建之初就設計為分庫分表的存儲模式，從根本上杜絕中後期的風險。不過，會犧牲一些便利性，例如列表式的查詢，同時，也增加了維護的復雜度。不過，到了數據量千萬級別或者以上的時候，我們會發現，它們都是值得的。

二、 MySQL資料庫多台服務搭建

1台MySQL機器，實際上是高風險的單點，因為如果它掛了，我們Web服務就不可用了。而且，隨著Web系統訪問量繼續增加，終於有一天，我們發現1台MySQL伺服器無法支撐下去，我們開始需要使用更多的MySQL機器。當引入多台MySQL機器的時候，很多新的問題又將產生。

1. 建立MySQL主從，從庫作為備份

這種做法純粹為了解決「單點故障」的問題，在主庫出故障的時候，切換到從庫。不過，這種做法實際上有點浪費資源，因為從庫實際上被閑著了。

2. MySQL讀寫分離，主庫寫，從庫讀。

兩台資料庫做讀寫分離，主庫負責寫入類的操作，從庫負責讀的操作。並且，如果主庫發生故障，仍然不影響讀的操作，同時也可以將全部讀寫都臨時切換到從庫中（需要注意流量，可能會因為流量過大，把從庫也拖垮）。

3. 主主互備。

兩台MySQL之間互為彼此的從庫，同時又是主庫。這種方案，既做到了訪問量的壓力分流，同時也解決了「單點故障」問題。任何一台故障，都還有另外一套可供使用的服務。

不過，這種方案，只能用在兩台機器的場景。如果業務拓展還是很快的話，可以選擇將業務分離，建立多個主主互備。

三、 MySQL資料庫機器之間的數據同步

每當我們解決一個問題，新的問題必然誕生在舊的解決方案上。當我們有多台MySQL，在業務高峰期，很可能出現兩個庫之間的數據有延遲的場景。並且，網路和機器負載等，也會影響數據同步的延遲。我們曾經遇到過，在日訪問量接近1億的特殊場景下，出現，從庫數據需要很多天才能同步追上主庫的數據。這種場景下，從庫基本失去效用了。

於是，解決同步問題，就是我們下一步需要關注的點。

1. MySQL自帶多線程同步

MySQL5.6開始支持主庫和從庫數據同步，走多線程。但是，限制也是比較明顯的，只能以庫為單位。MySQL數據同步是通過binlog日誌，主庫寫入到binlog日誌的操作，是具有順序的，尤其當SQL操作中含有對於表結構的修改等操作，對於後續的SQL語句操作是有影響的。因此，從庫同步數據，必須走單進程。

2. 自己實現解析binlog，多線程寫入。

以資料庫的表為單位，解析binlog多張表同時做數據同步。這樣做的話，的確能夠加快數據同步的效率，但是，如果表和表之間存在結構關系或者數據依賴的話，則同樣存在寫入順序的問題。這種方式，可用於一些比較穩定並且相對獨立的數據表。

國內一線互聯網公司，大部分都是通過這種方式，來加快數據同步效率。還有更為激進的做法，是直接解析binlog，忽略以表為單位，直接寫入。但是這種做法，實現復雜，使用范圍就更受到限制，只能用於一些場景特殊的資料庫中（沒有表結構變更，表和表之間沒有數據依賴等特殊表）。

四、 在Web伺服器和資料庫之間建立緩存

實際上，解決大訪問量的問題，不能僅僅著眼於資料庫層面。根據「二八定律」，80%的請求只關注在20%的熱點數據上。因此，我們應該建立Web伺服器和資料庫之間的緩存機制。這種機制，可以用磁碟作為緩存，也可以用內存緩存的方式。通過它們，將大部分的熱點數據查詢，阻擋在資料庫之前。

1. 頁面靜態化

用戶訪問網站的某個頁面，頁面上的大部分內容在很長一段時間內，可能都是沒有變化的。例如一篇新聞報道，一旦發布幾乎是不會修改內容的。這樣的話，通過CGI生成的靜態html頁面緩存到Web伺服器的磁碟本地。除了第一次，是通過動態CGI查詢資料庫獲取之外，之後都直接將本地磁碟文件返回給用戶。

在Web系統規模比較小的時候，這種做法看似完美。但是，一旦Web系統規模變大，例如當我有100台的Web伺服器的時候。那樣這些磁碟文件，將會有100份，這個是資源浪費，也不好維護。這個時候有人會想，可以集中一台伺服器存起來，呵呵，不如看看下面一種緩存方式吧，它就是這樣做的。

2. 單台內存緩存

通過頁面靜態化的例子中，我們可以知道將「緩存」搭建在Web機器本機是不好維護的，會帶來更多問題（實際上，通過PHP的apc拓展，可通過Key/value操作Web伺服器的本機內存）。因此，我們選擇搭建的內存緩存服務，也必須是一個獨立的服務。

內存緩存的選擇，主要有redis/memcache。從性能上說，兩者差別不大，從功能豐富程度上說，Redis更勝一籌。

3. 內存緩存集群

當我們搭建單台內存緩存完畢，我們又會面臨單點故障的問題，因此，我們必須將它變成一個集群。簡單的做法，是給他增加一個slave作為備份機器。但是，如果請求量真的很多，我們發現cache命中率不高，需要更多的機器內存呢？因此，我們更建議將它配置成一個集群。例如，類似redis cluster。

Redis cluster集群內的Redis互為多組主從，同時每個節點都可以接受請求，在拓展集群的時候比較方便。客戶端可以向任意一個節點發送請求，如果是它的「負責」的內容，則直接返回內容。否則，查找實際負責Redis節點，然後將地址告知客戶端，客戶端重新請求。

對於使用緩存服務的客戶端來說，這一切是透明的。

內存緩存服務在切換的時候，是有一定風險的。從A集群切換到B集群的過程中，必須保證B集群提前做好「預熱」（B集群的內存中的熱點數據，應該盡量與A集群相同，否則，切換的一瞬間大量請求內容，在B集群的內存緩存中查找不到，流量直接沖擊後端的資料庫服務，很可能導致資料庫宕機）。

4. 減少資料庫「寫」

上面的機制，都實現減少資料庫的「讀」的操作，但是，寫的操作也是一個大的壓力。寫的操作，雖然無法減少，但是可以通過合並請求，來起到減輕壓力的效果。這個時候，我們就需要在內存緩存集群和資料庫集群之間，建立一個修改同步機制。

先將修改請求生效在cache中，讓外界查詢顯示正常，然後將這些sql修改放入到一個隊列中存儲起來，隊列滿或者每隔一段時間，合並為一個請求到資料庫中更新資料庫。

除了上述通過改變系統架構的方式提升寫的性能外，MySQL本身也可以通過配置參數innodb_flush_log_at_trx_commit來調整寫入磁碟的策略。如果機器成本允許，從硬體層面解決問題，可以選擇老一點的RAID（Rendant Arrays of independent Disks，磁碟列陣）或者比較新的SSD（Solid State Drives，固態硬碟）。

5. NoSQL存儲

不管資料庫的讀還是寫，當流量再進一步上漲，終會達到「人力有窮時」的場景。繼續加機器的成本比較高，並且不一定可以真正解決問題的時候。這個時候，部分核心數據，就可以考慮使用NoSQL的資料庫。NoSQL存儲，大部分都是採用key-value的方式，這里比較推薦使用上面介紹過Redis，Redis本身是一個內存cache，同時也可以當做一個存儲來使用，讓它直接將數據落地到磁碟。

這樣的話，我們就將資料庫中某些被頻繁讀寫的數據，分離出來，放在我們新搭建的Redis存儲集群中，又進一步減輕原來MySQL資料庫的壓力，同時因為Redis本身是個內存級別的Cache，讀寫的性能都會大幅度提升。

國內一線互聯網公司，架構上採用的解決方案很多是類似於上述方案，不過，使用的cache服務卻不一定是Redis，他們會有更豐富的其他選擇，甚至根據自身業務特點開發出自己的NoSQL服務。

6. 空節點查詢問題

當我們搭建完前面所說的全部服務，認為Web系統已經很強的時候。我們還是那句話，新的問題還是會來的。空節點查詢，是指那些資料庫中根本不存在的數據請求。例如，我請求查詢一個不存在人員信息，系統會從各級緩存逐級查找，最後查到到資料庫本身，然後才得出查找不到的結論，返回給前端。因為各級cache對它無效，這個請求是非常消耗系統資源的，而如果大量的空節點查詢，是可以沖擊到系統服務的。

在我曾經的工作經歷中，曾深受其害。因此，為了維護Web系統的穩定性，設計適當的空節點過濾機制，非常有必要。

我們當時採用的方式，就是設計一張簡單的記錄映射表。將存在的記錄存儲起來，放入到一台內存cache中，這樣的話，如果還有空節點查詢，則在緩存這一層就被阻擋了。

異地部署（地理分布式）

完成了上述架構建設之後，我們的系統是否就已經足夠強大了呢？答案當然是否定的哈，優化是無極限的。Web系統雖然表面上看，似乎比較強大了，但是給予用戶的體驗卻不一定是最好的。因為東北的同學，訪問深圳的一個網站服務，他還是會感到一些網路距離上的慢。這個時候，我們就需要做異地部署，讓Web系統離用戶更近。

一、 核心集中與節點分散

有玩過大型網游的同學都會知道，網游是有很多個區的，一般都是按照地域來分，例如廣東專區，北京專區。如果一個在廣東的玩家，去北京專區玩，那麼他會感覺明顯比在廣東專區卡。實際上，這些大區的名稱就已經說明了，它的伺服器所在地，所以，廣東的玩家去連接地處北京的伺服器，網路當然會比較慢。

當一個系統和服務足夠大的時候，就必須開始考慮異地部署的問題了。讓你的服務，盡可能離用戶更近。我們前面已經提到了Web的靜態資源，可以存放在CDN上，然後通過DNS/GSLB的方式，讓靜態資源的分散「全國各地」。但是，CDN只解決的靜態資源的問題，沒有解決後端龐大的系統服務還只集中在某個固定城市的問題。

這個時候，異地部署就開始了。異地部署一般遵循：核心集中，節點分散。

·核心集中：實際部署過程中，總有一部分的數據和服務存在不可部署多套，或者部署多套成本巨大。而對於這些服務和數據，就仍然維持一套，而部署地點選擇一個地域比較中心的地方，通過網路內部專線來和各個節點通訊。

·節點分散：將一些服務部署為多套，分布在各個城市節點，讓用戶請求盡可能選擇近的節點訪問服務。

例如，我們選擇在上海部署為核心節點，北京，深圳，武漢，上海為分散節點（上海自己本身也是一個分散節點）。我們的服務架構如圖：

需要補充一下的是，上圖中上海節點和核心節點是同處於一個機房的，其他分散節點各自獨立機房。
國內有很多大型網游，都是大致遵循上述架構。它們會把數據量不大的用戶核心賬號等放在核心節點，而大部分的網游數據，例如裝備、任務等數據和服務放在地區節點里。當然，核心節點和地域節點之間，也有緩存機制。

二、 節點容災和過載保護

節點容災是指，某個節點如果發生故障時，我們需要建立一個機制去保證服務仍然可用。毫無疑問，這里比較常見的容災方式，是切換到附近城市節點。假如系統的天津節點發生故障，那麼我們就將網路流量切換到附近的北京節點上。考慮到負載均衡，可能需要同時將流量切換到附近的幾個地域節點。另一方面，核心節點自身也是需要自己做好容災和備份的，核心節點一旦故障，就會影響全國服務。

過載保護，指的是一個節點已經達到最大容量，無法繼續接接受更多請求了，系統必須有一個保護的機制。一個服務已經滿負載，還繼續接受新的請求，結果很可能就是宕機，影響整個節點的服務，為了至少保障大部分用戶的正常使用，過載保護是必要的。

解決過載保護，一般2個方向：

·拒絕服務，檢測到滿負載之後，就不再接受新的連接請求。例如網游登入中的排隊。

·分流到其他節點。這種的話，系統實現更為復雜，又涉及到負載均衡的問題。

小結

Web系統會隨著訪問規模的增長，漸漸地從1台伺服器可以滿足需求，一直成長為「龐然大物」的大集群。而這個Web系統變大的過程，實際上就是我們解決問題的過程。在不同的階段，解決不同的問題，而新的問題又誕生在舊的解決方案之上。

系統的優化是沒有極限的，軟體和系統架構也一直在快速發展，新的方案解決了老的問題，同時也帶來新的挑戰。

『伍』 用Java做一個大流量，高並發的網站應該怎麼樣進行底層構架

JVM
JEE容器中運行的JVM參數配置參數的正確使用直接關繫到整個系統的性能和處理能力，JVM的調優主要是對內存管理方面的調優，優化的方向分為以下4點：
1.HeapSize 堆的大小，也可以說Java虛擬機使用內存的策略，這點是非常關鍵的。
2.GarbageCollector 通過配置相關的參數進行Java中的垃圾收集器的4個演算法(策略)進行使用。
3.StackSize 棧是JVM的內存指令區,每個線程都有他自己的Stack，Stack的大小限制著線程的數量。
4.DeBug/Log 在JVM中還可以設置對JVM運行時的日誌和JVM掛掉後的日誌輸出，這點非常的關鍵，根據各類JVM的日誌輸出才能配置合適的參數。
網上隨處可見JVM的配置技巧，但是我還是推薦閱讀Sun官方的2篇文章，可以對配置參數的其所依然有一個了解
1.Java HotSpot VM Options
Java HotSpot VM Options
2.Troubleshooting Guide for Java SE 6 with HotSpot VMTroubleshooting Guide for Java SE 6 with HotSpot VM
另外，我相信不是每個人攻城師都是天天對著這些JVM參數的，如果你忘記了那些關鍵的參數你可以輸入Java -X(大寫X)進行提示。
JDBC
針對MySQL的JDBC的參數在之前的文章中也有介紹過，在單台機器或者集群的環境下合理的使用JDBC中的配置參數對操作資料庫也有很大的影響。
一些所謂高性能的 Java ORM開源框架也就是打開了很多JDBC中的默認參數：
1.例如：autoReconnect、prepStmtCacheSize、cachePrepStmts、useNewIO、blobSendChunkSize 等，
2.例如集群環境下：roundRobinLoadBalance、failOverReadOnly、autoReconnectForPools、secondsBeforeRetryMaster。
具體內容可以參閱MySQL的JDBC官方使用手冊：
http://dev.mysql.com/doc/refman/5.1/zh/connectors.html#cj-jdbc-reference
資料庫連接池(DataSource)
應
用程序與資料庫連接頻繁的交互會給系統帶來瓶頸和大量的開銷會影響到系統的性能，JDBC連接池負責分配、管理和釋放資料庫連接，它允許應用程序重復使用
一個現有的資料庫連接，而再不是重新建立一個連接，因此應用程序不需要頻繁的與資料庫開關連接，並且可以釋放空閑時間超過最大空閑時間的資料庫連接來避免
因為沒有釋放資料庫連接而引起的資料庫連接遺漏。這項技術能明顯提高對資料庫操作的性能。
在此我認為有一點需要說明：
連接池的使用也是需
要關閉，因為在資料庫連接池啟動的時候就預先和資料庫獲得了相應的連接，之後不再需要應用程序直接的和資料庫打交道，因為應用程序使用資料庫連接池是一個
「借」的概念，應用程序從資料庫連接池中獲得資源是「借出」，還需要還回去，就好比有20個水桶放在這里，需要拿水的人都可以使用這些木桶從水池裡面拿
水，如果20個人都拿完水，不將水桶還回原地，那麼後面來的人再需要拿水，只能在旁邊等待有人將木桶還回去，之前的人用完後需要放回去，不然後面的人就會
一直等待，造成資源堵塞，同理，應用程序獲取資料庫連接的時候Connection連接對象的時候是從「池」中分配一個資料庫連接出去，在使用完畢後，歸
還這個資料庫連接，這樣才能保持資料庫的連接「有借有還」准則。
參考資料：
http://dev.mysql.com/doc/refman/5.1/zh/connectors.html#cj-connection-pooling
數據存取
數
據庫伺服器的優化和數據的存取，什麼類型的數據放在什麼地方更好是值得去思考的問題，將來的存儲很可能是混用
的，Cache，NOSQL，DFS，DataBase
在一個系統中都會有，生活的餐具和平日里穿衣服需要擺放在家裡，但是不會用同一種類型的傢具存放，貌似沒有那個人家把餐具和衣服放在同一個櫃子裡面的。這
就像是系統中不同類型的數據一樣，對不同類型的數據需要使用合適的存儲環境。文件和圖片的存儲，首先按照訪問的熱度分類，或者按照文件的大小。強關系類型
並且需要事務支持的採用傳統的資料庫，弱關系型不需要事務支持的可以考慮NOSQL，海量文件存儲可以考慮一下支持網路存儲的DFS，至於緩存要看你單個
數據存儲的大小和讀寫的比例。
還有一點值得注意就是數據讀寫分離，無論在DataBase還是NOSQL的環境中大部分都是讀大於寫，因此在設計
時還需考慮
不僅僅需要讓數據的讀分散在多台機器上，還需要考慮多台機器之間的數據一致性，MySQL的一主多從，在加上MySQL-Proxy或者借用JDBC中的
一些參數(roundRobinLoadBalance、failOverReadOnly、autoReconnectForPools、
secondsBeforeRetryMaster)對後續應用程序開發，可以將讀和寫分離，將大量讀的壓力分散在多台機器上，並且還保證了數據的一致
性。
緩存
在宏觀上看緩存一般分為2種：本地緩存和分布式緩存
1.本地緩存，對於
Java的本地緩存而言就是講數據放入靜態(static)的數據結合中，然後需要用的時候就從靜態數據結合中拿出來,對於高並發的環境建議使用
ConcurrentHashMap或者CopyOnWriteArrayList作為本地緩存。緩存的使用更具體點說就是對系統內存的使用，使用多少內
存的資源需要有一個適當比例，如果超過適當的使用存儲訪問，將會適得其反，導致整個系統的運行效率低下。
2. 分布式緩存，一般用於分布式的環境，將每台機器上的緩存進行集中化的存儲，並且不僅僅用於緩存的使用范疇，還可以作為分布式系統數據同步/傳輸的一種手段，一般被使用最多的就是Memcached和Redis。
數據存儲在不同的介質上讀/寫得到的效率是不同的，在系統中如何善用緩存，讓你的數據更靠近cpu，下面有一張圖你需要永遠牢記在心裡，來自Google的技術大牛Jeff Dean(Ref)的傑作，如圖所示：

並發/多線程
在
高並發環境下建議開發者使用JDK中自帶的並發包(java.util.concurrent)，在JDK1.5以後使用
java.util.concurrent下的工具類可以簡化多線程開發，在java.util.concurrent的工具中主要分為以下幾個主要部
分：
1.線程池，線程池的介面(Executor、ExecutorService)與實現類(ThreadPoolExecutor、
ScheledThreadPoolExecutor），利用jdk自帶的線程池框架可以管理任務的排隊和安排，並允許受控制的關閉。因為運行一個線
程需要消耗系統CPU資源，而創建、結束一個線程也對系統CPU資源有開銷，使用線程池不僅僅可以有效的管理多線程的使用，還是可以提高線程的運行效率。
2.
本地隊列，提供了高效的、可伸縮的、線程安全的非阻塞 FIFO 隊列。java.util.concurrent 中的五個實現都支持擴展的
BlockingQueue 介面，該介面定義了 put 和 take
的阻塞版本：LinkedBlockingQueue、ArrayBlockingQueue、SynchronousQueue、
PriorityBlockingQueue 和
DelayQueue。這些不同的類覆蓋了生產者-使用者、消息傳遞、並行任務執行和相關並發設計的大多數常見使用的上下文。

『陸』 mysql資料庫怎麼解決高並發問題

限流演算法目前程序開發過程常用的限流演算法有兩個：漏桶演算法和令牌桶演算法。

漏桶演算法

漏桶演算法的原理比較簡單，請求進入到漏桶中，漏桶以一定的速率漏水。當請求過多時，水直接溢出。可以看出，漏桶演算法可以強制限制數據的傳輸速度。如圖所示，把請求比作是水滴，水先滴到桶里，通過漏洞並以限定的速度出水，當水來得過猛而出水不夠快時就會導致水直接溢出，即拒絕服務。

圖片來自網路

漏桶演算法和令牌桶演算法的選擇

兩者的主要區別漏桶演算法能夠強行限制處理數據的速率，不論系統是否空閑。而令牌桶演算法能夠在限制數據的平均處理速率的同時還允許某種程度的突發流量。如何理解上面的含義呢？漏桶演算法，比如系統吞吐量是 120/s，業務請求 130/s，使用漏斗限流 100/s，起到限流的作用，多餘的請求將產生等待或者丟棄。對於令牌桶演算法，每秒產生 100 個令牌，系統容量 200 個令牌。正常情況下，業務請求 100/s 時，請求能被正常被處理。當有突發流量過來比如 200 個請求時，因為系統容量有 200 個令牌可以同一時刻處理掉這 200 個請求。如果是漏桶演算法，則只能處理 100 個請求，其他的請求等待或者被丟棄。

『柒』 區塊鏈中閃電網路是指什麼

比特幣的交易網路最為人詬病的一點便是交易性能:全網每秒 7 筆的交易速度，遠低於傳統的金融交易系統;同時，等待 6 個塊的可信確認導致約 1 個小時的最終確認時間。
閃電網路的主要思路十分簡單 -- 將大量交易放到比特幣區塊鏈之外進行。
RSMC 保障了兩個人之間的直接交易可以在鏈下完成，HTLC 保障了任意兩個人之間的轉賬都可以通過一條"支付"通道來完成。整合這兩種機制，就可以實現任意兩個人之間的交易都可以在鏈下完成了。
在整個交易中，智能合約起到了中介的重要角色，而區塊鏈則確保最終的交易結果被確認。

『捌』 如何設計一個支持高並發的高可用服務

服務程序最為關鍵的設計是並發服務模型，當前有以下幾種典型的模型：-單進程服務，使用非阻塞IO使用一個進程服務多個客戶，通常與客戶通信的套接字設置為非阻塞的，阻塞只發生在select()、poll()、epoll_wait()等系統調用上面。這是一種行之有效的單進程狀態機式服務方式，已被廣泛採用。缺點是它無法利用SMP(對稱多處理器)的優勢，除非啟動多個進程。此外，它嘗試就緒的IO文件描述符後，立即從系統調用返回，這會導致大量的系統調用發生，尤其是在較慢的位元組傳輸時。select()本身的實現也是有局限的：能打開的文件描述符最多不能超過FD_SETSIZE，很容易耗盡；每次從select()返回的描述符組中掃描就緒的描述符需要時間，如果就緒的描述符在末尾時更是如此（epoll特別徹底修復了這個問題）。-多進程服務，使用阻塞IO也稱作accept/fork模型，每當有客戶連線時產生一個新的進程為之服務。這種方式有時是必要的，比如可以通過操作系統獲得良好的內存保護，可以以不同的用戶身份運行程序，可以讓服務運行在不同的目錄下面。但是它的缺點也很明顯：進程比較占資源，進程切換開銷太大，共享某些信息比較麻煩。Apache1.3就使用了這種模型，MaxClients數很容易就可以達到。-多線程服務，使用阻塞IO也稱之accept/pthread_create模型，有新客戶來時創建一個服務線程而不是服務進程。這解決了多進程服務的一些問題，比如它佔用資源少，信息共享方便。但是麻煩在於線程仍有可能消耗光，線程切換也需要開銷。-混合服務方式所謂的混合服務方式，以打破服務方和客戶方之間嚴格的1:1關系。基本做法是：新客戶到來時創建新的工作線程，當該工作線程檢測到網路IO會有延遲時停止處理過程，返回給Server一個延遲處理狀態，同時告訴Server被延遲的文件描述符，延遲超時時間。Server會在合適的時候返回工作線程繼續處理。注意這里的工作線程不是通過pthread_create()創建的，而是被包裝在專門用於處理延遲工作的函數里。這里還有一個問題，工作線程如何檢測網路IO會有延遲？方法有很多，比如設置較短的超時時間調用poll()，或者甚至使用非阻塞IO。如果是套接字，可以設置SO_RCVTIMEO和SO_SNDTIMEO選項，這樣更有效率。除了延遲線程，Server還應提供了未完成線程的支持。如有有特別耗費時間的操作，你可以在完成部分工作後停止處理，返回給Server一個未完成狀態。這樣Server會檢查工作隊列是否有別的線程，如果有則讓它們運行，否則讓該工作線程繼續處理，這可以防止某些線程挨餓。典型的一個混合服務模型開源實現ServerKitServerkit的這些線程支持功能可簡化我們的服務程序設計，效率上應該也是有保證的。2.隊列(queue)ServerKit提供的隊列是一個單向鏈表，隊列的存取是原子操作，如果只有一個執行單元建議不要用，因為原子操作的開銷較大。3.堆(heap)malloc()分配內存有一定的局限，比如在多線程的環境里，需要序列化內存分配操作。ServerKit提供的堆管理函數，可快速分配內存，可有效減少分配內存的序列化操作，堆的大小可動態增長，堆有引用計數，這些特徵比較適合多線程環境。目前ServerKit堆的最大局限是分配單元必須是固定大小。4.日誌記錄日誌被保存在隊列，有一個專門的線程處理隊列中的日誌記錄：它或者調用syslog()寫進系統日誌，或者通過UDP直接寫到遠程機器。後者更有效。5.讀寫鎖GNUlibc也在pthreads庫里實現了讀寫鎖，如果定義了__USE_UNIX98就可以使用。不過ServerKit還提供了讀寫鎖互相轉換的函數，這使得鎖的應用更為彈性。比如擁有讀鎖的若干個線程對同一個hash表進行檢索，其中一個線程檢索到了數據，此時需要修改它，一種法是獲取寫鎖，但這會導致釋放讀鎖和獲取寫鎖之間存在時間窗，另一種法是使用ServerKit提供的函數把讀鎖轉換成寫鎖，無疑這種方式更有效率。除了以上這些功能，ServerKit還提供了資料庫連接池的管理（當前只支持MySQL）和序列化（Sequences），如感興趣可參見相關的API文檔。二、ServerKit服務模塊編寫ServerKit由3部分組成：server程序，負責載入服務模塊、解析配置文件、建立資料庫連接池；libserver，動態鏈接庫，提供所有功能的庫支持，包括server本身也是調用這個庫寫的；API，編程介面，你編寫的服務模塊和ServerKit框架進行對話的介面。ServerKit需要libConfuse解析配置文件，所以出了安裝ServerKit，還需要安裝libConfuse。關於libConfuse可參考。下面我們看一個簡單的服務模塊FOO：#include#includestaticlongintsleep_ration;staticintFOO_construct(){fprintf(stderr,"FOO_construct\n");return1;}staticintFOO_prestart(cfg_t*configuration){fprintf(stderr,"FOO_prestart\n");return1;}staticvoid*FOO_operator(void*foobar){fprintf(stderr,"FOO_operator\n");for(;;)sleep(sleep_ration);returnNULL;}staticvoidFOO_report(void){fprintf(stderr,"FOO_report\n");}staticcfg_opt_tFOO_config[]={CFG_SIMPLE_INT("sleep_ration",&sleep_ration),CFG_END()};staticchar*FOO_authors[]={"VitoCaputo",NULL};SERVER_MODULE(FOO,0,0,1,"")按以下方法編譯：$gcc-c-fPIC-pthread-D_REENTRANT-gFOO.c$gcc-shared-lserver-lconfuse-lpthread-g-e__server_mole_main-oFOO.soFOO.o-e選項指定程序運行入口，這使得你可以直接在命令行敲./FOO.so運行模塊。server程序根據環境變數SERVER_PERSONALITY_PATH定位主目錄，並查找主目錄下的c11n作為配置文件，動態載入的模塊需放在主目錄下的moles目錄。$exportSERVER_PERSONALITY_PATH=`pwd`$mkdirmoles$cpFOO.somoles$vic11nc11n的內容：identity="any_id"FOO{sleep_ration=1;}identity標識server實例，用ps可看到程序名稱形如server.identity，本例為server.any_id。執行server啟動服務程序。三、ServerKit其他功能缺陷缺乏daemon模式；只能運行在Linuxbox；DBpool只支持MySQL；Heap管理內存的功力有限

『玖』 DAGT區塊鏈是要解決什麼

DAG全稱是「有向無環圖」，沒有區塊概念，不是把所有數據打包成區塊，再用區塊鏈接區塊，而是每個用戶都可以提交一個數據單元，這個數據單元里可以有很多東西，比如交易、消息等等。數據單元間通過引用關系鏈接起來，從而形成具有半序關系的DAG（有向無環圖）。DAG的特點是把數據單元的寫入操作非同步化，大量的錢包客戶端可以自主非同步地把交易數據寫入DAG，從而可以支持極大的並發量和極高的速度。同時，使用DAG技術的TrustNote還支持聲明式智能合約，聲明式的智能合約要表達的意思是可以直接按照用戶想要的結果去寫、去描述，以很簡單的語言，讓大家都能看懂的語言去描述他要乾的事情。

截止到2017年年底，「高流量應用」越來越多，除了主流電商平台外，還有直播平台、P2P理財、今日頭條、陌陌等嶄露頭角，如果「高流量應用」與DAG區塊鏈技術結合，將會給行業帶來哪些變革呢？除區塊鏈自身的特點去中心化、分布式賬本、不可篡改之外，DAG區塊鏈技術不但可以支持高並發，結合雙層共識機制，使用工作量證明共識演算法，還能夠防止「雙花」問題。

那麼，DAG如何支持高並發的呢？第一，數據不像比特幣和以太坊一樣強同步，而是弱同步，允許節點在同一時刻數據不一樣，數據可以有一些微小的差別。第二，可以通過數據單元之間的引用來完成交易的確認，就是後面發生的單元去引用前面的單元，這樣不需要我們把數據傳給礦工，整個過程都是由自己去完成的，這個過程很快。DAG是解決高並發比較優美的方法，比起之前的閃電網路，還有其他一些方面，DAG有其先天優勢。

再來看看DAG是如何防止「雙花」？在有向圖里如果能選出一個MainChain，這個時候會發現所有圖裡面的節點都可以用一種方法來給它做排序，把這個序號連接起來在一排，這張圖將會變成跟區塊鏈一樣的序列結構，就是排完序的節點，而且每個節點是一個交易，而不是一個區塊。所以，確定了主鏈，通過主鏈，可以形成全序。最後達到的結局就是在某一個邏輯狀態里，交易還是被排序了，這是DAG最關鍵核心的部分。

「高流量應用」是隨著節點數和交易數的增加平滑擴展，當這個節點數超過1億或交易數超過並發100萬時，DAG的特性剛好是交易越多越快，節點越多越快。

『拾』 比特幣閃電網路是如何運行的

首先，需要進行交易各方建立了一個多簽名錢包（需要一個以上的簽名才能進行交易）。這個錢包里裝有一些比特幣。然後將錢包地址保存到比特幣區塊鏈中。這樣就建立了支付渠道。雙方現在可以進行無限數量的交易，而無需接觸存儲在區塊鏈上的信息。對於每一筆交易，雙方都簽署了更新的資產負債表，以始終反映出錢包中存儲的比特幣歸屬，以及每一筆的交易的數量。

雙方完成交易並關閉通道後，將產生的余額記錄在區塊鏈上。發生債務爭議時，雙方都可以使用最近簽署的資產負債表來收回他們在錢包中的份額。無需建立直接的渠道進行閃電交易，用戶可以通過與之有聯系的人的渠道將付款發送給某人。網路會自動找到最快的交易渠道。

隨著 SegWit 在比特幣和萊特幣網路上的採用，該技術的發展得到了極大的推動。因為如果沒有升級的交易可擴展性的修補程序，閃電網路上的交易風險便會太大，難以實施。如果沒有背後的區塊鏈安全性，閃電網路將不會那麼安全，這意味著它將被廣泛用於風險較小的小型甚至微型交易。

btc

鏈喬教育在線旗下學碩創新區塊鏈技術工作站是中國教育部學校規劃建設發展中心開展的「智慧學習工場2020-學碩創新工作站 」唯一獲準的「區塊鏈技術專業」試點工作站。專業站立足為學生提供多樣化成長路徑，推進專業學位研究生產學研結合培養模式改革，構建應用型、復合型人才培養體系。